Resumen Técnico: RPAM – Una métrica con principios para evaluar asociaciones en modelos de lenguaje

Declaración del problema

Los Modelos de Lenguaje (LM) generativos exhiben asociaciones problemáticas, como los estereotipos, que pueden derivar en resultados perjudicialos en aplicaciones de alto riesgo como la atención médica y la moderación de contenidos. Evaluar estas asociaciones es un desafío debido a las limitaciones de las métricas existentes:

• Métricas de flujo descendente (Downstream): Analizan las asociaciones en el texto generado. Sin embargo, debido a que la calidad de la generación varía drásticamente entre arquitecturas, tamaños y propósitos de ajuste fino de los LM, las métricas de flujo descendente suelen requerir conjuntos de datos especializados para cada LM. Esto limita su generalizabilidad y su aplicación basada en principios a través de diferentes tipos de modelos.
• Métricas de flujo ascendente (Upstream): Examinan los LM en su nivel fundamental de embeddings o probabilidades de continuación, ofreciendo un enfoque más generalizable. Sin embargo, las métricas de flujo ascendente previas no han logrado demostrar una relación sólida con las asociaciones del mundo real (tanto asociaciones humanas implícitas/explícitas como aquellas observadas en el texto generado de flujo descendente). En consecuencia, suelen ser vistas como predictores débiles de comportamientos perjudiciales en el flujo descendente.

Metodología

Los autores introducen la Métrica de Asociación de Probabilidad Relativa (RPAM), una métrica de evaluación de flujo ascendente diseñada para medir asociaciones estadísticas en modelos de lenguaje generativos.

Mecanismo central

RPAM cuantifica la asociación entre un objetivo predefinido (una palabra, n-grama o frase) y un conjunto de palabras de atributo (por ejemplo, "matemáticas" frente a "artes"). A diferencia de métodos anteriores que dependen de probabilidades absolutas o similitud de coseno, RPAM emplea la comparación relativa:

1. Prompting (Inducción): El objetivo se inserta en una plantilla semánticamente neutra (por ejemplo, "Estas palabras están asociadas: [OBJETIVO] y").
2. Cálculo de probabilidad: Se computa la probabilidad de continuación del modelo para cada palabra de atributo.
3. Normalización: Para asegurar una medida relativa, estas probabilidades se normalizan a través de todo el conjunto de estímulos de atributo utilizando una función softmax. Esto produce una probabilidad de continuación normalizada ($0 \le p \le 1$) que representa la magnitud de la asociación relativa.

Variantes de la métrica

El marco extiende RPAM en tres modos de evaluación específicos:

• Prueba RPAM (RPAM Test): Adapta el Test de Asociación de Embebidos de Palabras (WEAT) para medir asociaciones implícitas (por ejemplo, género, raza) mediante el cálculo de un tamaño de efecto de asociación diferencial ($d$) entre dos conjuntos de objetivos y dos conjuntos de atributos.
• Valencia RPAM (RPм Valence): Mide la valencia (agradabilidad) de un objetivo calculando su asociación diferencial contra conjuntos de palabras agradables y desagradables (basado en SC-WEAT).
• Marco de validación: Los autores validan RPAM comparando sus mediciones de flujo ascendente contra tres referentes:
  1. Asociaciones humanas implícitas (usando WEAT-WS).
  2. Asociaciones humanas explícitas (usando WS-353 para similitud, Bellezza para valencia y SST2 para sentimiento).
  3. Asociaciones medidas en el propio texto generado de flujo descendente de los modelos.

Configuración experimental

El estudio evalúa tres LM distintos de diversos tamaños y propósitos:

• Mistral-7B-Instruct: Un chatbot optimizado para instrucciones de última generación.
• Mistral-7B: El modelo base.
• GPT-2: Un modelo de código abierto más pequeño y temprano.

Los experimentos utilizan conjuntos de datos ampliamente estudiados (WEAT-WS, WS-353, Bellezza, SST2) para asegurar la alineación entre la medición de flujo ascendente y la verdad fundamental de las asociaciones humanas o las tareas de flujo descendente.

Contribuciones clave

1. Introducción de RPAM: Una nueva métrica de flujo ascendente para modelos de lenguaje generativos que utiliza la normalización de probabilidad relativa. Es aplicable a diversos tipos de LM y conceptos sin requerir conjuntos de datos de generación de flujo descendente especializados.
2. Marco de validación: Un marco integral para validar métricas de asociación comparándolas con asociaciones humanas implícitas/explícitas y comportamientos de modelos de flujo descendente.
3. Demostración de validez predictiva de flujo ascendente: El artículo proporciona evidencia de que las mediciones de flujo ascendente pueden predecir eficazmente las asociaciones de flujo descendente, una relación previamente no probada para los modelos de lenguaje generativos.
4. Desempeño superior: RPAM supera los valores récord previos al medir asociaciones en GPT-2 y demuestra una fuerte congruencia con las asociaciones humanas en modelos más nuevos y grandes como Mistral-7B.

Resultados

Los experimentos arrojaron los siguientes hallazgos:

• Asociaciones implícitas (Experimento 1): RPAM replicó con éxito todas las diez asociaciones humanas implícitas (WEAT-WS) en los tres modelos, logrando una tasa de detección del 100% (F1 = 1.0) y tamaños de efecto consistentemente positivos. Esto superó a los referentes previos en WEAT-WS.
• Asociaciones explícitas (Experimento 2): RPAM mostró una fuerte congruencia con las calificaciones humanas explícitas:
  • Similitud de palabras (WS-353): La $\rho$ de Spearman osciló entre 0.57 y 0.78 entre los modelos.
  • Valencia (Bellezza): La $\rho$ de Spearman osciló entre 0.67 y 0.79.
  • Sentimiento (SST2): Los puntajes F1 fueron $\ge 0.71$.
  • RPAM superó los valores de referencia previos en las tareas de WS-353 y Bellezza para GPT-2.
• Predicción de flujo descendente (Experimento 3): Las mediciones de RPAM demostraron una alta correlación con los comportamientos de flujo descendente medidos en los mismos modelos:
  • Mistral-Instruct (Bellezza): $\rho$ de Spearman de 0.73 entre la valencia de RPAM de flujo ascendente y las calificaciones de cero disparos (zero-shot) de flujo descendente.
  • Mistral & GPT-2 (SST2): F1 $\ge 0.74$ al comparar la valencia de RPAM de flujo ascendente con la clasificación de sentimiento de flujo descendente.

Significado y afirmaciones

Los autores afirman que RPAM representa un avance significativo en la evaluación de principios de los modelos de lenguaje:

• Cerrando la brecha: RPAM es la primera métrica de flujo ascendente que demuestra una relación sólida con las asociaciones del mundo real (tanto humanas como de flujo descendente), desafiando la noción de que las medidas de flujo ascendente no pueden predecir el daño en el flujo descendente.
• Generalizabilidad: Al depender de comparaciones relativas y normalización, RPAM evita las limitaciones de los conjuntos de datos especializados de flujo descendente, lo que la hace aplicable a diversas arquitecturas de LM (desde GPT-2 hasta Mistral-7B) y conceptos.
• Política y mitigación: La capacidad de detectar sesgos en el flujo ascendente, antes de la generación de texto, ofrece una vía para estrategias de mitigación más efectivas y políticas de IA informadas, fundamentadas en los principios de la ciencia cognitiva de la comparación relativa.

El artículo concluye que, si bien RPAM simplifica las identidades interseccionales complejas mediante el uso de conjuntos de palabras, proporciona un método robusto y basado en principios para evaluar asociaciones que puede informar el desarrollo de sistemas de IA más seguros. Los autores señalan limitaciones respecto a los modelos de código cerrado (donde las probabilidades de continuación son inaccesibles) y la necesidad de trabajos futuros sobre idiomas distintos al inglés y representaciones de grupos sociales más diversas.