AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models

1. Declaración del Problema: El Problema de la Contaminación por Palabras Clave

La investigación actual sobre la interpretabilidad mecánica de la emoción en Modelos de Lenguaje Grandes (LLM) depende en gran medida de estímulos que contienen explícitamente vocabulario cargado de emociones (por ejemplo, "estoy furioso", "ella estaba devastada"). Esto crea un factor de confusión fundamental:

• La Ambigüedad: Cuando la representación interna de un modelo (detectada mediante sondeo lineal, parcheo de activación o vectores de dirección) se correlaciona con una etiqueta de emoción, no está claro si el modelo ha aprendido el concepto semántico de la emoción o simplemente ha detectado el token léxico (la palabra en sí misma).
• Consecuencias: Esta ambigüedad invalida las afirmaciones posteriores sobre circuitos emocionales, ingeniería de características e intervenciones conductuales. Si un vector de dirección para "desesperación" funciona, se desconoce si opera sobre el concepto de desesperación o sobre el vecindario léxico de la palabra "desesperado".
• Brecha en la Literatura: Aunque los corpus existentes (por ejemplo, crowd-enVENT, GoEmotions) y estudios recientes reconocen este problema, ningún recurso existente permite a los investigadores probar directamente la suposición de "independencia de palabras clave" porque carecen de estímulos donde la emoción esté presente pero las palabras específicas de emoción estén ausentes.

2. Metodología: Construcción del Conjunto de Datos AIPsy-Affect

Los autores presentan AIPsy-Affect, un banco de estímulos clínicos de 480 elementos diseñado para eliminar los factores de confusión por palabras clave mediante un diseño riguroso de pares emparejados.

Principios de Diseño Central

• Emociones Objetivo: Basadas en la rueda de Plutchik, cubriendo ocho emociones primarias: ira, terror, duelo, repulsión, asombro, admiración, éxtasis, vigilancia.
• Dominios Psicológicos: Las emociones se instancian a través de seis dominios distintos (por ejemplo, traición financiera, violación profesional, fracaso médico) para asegurar que las representaciones sean específicas de la emoción y no específicas del dominio.
• Restricción Libre de Palabras Clave: Los viñetas se construyen para evocar emociones específicas únicamente a través de señales situacionales y conductuales. Las palabras explícitas de emoción (por ejemplo, "furioso") y sinónimos cercanos están estrictamente prohibidas.
• Estructura de Pares Emparejados: Cada viñeta clínica tiene un control neutral emparejado 1:1. La versión neutral conserva los personajes, el escenario, los objetos, la estructura de la oración y la cantidad de palabras, pero elimina las apuestas emocionales (por ejemplo, reemplazando una traición con una transacción rutinaria).
  • Significado: Cualquier representación interna que distinga un elemento clínico de su control neutral emparejado no puede basarse en características superficiales ni en la presencia de palabras clave; debe estar rastreando el constructo emocional.

Divisiones del Conjunto de Datos

El conjunto de datos se divide en cuatro divisiones específicas para apoyar diferentes necesidades analíticas:

1. Clínico (192 elementos): Viñetas libres de palabras clave de intensidad máxima (8 emociones × 6 dominios × 4 viñetas).
2. Neutral (192 elementos): Controles emparejados para la división clínica.
3. Moderado (48 elementos): Viñetas de intensidad moderada para los dominios 1–3, que permiten un análisis de dosis-respuesta (comparando intensidad máxima vs. moderada).
4. Complejo_Neutral (48 elementos): Narrativas vívidas y libres de emociones (por ejemplo, procesos industriales) emparejadas por densidad descriptiva. Esto sirve como un control de validez discriminante para asegurar que los sondas detecten afecto y no simplemente riqueza narrativa.

3. Validación: La Batería de Defensa NLP de Tres Métodos

Para verificar que el conjunto de datos elimina con éxito la filtración de palabras clave, los autores aplicaron una escalera de herramientas NLP a los estímulos:

1. Sentimiento de Bolsa de Palabras (VADER):
   • Resultado: VADER detectó una diferencia entre las divisiones clínica y neutral, pero la señal fue impulsada por vocabulario situacional (por ejemplo, "retiro", "muerte", "bloqueo") en lugar de palabras de emoción.
   • Hallazgo Clave: Las medianas por emoción a menudo estaban anticorrelacionadas con la valencia objetivo (por ejemplo, las viñetas de "ira" obtuvieron puntuaciones positivas), lo que demuestra que VADER no estaba rastreando las palabras clave de la emoción objetivo.
2. Lexicón de Emociones de Bolsa de Palabras (NRC):
   • Resultado: La división clínica libre de palabras clave tuvo una menor tasa de aciertos para palabras de categoría de emoción que la división neutral.
   • Hallazgo Clave: NRC no pudo discriminar entre las ocho emociones objetivo utilizando el texto libre de palabras clave, confirmando la ausencia de filtración de categorías de emoción.
3. Clasificador Contextual de Transformadores (GoEmotions DistilRoBERTa):
   • Resultado: El clasificador detectó con éxito que los elementos clínicos eran más "emocionales" que los neutrales ($p < 10^{-15}$), mostrando que el afecto está semánticamente presente.
   • Hallazgo Clave: Sin embargo, el clasificador no pudo identificar la categoría específica de emoción (precisión Top-1: 5.2% frente al 82.5% en controles ricos en palabras clave).
   • Conclusión: El conjunto de datos codifica con éxito "que existe una emoción" sin codificar "qué emoción es" mediante palabras clave.

4. Contribuciones Clave

• Recurso Metodológico: Un conjunto de datos de 480 elementos con licencia abierta (MIT) que escala el trabajo anterior de 96 elementos de los autores por un factor de cuatro, proporcionando el poder estadístico necesario para análisis de geometría representacional (por ejemplo, pruebas de permutación).
• Garantía Metodológica Sólida: El diseño de pares emparejados asegura que cualquier representación interna que distinga elementos clínicos de neutrales sea por construcción independiente de la presencia de palabras clave de emoción.
• Innovaciones Estructurales:
  • Gradiente de Intensidad: Permite estudios de dosis-respuesta (máximo vs. moderado).
  • Validez Discriminante: La división complejo_neutral aísla la detección de afecto de la detección de complejidad narrativa.
  • Expansión de Dominios: Pasar de 3 a 6 dominios permite a los investigadores desentrañar características específicas de la emoción de las características específicas del dominio.
• Ciencia Abierta: El conjunto de datos se publica en Hugging Face con metadatos completos, pipelines de validación y una cita canónica.

5. Resultados y Significado

• Éxito de Validación: La batería de defensa NLP confirma que el conjunto de datos no contiene filtración de palabras clave de emoción. Los modelos contextuales pueden detectar la presencia de afecto pero no pueden categorizarlo sin palabras clave, lo que demuestra que los estímulos dependen de la semántica situacional.
• Habilitación de Nueva Investigación: Este conjunto de datos desplaza el campo de preguntar "¿Existen representaciones de emoción?" (a lo que estudios anteriores ricos en palabras clave respondieron) a "¿Qué son estas representaciones?".
  • Permite pruebas rigurosas de circuitos emocionales sin el factor de confusión del enrutamiento léxico.
  • Apoya experimentos de ablación causal y vectores de dirección donde las intervenciones pueden atribuirse con confianza a conceptos emocionales en lugar de desencadenantes de palabras.
  • Permite un análisis de dosis-respuesta para determinar si las representaciones emocionales escalan con la intensidad.

6. Limitaciones

• Idioma: Solo inglés; los estudios transculturales requieren nuevas familias de estímulos.
• Taxonomía: Restringido a las 8 emociones de Plutchik; no cubre las 6 de Ekman ni modelos dimensionales (valencia-arousal).
• Autoría: Todas las viñetas escritas por un solo psicólogo clínico (aunque mitigado por validación multi-método y publicación abierta).
• Factores de Confusión Específicos: "Repulsión" y emociones positivas conllevan un riesgo ligeramente mayor de asociación léxica residual (por ejemplo, patrones de lenguaje deshumanizante) y requieren análisis de sensibilidad en estudios posteriores.
• Perspectiva: Todas las viñetas son en tercera persona; las vías de procesamiento en primera persona no se han probado.

Conclusión

AIPsy-Affect proporciona al campo de la interpretabilidad mecánica un banco de estímulos "limpio" necesario. Al eliminar quirúrgicamente las palabras clave de emoción mientras preserva las situaciones emocionales, permite a los investigadores determinar definitivamente si los LLM poseen representaciones internas de significado emocional o simplemente funcionan como detectores de palabras clave sofisticados. Este es un paso fundamental hacia la comprensión de la verdadera naturaleza del cálculo afectivo en los transformadores.