Human-like Affective Cognition in Foundation Models

Resumen Técnico: Cognición Afectiva Humanoide en Modelos Fundacionales

1. Planteamiento del Problema

La comprensión de las emociones es fundamental para la interacción humana y para los sistemas de IA que interactúan con personas. Sin embargo, la comprensión emocional actual en IA se limita mayoritariamente al reconocimiento de patrones (expresiones faciales, análisis de sentimiento en texto), que son tareas de percepción.

El problema central abordado en este trabajo es la cognición afectiva: la capacidad de razonar sobre cómo las personas interpretan subjetivamente sus situaciones basándose en sus creencias, metas y estados mentales. A diferencia del reconocimiento, la cognición afectiva requiere una teoría causal intuitiva que vincule:

• Resultados (lo que sucede).
• Valoraciones (Appraisals) (cómo la persona evalúa el resultado respecto a sus metas y control).
• Emociones (la respuesta afectiva resultante).
• Expresiones (manifestaciones externas).

La pregunta de investigación es: ¿Pueden los modelos de lenguaje modernos (LLMs) realizar inferencias afectivas complejas similares a las humanas, integrando múltiples fuentes de información para deducir estados mentales y emocionales?

2. Metodología

Los autores proponen un marco de evaluación principista basado en la teoría psicológica de la valoración cognitiva (cognitive appraisal theory).

• Generación de Estímulos (Pipeline Procedural):

  • Se diseñó una plantilla causal abstracta (Figura 1) que define las relaciones entre resultados, valoraciones, emociones y expresiones.
  • Se utilizaron LLMs para poblar esta plantilla con historias de fondo (ej. "Amy aplicando a la universidad") y variables binarias para las dimensiones de valoración.
  • Se generaron 1,280 escenarios diversos variando sistemáticamente las relaciones entre las variables.
  • Dimensiones de Valoración estudiadas:
    1. Congruencia con la meta y Control percibido (Experimentos 1a/2a).
    2. Seguridad y Expectativa (Experimentos 1b/2b).
  • Modalidad: Se crearon estímulos de solo texto y estímulos multimodales que incluyen imágenes de expresiones faciales generadas sintéticamente (basadas en Unidades de Acción Facial - FACS).

• Diseño Experimental:

  • Tareas de Inferencia: Para cada historia, se plantearon 4 tipos de tareas donde se observan 3 factores y se debe inferir el cuarto (ej. inferir la emoción dado el resultado y las valoraciones, o inferir la valoración dada la emoción y el resultado).
  • Participantes Humanos: Se recolectaron respuestas de N = 567 hablantes nativos de inglés para establecer una "verdad fundamental" humana y medir el acuerdo inter-participante.
  • Modelos Evaluados: Se probaron tres modelos fundacionales: GPT-4, Claude-3.5 y Gemini-1.5.
  • Estrategias de Prompting: Se comparó la inferencia 0-shot (directa) contra la inferencia con Cadena de Pensamiento (Chain-of-Thought - CoT), donde el modelo debe razonar paso a paso antes de responder.

3. Contribuciones Clave

1. Marco de Evaluación Sistemático: Presentan el primer marco que define taxonomías de inferencias afectivas y genera estímulos sintéticos escalables basados en teoría psicológica rigurosa, superando la falta de benchmarks estandarizados en este campo.
2. Validación de Estímulos: Demuestran que los estímulos generados procedimentalmente capturan intuiciones humanas coherentes, aunque a menudo difieren de las etiquetas teóricas a priori, subrayando la necesidad de usar juicios humanos como referencia.
3. Análisis de Capacidades de Razonamiento Afectivo: Evalúan no solo la precisión modal (la respuesta más común), sino también la capacidad de los modelos para representar la distribución completa de respuestas humanas.

4. Resultados Principales

• Acuerdo con Humanos:

  • Los modelos muestran un alto acuerdo con las intuiciones humanas, igualando o superando en muchos casos el acuerdo inter-participante (la concordancia entre humanos).
  • En tareas de inferencia de emociones y resultados, los modelos alcanzaron puntuaciones significativamente por encima del azar y cercanas a la consistencia humana.

• Impacto de la Cadena de Pensamiento (CoT):

  • El uso de CoT mejoró drásticamente el rendimiento de todos los modelos.
  • El razonamiento paso a paso aumentó el acuerdo con los juicios humanos en un 6.9% en promedio.
  • Ejemplo: Para GPT-4, el acuerdo en inferencias de "congruencia con la meta" saltó del 71.14% (sin CoT) al 88.61% (con CoT).

• Inferencia Multimodal:

  • La inclusión de expresiones faciales mejoró la inferencia de emociones (aumento del 8.9% en el acuerdo).
  • Sin embargo, los modelos mostraron dificultades para inferir valoraciones (appraisals) basándose únicamente en expresiones faciales, sugiriendo que integrar la expresión para inferir el estado mental interno es más complejo que inferir la emoción o el resultado.

• Diferencias por Dimensión:

  • Los modelos tuvieron un mejor desempeño en dimensiones relacionadas con congruencia de metas y control, pero mostraron más variabilidad y menor precisión en dimensiones de seguridad y expectativa.

• Distribución de Respuestas:

  • Más allá de la respuesta modal, los modelos capturaron efectivamente la distribución completa de respuestas humanas (medida mediante distancia de Wasserstein), indicando una comprensión matizada de la variabilidad humana.

5. Significado e Implicaciones

• Comprensión Conceptual: Los resultados sugieren que los LLMs modernos han adquirido una comprensión conceptual de las emociones humanas y pueden razonar sobre ellas de manera causal, integrando creencias, metas y contextos, no solo reconociendo patrones superficiales.
• Potencial de Aplicación: Esto abre la puerta al uso de estos modelos en roles que requieren empatía y comprensión emocional, como asistentes de salud mental, counselors virtuales y compañeros de interacción social.
• Riesgos y Ética: La capacidad de los modelos para superar a los humanos promedio en la predicción de estados mentales plantea riesgos éticos significativos, como la manipulación o el engaño emocional. Se destaca la necesidad urgente de marcos éticos y evaluaciones continuas.
• Futuro de la Investigación: El estudio sugiere que la mejora en las capacidades de razonamiento general de los modelos (como el CoT) se traduce directamente en mejores juicios afectivos. Además, plantea preguntas fundamentales sobre cómo se representan mecánicamente estas cogniciones afectivas en las redes neuronales.

En conclusión, el trabajo demuestra que los modelos fundacionales actuales poseen capacidades emergentes de cognición afectiva que se alinean estrechamente con la intuición humana, especialmente cuando se les induce a razonar explícitamente sobre la situación.