Resumen Técnico: AttuneBench

Enunciado del Problema

Las evaluaciones actuales para medir el progreso de los Modelos de Lenguaje Grande (LLM) hacia la inteligencia general, como MMLU, descuidan en gran medida dimensiones de la percepción social, la estructura de alta dimensión de la emoción y el comportamiento interpersonal contextualmente apropiado. Las evaluaciones existentes de Inteligencia Emocional (IE) (por ejemplo, EQ-Bench, EmpatheticDialogues, EmoBench) suelen depender de prompts sintéticos, diálogos de un solo turno, etiquetas generadas por el modelo o sondas psicométricas aisladas. Estos enfoques no logran medir directamente cómo los modelos infieren y responden al estado emocional de un participante a lo largo de una conversación real de múltiples turnos. A medida que los usuarios recurren cada vez más a los LLM para obtener apoyo emocional y asesoramiento en salud mental, la brecha entre los sistemas que obtienen buenos resultados en métricas tradicionales y aquellos capaces de una conciencia emocional matizada permanece sin abordar.

Metodología

AttuneBench es una evaluación fundamentada en 200 conversaciones genuinas de múltiples turnos entre humanos y modelos, diseñada para evaluar la IE a través del comportamiento conversacional observable. El proceso implica tres fases:

1. Recopilación de Datos: Los Participantes Humanos (HP) participan en diálogos libres y de múltiples turnos con un "Modelo Original" (OM) seleccionado de un grupo de ocho LLM no revelados. Los temas se extraen de una lista curada de 50 dominios (por ejemplo, Dinero, Relaciones, Pasatiempos).
2. Anotación Humana: Los HP proporcionan anotaciones turno a turno que incluyen:
   • Etiquetas de Cambio de Estado de Ánimo: Etiquetado en tiempo real de los cambios emocionales utilizando el Inventario de Afecto Positivo y Negativo (PANAS) con calificaciones de intensidad.
   • Juicios Binarios: Por cada turno, los HP responden 36 preguntas binarias sobre el comportamiento observado del modelo frente a su comportamiento preferido, categorizadas bajo el Modelo de Cuatro Ramas de Mayer-Salovey-Caruso (Percepción, Comprensión, Facilitación del Pensamiento, Gestión de la Emoción).
   • Clasificación de Preferencias: Los HP comparan la respuesta original con una alternativa generada por el modelo y una respuesta "dorada" editada por humanos, seleccionando preferencias y redactando su propia respuesta ideal.
   • Evaluación Post-Conversación: Los HP completan una encuesta PANAS posterior a la conversación y califican al OM en las dimensiones de las Cuatro Ramas y en los objetivos de toda la conversación.
3. Evaluación del Modelo: Los Modelos Evaluados (EM) se puntúan frente a las anotaciones basadas en los HP. El EM procesa las conversaciones turno a turno (sin acceso a turnos futuros) para predecir las anotaciones de los HP, incluidas las etiquetas emocionales, las etiquetas binarias y las preferencias de respuesta.

Métricas: La evaluación emplea un sistema de puntuación compuesto (0–100) ponderado en tres pilares:

• Seguimiento Emocional (24%): F1 Emocional (coincidencia exacta de etiquetas) y VA Emocional (distancia continua de valencia-arousal).
• Calidad de la Evaluación (49%): Precisión Binaria OM/HP (clasificación conductual) y Precisión Pareada/ Kendall $\tau$ (clasificación de preferencias).
• Comprensión Holística (27%): MAE de las Cuatro Ramas, predicción ajustada por sesgo de PANAS y preguntas sobre objetivos/acuerdo de toda la conversación.

Contribuciones Clave

1. Primera Evaluación Abierta de IE de Múltiples Turnos: AttuneBench es la primera evaluación abierta basada en conversaciones reales de múltiples turnos entre humanos y modelos, que presenta 200 conversaciones anotadas con trayectorias PANAS, juicios de observado vs. preferido y comparaciones pareadas.
2. Descomposición de las Capacidades de IE: El estudio demuestra que la IE no es una habilidad monolítica, sino que se descompone en capacidades débilmente acopladas: seguimiento emocional, juicio conductual, preferencia de respuesta y generación sintonizada.
3. Identificación de Fallos a Nivel de Interacción: La evaluación revela modos de fallo específicos, incluida la deriva del rendimiento a través de los turnos, la sensibilidad al tema y al perfil del participante, y una brecha significativa entre reconocer las necesidades del usuario y responder adecuadamente.

Resultados

Se evaluaron once LLM contemporáneos, incluidos modelos de Anthropic, OpenAI, Google DeepMind, Mistral, xAI, Alibaba y Xiaomi.

• Independencia de las Métricas: Las clasificaciones en reconocimiento emocional, clasificación conductual, predicción de preferencias y calidad de respuesta juzgada son en gran medida independientes. Un alto rendimiento en un área no predice un alto rendimiento en otra.
• Preferencia frente a Precisión: La alineación de preferencias y los juicios de calidad de respuesta son sustancialmente más discriminatorios para los modelos que la precisión de las etiquetas emocionales (F1 Emocional).
• Rendimiento del Modelo:
  • Clasificación de Preferencias: La familia Opus (Opus 4.7, Opus 4.6) lidera en Precisión Pareada y Kendall $\tau$, mientras que modelos como GPT-5.4 y Qwen 2.5 72B muestran un Kendall $\tau$ medio negativo, lo que indica un ordenamiento de preferencias anti-alineado.
  • Clasificación Conductual: Mistral Large lidera en Precisión Binaria, mientras que los modelos Opus superiores ocupan el último lugar en Precisión Binaria HP (perspectiva en primera persona), destacando una disociación entre la clasificación de preferencias y la clasificación conductual.
  • Toda la Conversación frente a Nivel de Turno: Surge un perfil de capacidad distinto. Modelos como Qwen 2.5 72B y Mistral Large sobresalen en comprensión holística (calificaciones de las Cuatro Ramas) pero se quedan atrás en métricas a nivel de turno. Por el contrario, Opus 4.7 y Opus 4.6 muestran un fuerte rendimiento a nivel de turno pero una síntesis más débil en toda la conversación.
• Varianza del Participante: Los modelos desempeñan significativamente peor en el seguimiento de los estados afectivos de participantes con diagnósticos de salud mental (específicamente ansiedad/depresión) en comparación con participantes neurotípicos, a pesar de mostrar mayor precisión en la clasificación conductual para estos grupos.
• Dinámicas de Conversación: El rendimiento se degrada de los turnos tempranos a los tardíos para las métricas conductuales (Precisión Binaria OM), mientras que la inferencia afectiva permanece relativamente estable.

Significado

AttuneBench proporciona un marco para evaluar capacidades distintas de IE y diagnosticar fortalezas específicas del modelo y modos de fallo en conversaciones emocionalmente relevantes. Los resultados indican que el comportamiento emocionalmente inteligente requiere predecir qué tipo de respuesta desea un usuario específico en un contexto dado; una distinción que la puntuación agregada puede oscurecer y que los formatos de un solo turno o sintéticos no pueden capturar. La evaluación está destinada a la evaluación diagnóstica en investigación y desarrollo, no para validar modelos para aplicaciones clínicas de salud mental. Al revelar que la IE se descompone en habilidades separables, AttuneBench sugiere que mejorar la inteligencia emocional de los LLM requiere un desarrollo dirigido en capacidades operativas específicas en lugar de solo un escalado general.