Resumen Técnico: Más allá de la clasificación de sentimientos: Un marco generativo para la evaluación de la intensidad emocional en texto

1. Planteamiento del Problema

El Procesamiento del Lenguaje Natural (PLN) afectivo actual trata predominantemente el modelado de emociones como un problema de clasificación discreta, con el objetivo de identificar la presencia o ausencia de emociones categóricas (por ejemplo, ira, alegría) dentro de un texto. Aunque efectivo para la detección, este paradigma oscurece la intensidad de la expresión emocional, una variable crítica en dominios aplicados como las finanzas, la ciencia del comportamiento y la psicología, donde la magnitud de la emoción, y no su mera existencia, impulsa la interpretación y la toma de decisiones.

Además, las puntuaciones y modelos existentes a menudo fallan en modelar conjuntamente las dimensiones circunflejas del afecto: valencia (evaluación positiva-negativa) y activación (intensidad de la activación). La mayoría de las arquitecturas basadas únicamente en codificadores (por ejemplo, BERT, RoBERTa) se ajustan finamente para objetivos de clasificación y carecen de la flexibilidad representacional para generar puntuaciones de intensidad continuas y graduadas en múltiples emociones y dimensiones simultáneamente.

2. Metodología

Construcción del Conjunto de Datos

Los autores construyeron un nuevo conjunto de datos de 1.177 frases conversacionales cortas para apoyar el modelado de intensidad detallada.

• Anotación: Dos hablantes nativos de inglés calificaron independientemente cada frase en una escala continua.
• Dimensiones: El conjunto de datos incluye puntuaciones para ocho categorías de emociones (ira, ansiedad, miedo, tristeza, asco, optimismo, emoción, sorpresa), valencia (–100 a +100) y activación (0 a 100).
• Escala: Las emociones se califican de 0 a 100 (0 = ausencia, 100 = intensidad máxima).
• Control de Calidad: Las puntuaciones finales son el promedio de dos anotaciones independientes, con la concordancia entre anotadores verificada.

Arquitectura del Modelo y Entrenamiento

El estudio propone un cambio de la clasificación a la generación de texto estructurada para la evaluación de la intensidad.

• Modelos: Se utilizaron dos Modelos de Lenguaje Grandes (LLM) generativos de pesos abiertos y ajustados mediante instrucciones: Mistral-7B y Mistral-24B.
• Ajuste Fino: Ambos modelos se adaptaron utilizando Adaptación de Bajo Rango (LoRA) (rango $r=16$, $\alpha=32$) aplicada a las capas de proyección de consulta y valor.
• Formulación de la Tarea: Los modelos se entrenan para mapear el texto de entrada $x$ a una salida JSON que contiene predicciones de valor real para las ocho emociones, la valencia y la activación.
• Configuración de Entrenamiento: Los datos se dividieron en conjuntos de entrenamiento (706), validación (176) y prueba (295). El entrenamiento utilizó cuantización de 4 bits y el optimizador AdamW durante 10 épocas.
• Líneas Base: El rendimiento se comparó con:
  • LLMs preentrenados en cero disparos (GPT-4, GPT-4o, Mistral-7B, Mistral-24B).
  • Regresores basados en RoBERTa ajustados finamente (entrenados por emoción con pérdida MSE).
  • El modelo de clasificación samLowe/roberta-base-go_emotions ampliamente utilizado.

Métricas de Evaluación

Para abordar las limitaciones de las métricas de regresión estándar, los autores emplearon:

1. Coeficiente de Correlación de Concordancia (CCC): Mide tanto la consistencia en la clasificación como la precisión en la escala, penalizando errores sistemáticos en la media y la varianza.
2. Puntuación F1 de Coincidencia Cero: Una métrica de clasificación binaria que evalúa la capacidad del modelo para identificar correctamente la ausencia completa de una emoción (puntuación = 0), crucial para minimizar los falsos positivos en aplicaciones posteriores.

3. Resultados Clave

Comparación de Rendimiento

• Modelos Generativos vs. Modelos Codificadores: Los modelos generativos ajustados finamente superaron significativamente tanto a los LLMs en cero disparos como a las líneas base basadas en RoBERTa.
  • Mistral-24B-FT logró el CCC más alto en 8 de las 10 categorías, superando a GPT-4 en todas las emociones.
  • Limitaciones de RoBERTa: Incluso los regresores RoBERTa ajustados finamente tuvieron dificultades para capturar matices graduales, con la mayoría de los valores de CCC permaneciendo por debajo del 50%. El modelo de clasificación samLowe mostró una alineación inconsistente y no logró predecir la valencia/activación.
• Ganancias de Intensidad: El ajuste fino produjo mejoras sustanciales, particularmente para categorías difíciles como Miedo (el CCC aumentó del 58,0% al 80,5%) y Sorpresa (del 41,6% al 62,3%).

Generalización a Emociones No Vistas

En un experimento de Dejar Uno Fuera (LOO), los modelos se entrenaron con $k-1$ emociones y se probaron con la emoción retenida.

• Mistral-24B demostró una fuerte generalización, con puntuaciones LOO (por ejemplo, 70,6% para Miedo) acercándose al rendimiento totalmente supervisado (80,5%) y superando ampliamente las líneas base en cero disparos (58,0%).
• Mistral-7B mostró más variabilidad, fallando ocasionalmente en estructurar correctamente las salidas para emociones no vistas, lo que sugiere que la escala del modelo es un factor crítico en la robustez de la generalización.

Transferencia a Dimensiones Afectivas

El estudio probó si entrenar solo en intensidades de emociones discretas (excluyendo valencia y activación de la supervisión) se transferiría a estas dimensiones.

• Mistral-24B logró una transferencia notable: sin supervisión directa, alcanzó un 95,2% de CCC en Valencia y un 67,5% en Activación, igualando casi al modelo totalmente supervisado.
• Esto indica que las dimensiones afectivas se aprenden como representaciones latentes a través de correlaciones con etiquetas de emociones específicas.

4. Contribuciones y Significado

El artículo argumenta a favor de un cambio de paradigma en el PLN afectivo, desde la clasificación discreta hacia la evaluación continua de la intensidad. Sus contribuciones principales incluyen:

1. Un Marco Unificado: La introducción de un marco generativo que genera simultáneamente puntuaciones de intensidad calibradas para múltiples emociones y dimensiones afectivas (valencia/activación) en un solo paso de inferencia.
2. Expresividad Superior: Demostrar que los modelos generativos ajustados finamente capturan la magnitud y el matiz emocional de manera más efectiva que los clasificadores tradicionales basados únicamente en codificadores, que a menudo fallan en tareas de regresión continua.
3. Generalización y Transferencia: Mostrar que los modelos entrenados en intensidades de emociones específicas pueden generalizar a categorías de emociones no vistas y aprender implícitamente dimensiones afectivas abstractas (valencia/activación) sin supervisión directa.
4. Alineación con el Dominio: Posicionar este enfoque como mejor alineado con las necesidades de campos aplicados (por ejemplo, finanzas) donde el grado del contenido emocional es central para la interpretación, y no solo la presencia binaria de una emoción.

Los autores concluyen que, aunque persisten desafíos para emociones sutiles como "Sorpresa" y "Asco", y la subjetividad del conjunto de datos es un factor, este enfoque generativo ofrece una base más flexible, interpretable y científicamente robusta para el análisis afectivo en contextos interdisciplinarios.