Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations

Resumen Técnico: Evaluación Multidimensional de Conversaciones Abiertas mediante Modelos Neuronales y Prompting de Modelos de Lenguaje

1. Problema

El aumento de los sistemas de diálogo basados en IA generativa ha convertido su evaluación en un desafío crítico. La naturaleza dinámica e impredecible de las conversaciones reales dificulta su reproducción en corpus estáticos. Aunque la evaluación humana es el estándar de oro, es costosa, subjetiva y a veces inconsistente. Por otro lado, las métricas automáticas tradicionales (como BLEU o ROUGE) tienen una correlación débil con los juicios humanos en diálogos de dominio abierto.

El objetivo central de este trabajo es abordar la evaluación automática multidimensional de diálogos de dominio abierto. Específicamente, el equipo participó en el DSTC-12 (Track 1), donde el reto consistía en predecir puntuaciones a nivel de diálogo para diez dimensiones específicas (como Calidad General, Relevancia, Empatía, Confianza, Proactividad, etc.), utilizando modelos con restricciones de tamaño (menos de 13 mil millones de parámetros).

2. Metodología

Los autores propusieron y compararon cuatro enfoques distintos para la evaluación, utilizando un conjunto de datos combinado (DSTC-12, CONTURE y FED) para mitigar la escasez de datos:

• A. Prompting de Modelos de Lenguaje (LM Prompting):

  • Se utilizaron modelos de lenguaje (LMs) como jueces mediante diversas estrategias de prompting: zero-shot, one-shot, few-shot y self-consistency.
  • Se probaron diferentes contextos de diálogo (último 40%, resumen, diálogo completo) y tres modelos LLM de última generación de tamaño medio (Deepseek Llama 8B, Deepseek Qwen 7B, Qwen 2.5 7B).
  • El modelo generaba la puntuación junto con una explicación.

• B. Modelos de Regresión:

  • Se entrenaron modelos de regresión para predecir las puntuaciones como números reales.
  • Arquitectura: Una capa de regresión sobre un codificador ModernBERT Large (menos de 1 mil millones de parámetros).
  • Ventaja clave: ModernBERT soporta ventanas de contexto de hasta 8K tokens, permitiendo procesar diálogos más largos que los modelos BERT tradicionales (limitados a 512 tokens).

• C. Modelos de Clasificación:

  • Se trataron las puntuaciones como clases discretas (enteros).
  • Arquitectura: Codificación con Sentence-BERT (SBERT) seguida de un Perceptrón Multicapa (MLP).
  • Se aplicó un ajuste fino de hiperparámetros y técnicas de regularización para evitar el sobreajuste.

• D. Enfoque Híbrido:

  • Combinación de los mejores enfoques (Regresión y Prompting) seleccionados en el conjunto de validación para cada dimensión, excluyendo la clasificación.

Preprocesamiento de Datos:
Dado que los conjuntos de datos externos (CONTURE y FED) tenían escalas de puntuación diferentes, los autores aplicaron una función de reescalado lineal para mapear las puntuaciones a las escalas específicas del conjunto de datos DSTC-12 antes del entrenamiento.

3. Contribuciones Clave

• Comparación exhaustiva de estrategias: Se evalúan sistemáticamente cuatro paradigmas (Prompting, Regresión, Clasificación e Híbrido) bajo la restricción estricta de usar modelos pequeños (<13B parámetros).
• Análisis de la distribución de datos: Se identifica y documenta una inconsistencia crítica entre los conjuntos de entrenamiento/validación y el conjunto de prueba, específicamente en los rangos de puntuación y la distribución de las etiquetas para ciertas dimensiones.
• Estrategia de contexto: Se demuestra que la selección de la parte del diálogo (resumen vs. fragmentos específicos) impacta más en el rendimiento que la elección del modelo LLM específico.
• Uso de ModernBERT: Se demuestra la viabilidad de usar codificadores modernos con ventanas de contexto extendidas para tareas de evaluación de diálogos, ofreciendo una alternativa eficiente en parámetros frente a los LLMs generativos.

4. Resultados

Los resultados se presentan en términos de la correlación de Spearman absoluta con las anotaciones humanas:

• Rendimiento General: Ninguno de los sistemas propuestos superó al baseline (un Llama-3.1-8B-Instruct ajustado finamente) en la puntuación promedio absoluta en el conjunto de prueba. El baseline obtuvo 0.17, mientras que los sistemas propuestos oscilaron entre 0.14 y 0.15.
• Desempeño por Dimensión:
  • A pesar de no ganar en promedio, los enfoques propuestos superaron al baseline en la mayoría de las dimensiones individuales.
  • Clasificación: Fue el enfoque más exitoso en términos de número de dimensiones ganadoras (6 dimensiones, incluida la Empatía), superando a todos los demás métodos en esas categorías específicas.
  • Regresión: Mostró correlaciones muy altas en el conjunto de validación (hasta 0.79 en Relevancia), pero sufrió una caída drástica en el conjunto de prueba, sugiriendo un fuerte sobreajuste.
  • Prompting (LM): Mostró la mejor capacidad de generalización. En algunas dimensiones (Proactividad, Curiosidad, Calidad General), su rendimiento en el conjunto de prueba fue incluso mejor que en la validación, a diferencia de los modelos neuronales tradicionales.
• Hallazgo Crítico: La caída de rendimiento entre validación y prueba se atribuye principalmente a la inconsistencia en los rangos de puntuación entre los conjuntos de datos. Por ejemplo, dimensiones que tenían rangos amplios en entrenamiento (0-100) tenían rangos muy restringidos en prueba (1-5 o 1-10), lo que dificultó la generalización de los modelos entrenados.

5. Significado y Conclusiones

• Viabilidad de Modelos Pequeños: El trabajo demuestra que modelos pequeños (como ModernBERT o LLMs de ~7B parámetros) pueden ser competidores viables para la evaluación de diálogos, ofreciendo un equilibrio entre costo computacional y rendimiento.
• Limitaciones de las Métricas Actuales: La inconsistencia en los resultados y las correlaciones negativas en algunas dimensiones subrayan la dificultad de la evaluación automática cuando las anotaciones humanas son ruidosas o inconsistentes.
• Generalización vs. Ajuste: Los modelos de regresión y clasificación, aunque potentes en datos conocidos, son frágiles ante cambios en la distribución de datos (shift de distribución), mientras que el prompting de LMs muestra una mayor robustez ante estas variaciones.
• Futuro: Los autores concluyen que es urgente mejorar la calidad y consistencia de los conjuntos de datos de anotación (especialmente en los rangos de puntuación) y explorar técnicas de adaptación de dominio para entrenar modelos en datos más grandes y diversos antes de aplicarlos a tareas específicas.

En resumen, el artículo ofrece una evaluación rigurosa de las técnicas actuales para la evaluación automática de diálogos, destacando que, aunque los modelos pequeños son prometedores, la calidad y consistencia de los datos de anotación humana siguen siendo el cuello de botella principal para lograr una correlación robusta con el juicio humano.