Resumen Técnico: Reevaluación de Conjuntos de Datos de QA Extractivo a Escala

Planteamiento del Problema

Las tareas de Respuesta a Preguntas (QA) extractiva se evalúan tradicionalmente utilizando Coincidencia Exacta (EM) y la puntuación F1. Sin embargo, estas métricas frecuentemente no logran reflejar el verdadero rendimiento del modelo, particularmente cuando las respuestas predichas son semánticamente equivalentes a las respuestas de referencia (gold answers) pero están expresadas de forma distinta (por ejemplo, "EPA" frente a "Environmental Protection Agency"). Si bien estudios recientes han propuesto el uso de Modelos de Lenguaje de Gran Escala (LLMs) como jueces (LLM-as-a-judge) para abordar esto, aspectos críticos de su desempeño permanecen inexplorados. Específicamente, no está claro cómo estos jueces manejan diversos tipos de respuestas, si exhiben sesgos (como el sesgo de preferencia propia o de preferencia de hermanos) y qué tan robustos son sus juicios bajo diferentes estrategias de prompting.

Metodología

Los autores realizaron un estudio sistemático a través de cuatro conjuntos de datos de QA extractiva diversos: Quoref (razonamiento coreferencial), DROP (razonamiento numérico), HotpotQA (razonamiento de múltiples saltos) y 2WikiMultiHopQA.

• Curación de Datos: A partir de los conjuntos de desarrollo de estos cuatro conjuntos de datos, los autores curaron un subconjunto representativo de aproximadamente 1,000 muestras por dataset (un total de ~4,200 muestras), estratificadas en ocho tipos de respuesta distintos: Lugar, Nombre, Trabajo, Fecha, Número, Año, Booleano y Cadena (String).
• Modelos:
  • Modelos de QA: Se utilizaron ocho modelos de cuatro familias (Mistral, Qwen, Gemma, Llama) que oscilan entre 7B y 72B de parámetros para generar predicciones.
  • Jueces: Tres familias de modelos (Mistral 7B v0.3, Llama 3.3 70B y Qwen 2.5 72B) sirvieron como el "LLM-as-a-judge".
• Protocolo de Evaluación:
  • Línea Base Humana: 161 muestras (1,288 respuestas predichas) fueron anotadas manualmente por expertos humanos para establecer una verdad de referencia para el análisis de correlación.
  • Análisis de Sesgo: El estudio investigó el sesgo de preferencia propia (un modelo juzgando su propia salida favorablemente) y el sesgo de preferencia de hermanos (un modelo favoreciendo salidas de la misma familia).
  • Robustez del Prompt: Los autores probaron diversas configuraciones de prompting, incluyendo diferentes recuentos de shots (zero-shot, 2-shot, 6-shot), la inclusión/exclusión de contexto y variaciones en la redacción del prompt.

Resultados Clave

1. Correlación con el Juicio Humano

El LLM-as-a-judge supera significativamente a las métricas tradicionales en la correlación con las evaluaciones humanas.

• EM y F1: Correlacionaron con los juicios humanos en 0.22 y 0.40, respectivamente.
• LLM-as-a-Judge: Logró correlaciones de hasta 0.85 (específicamente con Qwen 2.5 72B), lo que indica una alineación mucho más fuerte con la evaluación humana de la corrección de la respuesta.

2. Rendimiento por Tipo de Respuesta

La efectividad del LLM-as-a-judge varía según el tipo de respuesta:

• Alto Rendimiento: El enfoque funciona excepcionalmente bien en respuestas de Número (0.899 de correlación) y Fecha (1.000 de correlación).
• Desafíos: El rendimiento cae significativamente para títulos de Trabajo (0.352 de correlación), debido en gran medida a la ambigüedad de múltiples descripciones de trabajo válidas en las respuestas de referencia frente a las predichas.
• Tendencia General: Para la mayoría de los otros tipos (Nombre, Lugar, Cadena), las correlaciones se mantienen altas (0.77–0.86).

3. Análisis de Sesgo

Contrario a los hallazgos en otras tareas de PLN, el estudio no encontró evidencia de un sesgo significativo:

• Sesgo de Preferencia Propia: Cuando el mismo modelo actuó como generador de QA y como juez, no se observó un sesgo de preferencia propia significativo.
• Sesgo de Preferencia de Hermanos: Del mismo modo, no se detectó sesgo cuando un juez de la misma familia de modelos evaluó salidas de un modelo hermano.

4. Robustez del Prompt

Los resultados de la evaluación fueron altamente estables a través de las variaciones de prompt:

• Zero-Shot y Sin Contexto: Sorprendentemente, el prompting zero-shot y las evaluaciones sin contexto a menudo produjeron los mejores puntajes de correlación (por ejemplo, Qwen 2.5 72B alcanzó 0.909 sin contexto).
• Estabilidad: Las variaciones en la redacción y la configuración tuvieron un impacto mínimo, con una varianza muy baja en los puntajes de correlación (0.0007 a 0.0037), lo que sugiere que el enfoque es robusto ante los matices de la ingeniería de prompts.

Contribuciones Clave

El artículo realiza cuatro contribuciones primarias:

1. Evaluación Exhaustiva: Una evaluación a gran escala de múltiples modelos de pesos abiertos a través de cuatro diversos conjuntos de datos de QA, liberando el código y los datos para la reproducibilidad.
2. Análisis Detallado: El primer análisis detallado de cómo la calidad del juicio varía según tipos de respuesta específicos, identificando fortalezas en el razonamiento numérico y debilidades en títulos de trabajo complejos.
3. Investigación de Sesgo: Una investigación sistemática de los sesgos de preferencia propia y de preferencia de hermanos, sin encontrar evidencia de estos efectos en las tareas de QA extractiva.
4. Estudio de Robustez de Prompt: Una demostración de que los resultados del LLM-as-a-judge son estables a través de las variaciones de prompt, donde el juicio zero-shot y sin contexto a menudo resulta superior.

Significado y Reivindicaciones

Los autores afirman que sus hallazgos ofrecen una alternativa práctica y confiable a las puntuaciones EM y F1 para evaluar conjuntos de datos de QA extractiva y de formato corto. Argumentan que los LLMs pueden servir como evaluadores robustos que capturan mejor la corrección semántica, particularmente para coincidencias no exactas. El estudio sugiere que la investigación futura puede confiar en el LLM-as-a-judge sin necesidad de una ingeniería de prompts extensiva o temor a sesgos inherentes del modelo, siempre que la tarea involucre respuestas de referencia claras. El artículo concluye que, si bien el LLM-as-a-judge no es perfecto (especialmente al lidiar con títulos de trabajo complejos), representa una mejora significativa sobre las métricas tradicionales para evaluar el rendimiento de los modelos en tareas de comprensión lectora.