Resumen Técnico: Juzgar contra la Referencia

Planteamiento del Problema

El artículo aborda un modo de falla crítico y poco explorado en el paradigma de "LLM-como-juez" para la evaluación de Preguntas y Respuestas (QA). Aunque los Modelos de Lenguaje Grande (LLMs) se utilizan cada vez más para calificar automáticamente respuestas candidatas frente a una respuesta de referencia (oro) proporcionada, su capacidad para adherirse estrictamente a dicha referencia cuando esta entra en conflicto con el conocimiento paramétrico interno del modelo es poco comprendida. Los autores identifican que cuando una respuesta de referencia proporcionada es intercambiada intencionalmente por una entidad incorrecta que contradice las creencias internas del juez, el juez suele ignorar la referencia proporcionada. En lugar de evaluar la respuesta candidata basándose en la instrucción y la referencia dadas, el juez revierte a su propio conocimiento paramétrico, lo que conduce a puntuaciones poco fiables y una degradación de la fidelidad de la evaluación. Este problema es particularmente relevante porque el conocimiento factual evoluciona, y los conjuntos de datos pueden codificar intencionalmente objetivos contrafácticos que divergen de los datos de entrenamiento del modelo.

Metodología

Para investigar sistemáticamente este fenómeno, los autores introducen un Marco de Evaluación de QA con Referencia Intercambiada (Swapped-Reference QA Evaluation Framework). Este marco construye instancias de evaluación controladas para inducir conflictos entre la referencia proporcionada y el conocimiento interno del juez.

1. Construcción del Conjunto de Datos: Los autores curaron cuatro conjuntos de datos de QA existentes (NaturalQuestions-Open, PopQA, SciQ y FreshQA). Aplicaron el Reconocimiento de Entidades Nombradas (NER) para identificar entidades en las respuestas de referencia y luego realizaron un Intercambio de Referencia (Reference Swapping) utilizando varias estrategias:

   • Intercambio Aleatorio (Random Swap - RS): Reemplazar la referencia original por otra entidad del mismo tipo del conjunto de datos (por ejemplo, intercambiar una persona por otra).
   • Intercambio Plausible (Plausible Swap - PS): Reemplazar la referencia con una respuesta plausible pero incorrecta generada por un modelo fuerte (GPT-5).
   • Intercambio de Alta/Baja Popularidad: Intercambiar referencias con entidades de varying niveles de popularidad de páginas de Wikipedia para probar el efecto de la fuerza del conocimiento.
   • Intercambio de Conocimiento del Evaluador: Reemplazar la referencia con la respuesta específica que el propio modelo juez generaría, creando un escenario donde la referencia intercambiada se alinea perfectamente con la creencia interna del juez.

2. Generación de Candidatos: Para cada referencia intercambiada, el marco genera respuestas candidatas de formato largo correspondientes que se alinean con la referencia intercambiada, así como candidatos alineados con la referencia original.

3. Meta-Evaluación: El estudio evalúa 13 jueces de LLM diferentes (incluyendo las familias GPT-4o, GPT-5, Llama-3 y Qwen-3) a través de estos conjuntos de datos. La métrica central es la Brecha de Exactitud de Polaridad de la Referencia (Reference-Polarity Accuracy Gap - RPAG), definida como la diferencia en la exactitud entre la configuración de la referencia original ($ACC_o$) y la configuración de la referencia intercambiada ($ACC_s$). Un RPAG alto indica que el rendimiento del juez se degrada significativamente cuando la referencia es intercambiada, revelando una falla al condicionarse a la información de texto proporcionada.

4. Análisis de Mitigación: Los autores probaron si las estrategias de prompting comunes —instrucciones directas, Aprendizaje en Contexto (ICL), Cadena de Pensamiento (CoT) y CoT con Consistencia Propia (Self-Consistency)— podrían mitigar esta vulnerabilidad.

Hallazgos Clave

• Vulnerabilidad Generalizada: A través de los 13 modelos jueces y cuatro conjuntos de datos, el intercambio de la respuesta de referencia causó una caída brusca en la fiabilidad de la calificación. Incluso los modelos fuertes como GPT-4o y GPT-5 exhibieron una degradación significativa de la exactitud (por ejemplo, caídas del 30–50% en escenarios de Intercambio Aleatorio).
• Sobre-dependencia del Conocimiento Paramétrico: La falla es impulsada por la sobre-dependencia del juez hacia sus creencias internas. Cuando la referencia intercambiada se alinea con el conocimiento paramétrico del juez (Intercambio de Conocimiento del Evaluador), la vulnerabilidad desaparece (el RPAG se acerca a cero). Por el contrario, cuando la referencia intercambiada entra en conflicto con creencias internas fuertes, el juez ignora la referencia proporcionada.
• Fuerza del Conocimiento y Popularidad: La vulnerabilidad se correlaciona con la fuerza del conocimiento en conflicto. Los intercambios que involucran entidades altamente populares (priors fuertes) causan mayores caídas de exactitud que los intercambios que involucran entidades oscuras. Del mismo modo, las preguntas que involucran hechos estables y de larga duración muestran una mayor vulnerabilidad que aquellas que involucran conocimiento cambiante o sensible al tiempo.
• El Escalamiento No Ayuda: Aumentar la capacidad del modelo (por ejemplo, pasar de 8B a 70B de parámetros) no mitiga el problema; en algunos casos, los modelos más grandes exhibieron una mayor vulnerabilidad, sugiriendo que una mayor capacidad fortalece la dependencia del conocimiento del mundo interno en lugar de mejorar la adherencia a las instrucciones externas.
• Limitaciones del Prompting: Las estrategias de mitigación comunes, incluyendo instrucciones detalladas y prompting de Cadena de Pensamiento (CoT), fallaron en resolver el problema. Notablemente, el prompting de CoT a veces aumentó la vulnerabilidad bajo condiciones de alto conflicto (Intercambio Aleatorio), ya que el proceso de razonamiento pareció amplificar la dependencia del modelo en sus propias creencias paramétricas para anular la referencia proporcionada.

Significancia y Contribuciones

El artículo realiza tres contribuciones principales:

1. Identificación de un Modo de Falla Crítico: Revela que los jueces de LLM frecuentemente ignoran las instrucciones de evaluación cuando la respuesta de referencia contradice su conocimiento paramétrico, una limitación fundamental en la evaluación condicionada por referencia.
2. Marco Sistemático: Introduce un marco de evaluación de QA con referencia intercambiada que permite un análisis detallado de la adherencia del juez a través de conjuntos de datos, tipos de intercambio y alineaciones de conocimiento.
3. Perspectivas Diagnósticas: Identifica que la causa raíz es la incapacidad de resolver conflictos de conocimiento a favor de la referencia proporcionada, y que las técnicas de prompting estándar ofrecen un alivio limitado.

Los autores concluyen que estos hallazgos resaltan un riesgo fundamental en el paradigma de "LLM-como-juez". La incapacidad de seguir de manera confiable las referencias proporcionadas cuando estas entran en conflicto con el conocimiento interno sugiere que los protocolos de evaluación actuales pueden ser defectuosos cuando se aplican a tareas que involucran hechos en evolución o escenarios contrafácticos. El artículo motiva el desarrollo de nuevos protocolos y métodos de entrenamiento que puedan imponer una adherencia más fuerte a las referencias proporcionadas, en lugar de depender de los priors internos del modelo.

Nota: El artículo establece explícitamente que no propone una estrategia de mitigación concreta, centrándose en el diagnóstico del modo de falla. También limita su alcance a la evaluación de QA, señalando que los hallazgos pueden no generalizarse directamente a otras tareas condicionadas por referencia, como la evaluación de resumen o de diálogo, sin un estudio adicional.