Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

Resumen Técnico: Evaluación de Benchmarking de Rúbricas de LLM para la Atribución de Fuentes en Investigación Profunda

Planteamiento del Problema
A medida que el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se convierte en el paradigma dominante de post-entrenamiento para tareas que carecen de verificadores programáticos (por ejemplo, consejos médicos, escritura científica), la comunidad depende de jueces de LLM para calificar rúbricas específicas de cada prompt. Estos jueces actúan efectivamente como modelos de recompensa, lo que significa que el diseño de la rúbrica de entrenamiento equivale al diseño del objetivo operacionalizado. Sin embargo, persiste una pregunta crítica de calibración: ¿qué tan capaz debe ser un juez para proporcionar una señal de recompensa confiable y cómo afecta su sesgo inherente al entrenamiento posterior?

Si bien la calidad de las citas en los sistemas de investigación profunda es un objetivo principal para el RLVR, el trabajo existente no ha evaluado sistemáticamente los LLM comerciales (de propósito general) como jueces en tareas de rúbricas específicas de citación. Los sistemas anteriores suelen asumir que es necesario un único modelo grande o dedicado, o se centran en la calidad de la recuperación en lugar de la capacidad del juez para distinguir entre fuentes relevantes y fuentes que apoyan fácticamente un contenido. Existe una brecha en la comprensión de si modelos más pequeños y económicos pueden cerrar el ciclo de manera confiable frente a los modelos de frontera, y específicamente, cómo sus sesgos direccionales (por ejemplo, falsos positivos frente a falsos negativos) podrían moldear la señal de entrenamiento de formas que las métricas de precisión escalar podrían ocultar.

Metodología
Los autores presentan el Deep-Research Citation Benchmark, un conjunto de datos adversarial de formato largo diseñado para poner a prueba la evaluación de la calidad de las citas.

• Construcción del Conjunto de Datos: El benchmark abarca 25 dominios diversos (por ejemplo, computación cuántica, historia, biología). Comienza con resúmenes de formato largo, limpios y atribuidos, de los cuales aproximadamente el 60% son editados de forma adversarial utilizando 19 estrategias para introducir errores fácticos, fuentes irrelevantes o citas plausibles pero que no sustentan el contenido. Esto genera 624 pares de atribución-citación.
• Etiquetas de Referencia (Gold Labels): Un consejo de 6 jueces de LLM evaluó de forma independiente los pares en dos dimensiones: Relevancia de la Fuente (ajuste temático) y Sustento Fáctico (veracidad de la afirmación respecto a la fuente). Un revisor humano validó las 1,248 decisiones (624 pares × 2 dimensiones), adjudicando los 378 casos donde el consejo estuvo en desacuerdo para crear un conjunto de datos de referencia (gold-standard).
• Jueces Evaluados: El estudio evalúa 8 LLM comerciales de tres familias (Anthropic, Google, OpenAI), que van desde modelos de bajo costo (por ejemplo, GPT-OSS-120B, Gemini 3.1 Flash Lite) hasta modelos de frontera (por ejemplo, Claude Opus 4.6, GPT-5-mini).
• Métricas: Más allá de la precisión estándar (F1 de clase Pass y $\kappa$ de Cohen), los autores miden métricas de sesgo direccional críticas para el RLVR: deriva de la tasa de aprobación (Pass-rate drift), Tasa de Falsos Positivos (FPR) y Tasa de Falsos Negativos (FNR). Estas métricas determinan si un juez recompensa sistemáticamente de más las malas citas o penaliza de más las buenas.

Resultados Clave

1. Costo vs. Desempeño: Los jueces más económicos son competitivos con los modelos de frontera.
   • Relevancia de la Fuente: GPT-5-mini (el tercer modelo más económico) logró el F1 más alto (0.908), superando a modelos más caros como Claude Opus 4.6 (F1=0.866).
   • Sustento Fáctico: Ningún modelo dominó estadísticamente. Aunque Claude Opus 4.6 tuvo la estimación puntual más alta (F1=0.750), su intervalo de confianza del 95% se solapó con todos los demás modelos, incluido el de menor costo, GPT-OSS-120B (F1=0.649).
2. El Sesgo Direccional Oculta las Métricas Escalares: Los modelos con F1 similares exhibieron diferencias sustanciales en su sesgo.
   • La mayoría de los jueces fueron más estrictos que las etiquetas de referencia en cuanto a relevancia de la fuente, lo que resultó en una precisión alta pero un recall moderado (sub-recompensa sistemática).
   • En cuanto al sustento fáctico, las tasas de falsos negativos variaron ampliamente (de 0.183 a 0.470), lo que significa que algunos jueces rechazaron una gran fracción de afirmaciones genuinamente sustentadas.
   • Los autores señalan que el F1 escalar enmascara estas asimetrías, las cuales son críticas porque un FPR alto entrena a los modelos para explotar jueces permisivos, mientras que un FNR alto entrena a los modelos para sobre-protegerse o citar de menos.
3. Desacuerdo y Casos Difíciles: En los 378 "casos difíciles" donde el consejo inicial estuvo en desacuerdo, los rankings cambiaron significativamente. Ningún juez coincidió de manera confiable con la etiqueta adjudicada por humanos en este subconjunto, lo que sugiere que el F1 del conjunto completo es un proxy incompleto para la fiabilidad en citas ambiguas.

Significación y Reivindicaciones
El artículo argumenta que la calibración del juez es un prerrequisito para utilizar las rúbricas de citación como señales de recompensa en RLVR. Los autores afirman que:

• Los modelos de frontera no son estrictamente necesarios: El modelo más caro disponible no domina el desempeño, y los modelos más económicos pueden lograr resultados comparables o superiores en dimensiones específicas (por ejemplo, relevancia de la fuente).
• El sesgo importa más que la precisión bruta: La elección del juez debe basarse en el sesgo direccional específico requerido para el bucle de entrenamiento (por ejemplo, minimizar falsos negativos frente a falsos positivos), en lugar de simplemente maximizar el F1 escalar.
• La adjudicación humana es esencial: Debido a que los rankings de los jueces cambian en casos ambiguos y ningún modelo es perfectamente fiable en instancias difíciles, la revisión humana de los desacuerdos es necesaria para establecer etiquetas de referencia robustas.

El estudio concluye que, si bien los jueces de menor costo pueden cerrar el ciclo de manera efectiva, la selección de un juez debe ser una decisión de diseño deliberada basada en el ajuste de la rúbrica por dimensión y en las características del sesgo, en lugar de una suposición predeterminada de que los modelos más grandes son superiores.