DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

Resumen Técnico: DS@GT ARC en LongEval

Planteamiento del Problema
El conocimiento científico es dinámico y evoluciona mediante la investigación y publicación continuas. Esta deriva temporal plantea desafíos significativos para los sistemas de Generación Aumentada por Recuperación (RAG), que corren el riesgo de recuperar información desactualizada o irrelevante, omitir evidencia o generar respuestas que no están fundamentadas fácticamente en los documentos fuente proporcionados. Existe una brecha crítica entre las métricas de evaluación de lenguaje natural tradicionales (que favorecen la fluidez y la superposición léxica) y el requisito de una integridad de citación estricta y un fundamento factual en los dominios científicos.

Metodología
El equipo DS@GT ARC participó en la Tarea 4 de CLEF 2026 LongEval, la cual utilizó el corpus de literatura científica CORE. La tarea proporcionó una consulta y un conjunto fijo de diez documentos prerrecuperados, requiriendo que los participantes generaran respuestas en lenguaje natural respaldadas por citas específicas de dicho conjunto. El equipo evaluó tres enfoques arquitectónicos distintos:

1. Línea Base Híbrida de DS@GT: Una implementación RAG estándar utilizando un recuperador híbrido (BM25 + incrustaciones densas BGE) para clasificar fragmentos semánticos superpuestos. Los $k$ fragmentos superiores se introdujeron directamente en un modelo Gemma-4-31B ajustado para instrucciones para la síntesis de la respuesta.
2. Pipeline de RAG Correctivo (CRAG) + CiteFix: Una arquitectura correctiva de dos etapas diseñada para imponer el fundamento:
   • Pre-Generación: Un codificador cruzado ligero (CRAG) evalúa los fragmentos recuperados frente a la consulta, descartando aquellos que no cumplen con un umbral de implicación para filtrar distractores antes de la generación.
   • Post-Generación: CiteFix analiza las afirmaciones generadas frente a los fragmentos de los documentos citados. Las citas que carecen de implicación para respaldar las afirmaciones específicas son podadas, imponiendo una atribución estricta.
3. Benchmarks de Modelos de Frontera: Dos ejecuciones curadas manualmente utilizando modelos de última generación (GPT-5.5 Thinking y Claude Opus 4.7 Thinking) que omitieron la fragmentación y la puntuación, sintetizando respuestas directamente a partir del texto bruto de los diez documentos candidatos.

Estrategia de Evaluación
El equipo empleó un marco de evaluación dual:

• Métricas Oficiales de la Tarea: Métricas estándar incluyendo ROUGE y puntuaciones BERT para similitud léxica/semántica contra un conjunto de oro oculto, Precisión de Citación y Cobertura de Nuggets.
• Diagnósticos RAGAs Libres de Referencia: Una configuración de LLM-como-juez (utilizando Claude Sonnet 4.6) para medir la Fidelidad Global (fundamento de las afirmaciones frente al contexto completo de los 10 documentos), la Fidelidad de Citación (fundamento de las afirmaciones estrictamente frente a los documentos citados) y la Relevancia de la Respuesta.

Resultos Clave
La evaluación reveló una divergencia significativa entre las métricas de rendimiento tradicionales y el fundamento factual:

• Modelos de Frontera: GPT-5.5 y Claude Opus 4.7 lograron las puntuaciones más altas en las métricas oficiales (ROUGE, BERT, Relevancia de la Respuesta) y en la Precisión de Citación. Sin embargo, los diagnósticos de RAGAs expusieron un modo de falla crítico: estos modelos generaron frecuentemente respuestas altamente relevantes apoyándose en su memoria paramétrica en lugar del contexto proporcionado. Consecuentemente, exhibieron una baja Fidelidad de Citación (por ejemplo, GPT-5.5 obtuvo 0.417), lo que indica que a menudo alucinaron citas o no fundamentaron detalles específicos en los documentos recuperados.
• Pipeline Correctivo: El pipeline CRAG+CiteFix logró la mayor Fidelidad Global (0.784) y Fidelidad de Citación (0.758) entre todas las propuestas. No obstante, esta adherencia estricta al fundamento resultó en puntuaciones ROUGE y BERT más bajas en comparación con la Línea Base Híbrida. Esta caída se atribuyó al "comportamiento de abstención" del pipeline, donde el sistema se negó a generar respuestas cuando el contexto recuperado carecía de evidencia suficiente, en lugar de alucinar desde la memoria paramétrica.
• Significancia Estadística: Una prueba de rango firmado de Wilcoxon sobre las puntuaciones de RAGAs indicó que las mejoras en la fidelidad proporcionadas por las intervenciones correctivas no fueron estadísticamente significativas a través de las 47 consultas de prueba, lo que sugiere posibles limitaciones en los modelos de NLI utilizados para la verificación o en el ajuste específico de las intervenciones.

Significado y Conclusiones
El artículo argumenta que la evaluación de sistemas de QA RAG confiables requiere un cambio en el diseño de las métricas. Los resultados demuestran que los modelos de frontera pueden maximizar la relevancia de la respuesta y la fluidez mientras fallan en utilizar el contexto proporcionado, un modo de falla que las métricas tradicionales (ROUGE/BERT) no logran penalizar. Por el contrario, los pipelines que imponen un fundamento estricto pueden parecer tener un bajo rendimiento en las métricas de superposición léxica debido a comportamientos de abstención más seguros.

Los autores concluyen que asegurar los pipelines de QA RAG en dominios científicos requiere métricas de evaluación que recompensen la seguridad estructural y los modos de falla adecuados (como la abstención) sobre la fluidez conversacional que depende de la memoria paramétrica. Proponen que los futuros benchmarks deben priorizar métricas que impongan un fundamento de respuesta estricto para asegurar que las afirmaciones científicas estén respaldadas empíricamente por los documentos de investigación citados.