Resumen Técnico: FullCite – Fundamentación de Evidencia Explícita mediante la Generación Estructurada de Citación en Línea

Declaración del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) reemplazan cada vez más a los motores de búsqueda tradicionales al proporcionar respuestas directas, la demanda de una generación fáctica y fiel ha crecido, particularmente en dominios de alto riesgo como la medicina, el derecho y la ciencia. Si bien la Generación Aumentada por Recuperación (RAG) permite a los modelos fundamentar sus salidas en documentos externos, la mera presencia de contexto recuperado no garantiza un uso fiel. Los modelos suelen recurrir al conocimiento paramétrico, atribuyen incorrectamente afirmaciones a documentos irrelevantes o producen salidas que solo están parcialmente respaldadas por la evidencia.

Las soluciones existentes generalmente se dividen en dos categorías:

1. Citaciones a nivel de documento: Atribuciones de grano grueso que hacen referencia a un documento fuente pero no logran identificar la evidencia específica que lo sustenta, citando potencialmente documentos que contienen información relacionada pero no de apoyo.
2. Citaciones de grano fino: Enfoques que hacen referencia a fragmentos de evidencia específicos, pero que a menudo carecen de una atribución simultánea al documento o luchan por mantener una adherencia estructural estricta.

Existe una brecha crítica en los marcos de trabajo que optimizan simultáneamente tanto la atribución a nivel de documento como la identificación precisa de fragmentos de evidencia, manteniendo al mismo tiempo la fidelidad semántica.

Metodología: El Marco de Trabajo FullCite

Los autores presentan FullCite, un marco diseñado para generar citaciones estructuradas en línea que vinculan cada afirmación en una respuesta tanto con su documento fuente como con un fragmento de evidencia textual íntegro. El formato de la citación está estrictamente definido como {doc_id: <identificador>, snippet: <texto íntegro>}.

FullCite evalúa tres estrategias distintas para generar estas citaciones estructuradas:

1. Generación basada en Prompts: Se instruye al modelo, mediante prompts de lenguaje natural, para proporcionar citas de evidencia íntegra después de cada afirmación. El cumplimiento depende enteramente de las capacidades de seguimiento de instrucciones del modelo sin intervención durante la decodificación.
2. Decodificación Restringida: Un autómata de estados finitos (FSA) impone la gramática de la citación durante la inferencia. El autómata rastrea el estado de generación (afirmación, ID de documento o fragmento) y restringe el siguiente token a aquellos que sean consistentes con la gramática y el contenido íntegro del contexto. Si el modelo falla en seguir la estructura, reintenta hasta tres veces con una temperatura incrementada.
3. Alineación de Fragmentos Post-hoc: El modelo genera texto libremente. Posteriormente, el sistema intenta aproximar la evidencia citada encontrando el fragmento más similar en el documento fuente (dado un ID de documento correctamente generado) utilizando la similitud de Jaccard a nivel de palabra. Se utiliza un umbral de similitud de 0.7 para reconstruir los fragmentos que no coinciden palabra por palabra.

Configuración Experimental

El marco fue evaluado en tres benchmarks que cubren diversos dominios y tipos de preguntas:

• BioASQ: Dominio biomédico (sí/no, factoid, resumen, lista).
• ASQA: Preguntas de tipo factoid de dominio general.
• ExpertQA: Preguntas de múltiples dominios (32 dominios) con fuentes anotadas por expertos.

Dado que ASQA y ExpertQA carecían originalmente de anotaciones de fragmentos de evidencia de grano fino, los autores aplicaron un paso de anotación adicional utilizando GPT-5.4-mini para extraer fragmentos de evidencia atómicos, validados contra las anotaciones de oro de BioASQ (logrando un ROUGE-L >90%).

Los experimentos utilizaron dos LLMs de pesos abiertos: Qwen3-8B y Gemma-3-12B-it. La evaluación midió el desempeño en tres dimensiones:

1. Corrección a nivel de documento (Doc-F1): Precisión al citar el documento fuente correcto.
2. Identificación de fragmentos de evidencia (Snippet-F1): Precisión al identificar el texto de apoyo preciso.
3. Fidelidad de la relación Afirmación-Citación: Similitud semántica entre la afirmación y el fragmento citado, evaluada mediante sentence transformers, LLM-as-a-Judge (GPT-5.4) y anotación humana.

Resultados Clave

1. Localización de Documento vs. Fragmento

Los resultados revelan una disparidad significativa en las capacidades de los modelos. Los LLMs son generalmente efectivos identificando documentos relevantes (puntuaciones Doc-F1 altas) pero tienen dificultades para señalar el fragmento de evidencia preciso dentro de ellos (puntuaciones Snippet-F1 bajas).

• Línea Base (Basada en Prompts): Logró un Doc-F1 alto (ej. 58.08 en BioASQ) pero un Snippet-F1 muy bajo (6.18 en BioASQ).
• Estrategia Post-hoc: Mostró las ganancias más sustanciales en la identificación de fragmentos. Para ASQA, el Snippet-F1 mejoró de 12.80 (basado en prompts) a 61.87 (Post-hoc) usando Qwen3-8B. Sin embargo, esto a menudo implicó un compromiso donde la cobertura de documentos disminuyó ligeramente a cambio de una mayor precisión en los fragmentos.
• Decodificación Restringida: Proporcionó mejoras moderadas en la identificación de fragmentos, pero fue menos efectiva que el enfoque Post-hoc en algunos entornos.

2. Fidelidad y Alineación Semántica

Se observa un compromiso entre la localización estricta de fragmentos y la fidelidad semántica.

• Qwen3-8B alcanzó sus puntuaciones más altas de similitud semántica bajo la configuración de línea base basada en prompts, con puntuaciones que declinaron bajo las configuraciones Post-hoc y Restringida.
• Gemma-3-12B-it demostró más estabilidad, con puntuaciones de similitud que a menudo se preservaron o mejoraron bajo las configuraciones Post-hoc y Restringida.
• Evaluación Humana/LLM: Tanto los anotadores humanos como GPT-5.4 calificaron las citas con puntuaciones altas en "Soporte" y "Relevancia", con la estrategia Post-hoc logrando generalmente el desempeño más fuerte. Los desacuerdos entre evaluadores humanos y de LLM fueron principalmente de puntuaciones adyacentes (ej. 1 vs. 2).

3. Sesgos Sistemáticos y Fallos

El análisis reveló dos patrones sistemáticos que socavan la fundamentación de la evidencia:

• Sesgo de Primacía: En BioASQ, el 81.8% de las citas se dirigieron solo a los dos primeros de cinco documentos de contexto, consistente con el fenómeno "perdido en el medio" (lost-in-the-middle).
• Omisión de Citación: Los modelos omitieron frecuentemente las citas por completo para preguntas binarias de sí/no, inflando artificialmente las puntuaciones de la línea base. Una vez que se impuso la atribución, estas puntuaciones cayeron, revelando que el éxito de la línea base se debió a la falta de fundamentación y no a un desempeño superior.

4. Impacto en Tareas de Uso Posterior (Downstream)

En tareas de QA de uso posterior, la configuración Post-hoc FullCite arrojó los resultados generales más fuertes, particularmente para BioASQ (ganancia promedio de 19.85 puntos). Aunque las líneas base basadas en prompts puntuaron más alto en preguntas de sí/no, esto se atribuyó a la omisión de citas. Para preguntas de tipo factoid, resumen y lista, la fundamentación mejoró significamente el desempeño, especialmente para respuestas cortas y verificables.

Significancia y Reivindicaciones

El artículo afirma que FullCite es el único marco que optimiza simultáneamente tanto la atribcción a nivel de documento como la de fragmentos de evidencia, manteniendo puntuaciones de similitud semántica competitivas.

• Cobertura Conjunta: A diferencia de trabajos previos que se centran ya sea en referencias de documentos o en fragmentos de evidencia, FullCite proporciona un enfoque equilibrado para una QA atribuida fiel.
• Brecha de Identificación de Fragmentos: El trabajo destaca que el principal cuello de botella en la atribución fiel no es la recuperación de documentos, sino la identificación precisa de los fragmentos de evidencia.
• Perspectiva Metodológica: El estudio demuestra que forzar una estructura estricta (vía decodificación restringida) o aproximar los fragmentos post-generación (Post-hoc) produce una mejor fundamentación de la evidencia que confiar únicamente en la generación basada en prompts, aunque esto pueda tener un costo en la alineación semántica dependiendo del modelo.

Los autores concluyen que lograr una QA atribuida fiel requiere un cambio de énfasis en la investigación, pasando de la recuperación de documentos a la identificación precisa de fragmentos de evidencia y métodos de evaluación que puedan distinguir la similitud superficial del soporte genuino.

Limitaciones

Los autores reconocen varias limitaciones:

• Alcance de Dominio: Los hallazgos se basan en conjuntos de datos biomédicos, generales y multidominio, y pueden no transferirse a los dominios legal o financiero.
• Alcance de Modelos: Los experimentos se limitaron a dos modelos de pesos abiertos; los patrones pueden diferir para modelos más grandes o propietarios.
• Métricas de Evaluación: Las métricas automáticas (Doc-F1, Snippet-F1) son aproximaciones y no capturan completamente la implicación (entailment); la evaluación humana fue limitada en escala.
• Sesgos No Abordados: El marco no mitiga explícitamente el sesgo de primacía o la tendencia a omitir citas para preguntas binarias.
• Entrenamiento: El estudio no exploró el ajuste fino (fine-tuning) de modelos específicamente para la generación conjunta de citación de documento y fragmento.