Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models

1. El Problema

Los Modelos de Lenguaje Grandes (LLM) actuales carecen de fiabilidad en la generación de citas (referencias) cuando operan de forma autónoma ("closed-book").

• Alucinaciones: Las citas generadas directamente por LLMs tienen tasas de alucinación extremadamente altas (entre el 86% y el 91.4%), lo que significa que a menudo inventan fuentes o atribuyen información incorrecta.
• Limitaciones de RAG: La solución actual, la Generación Aumentada por Recuperación (RAG), depende de un recuperador externo en tiempo de inferencia. Esto introduce latencia, dependencia de infraestructura externa y vulnerabilidad al ruido o fallos en la recuperación.
• Falta de Explicabilidad: Los sistemas externos no revelan qué sabe realmente el modelo de su memoria paramétrica, dificultando la trazabilidad de los datos de entrenamiento, un requisito creciente en regulaciones como la Ley de IA de la UE.

El objetivo de este trabajo es determinar si los LLMs pueden ser entrenados para realizar citas internas fiables (atribuir respuestas a documentos vistos durante el preentrenamiento continuo) sin necesidad de recuperación externa en tiempo de prueba.

2. Metodología: CitePretrain y Active Indexing

Los autores proponen un marco de dos etapas y un nuevo método de entrenamiento llamado Active Indexing.

A. Benchmark: CitePretrain-Bench

Se construyó un nuevo benchmark para evaluar la atribución interna, combinando:

• Corpus Diverso: Wikipedia, Common Crawl, arXiv y documentos sintéticos nuevos (no vistos durante el preentrenamiento).
• Tareas: Preguntas de respuesta corta (hechos únicos) y respuesta larga (síntesis de múltiples hechos y documentos).
• Identificadores: Uso de títulos de documentos legibles como identificadores únicos en lugar de IDs numéricos.

B. Enfoque de Entrenamiento

El proceso consta de dos fases:

1. Preentrenamiento Continuo (Indexación): El modelo aprende a asociar el conocimiento factual con identificadores de documentos.
2. Ajuste Fino por Instrucción (Instruction Tuning): Se entrena al modelo para que genere respuestas junto con sus citas correspondientes.

C. Active Indexing (La Innovación Clave)

A diferencia del "Indexado Pasivo" (simplemente adjuntar un ID al final del documento), Active Indexing utiliza aumento de datos sintéticos para forzar al modelo a aprender asociaciones bidireccionales robustas:

1. Aumento Forward (Fuente $\to$ Hecho):

   • Genera pares pregunta-respuesta basados en entidades específicas dentro de un documento.
   • Entrena al modelo a recuperar hechos detallados cuando se le da el identificador del documento como contexto.
   • Objetivo: Mejorar la recuperación interna y el razonamiento basado en una fuente específica.

2. Aumento Backward (Hecho $\to$ Fuente):

   • Crea instrucciones que requieren sintetizar información de múltiples documentos (clústeres de fragmentos).
   • El modelo debe generar la respuesta y atribuir cada afirmación factual al documento de origen correcto.
   • Objetivo: Enseñar al modelo a rastrear el origen de la información y realizar razonamiento cruzado.

Esta estrategia entrena al modelo no solo a memorizar texto, sino a entender la relación semántica entre un hecho (parafraseado de múltiples formas) y su fuente original.

3. Contribuciones Clave

1. CitePretrain-Bench: Un benchmark estandarizado para evaluar la atribución interna en escenarios de respuesta corta y larga, utilizando tanto corpus reales como documentos nuevos.
2. Active Indexing: Una técnica de preentrenamiento continuo que supera significativamente a las bases pasivas mediante el uso de datos sintéticos bidireccionales (Forward y Backward).
3. Análisis de Escala: Demostración de que la precisión de las citas mejora consistentemente al aumentar el tamaño del modelo y la cantidad de datos aumentados (hasta 16x el corpus original), sin signos de saturación.
4. Citas Híbridas: Evidencia de que las citas internas complementan a las externas, actuando como un mecanismo de respaldo robusto cuando la recuperación externa falla o es ruidosa.

4. Resultados Experimentales

Los experimentos se realizaron con modelos Qwen-2.5 (3B, 7B y 14B) y Llama-3.

• Superioridad sobre el Indexado Pasivo: Active Indexing superó consistentemente al Indexado Pasivo en todas las tareas.
  • Mejora en Precisión de Citas: Se lograron aumentos de hasta 30.2% en precisión de citas en comparación con el índice pasivo.
  • Complementariedad: La combinación de los objetivos Forward y Backward fue más efectiva que usarlos por separado.
• Impacto del Tamaño del Modelo: Aunque los modelos más grandes (7B, 14B) obtienen mejores resultados, el tamaño por sí solo no es suficiente. Incluso modelos propietarios potentes como GPT-4.1 (usados en few-shot) tuvieron dificultades para generar citas internas fiables sin el entrenamiento específico de Active Indexing.
• Robustez ante Ruido: En escenarios de recuperación pobre (ruidosa), los modelos con Active Indexing superaron a los sistemas que dependen exclusivamente de RAG externo.
• Generalización: El método funcionó bien incluso en documentos nuevos (no vistos en preentrenamiento) y en tareas que requieren parafraseo complejo, no solo copia literal.

5. Significado e Impacto

• Eliminación de Latencia: Permite que los LLMs proporcionen citas verificables sin la sobrecarga computacional y de latencia de un sistema de recuperación externo en tiempo de ejecución.
• Transparencia y Regulación: Facilita la trazabilidad de las salidas del modelo hacia sus datos de entrenamiento, alineándose con las nuevas regulaciones de IA que exigen explicabilidad y auditoría de datos.
• Eficiencia de Datos: Demuestra que la inversión en datos sintéticos de alta calidad durante el entrenamiento (una vez) es más eficiente que el costo recurrente de recuperar y procesar documentos en cada consulta.
• Futuro de los Sistemas Híbridos: Sugiere que el futuro de los sistemas confiables no es elegir entre RAG o memoria interna, sino combinar ambos: usar la memoria interna para respuestas rápidas y de respaldo, y RAG para información actualizada, con un mecanismo de atribución unificado.

En resumen, el paper demuestra que es posible entrenar LLMs para "saber de dónde viene su conocimiento" de manera intrínseca, transformando la atribución de una tarea de recuperación externa a una capacidad fundamental del modelo.