Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

1. Problema y Contexto

Los sistemas de diálogo basados en conocimiento (Knowledge-Grounded Dialogue) buscan generar respuestas informativas y relevantes utilizando fuentes externas. Sin embargo, la investigación actual presenta tres limitaciones fundamentales:

1. Cuello de botella monolingüe: La mayoría de los enfoques se centran exclusivamente en inglés, ignorando idiomas como el hindi (hablado por más de 600 millones de personas), donde no existen benchmarks estándar ni metodologías establecidas para diálogos bilingües con conocimiento.
2. Ausencia de citas verificables: Aunque los sistemas de generación aumentada por recuperación (RAG) acceden a conocimiento, las respuestas generadas rara vez indican qué pasaje respalda qué afirmación. Esto impide la verificación de hechos y reduce la transparencia.
3. Opacidad en la toma de decisiones: Incluso cuando un modelo genera una respuesta correcta, no ofrece insights sobre por qué seleccionó ciertos pasajes. La precisión de la cita puede ser engañosa si el modelo genera el marcador de cita sin basarse realmente en el contenido de la fuente (alucinación de formato).

2. Metodología: XKD-Dial

Los autores proponen XKD-Dial, una tubería de entrenamiento progresiva de cuatro etapas diseñada para construir capacidades de diálogo bilingüe (Inglés-Hindi) con citas explicables, evitando el olvido catastrófico.

• Etapa 1: Adaptación Multilingüe. Entrenamiento de traducción Inglés-Hindi para establecer representaciones bilingües, especialmente crucial para modelos con poca exposición previa al hindi.
• Etapa 2: Ajuste Fino Supervisado (SFT) en Diálogo Inglés. Entrenamiento en diálogos basados en conocimiento con marcadores de cita explícitos (ej. "Según [1]..."). Esto enseña al modelo a vincular afirmaciones con pasajes específicos.
• Etapa 3: SFT de Diálogo Bilingüe. Extensión al hindi utilizando una mezcla ponderada de datos (60% hindi, 40% inglés). Esto aprovecha la transferencia cruzada de la etapa 2, permitiendo que el modelo aplique la mecánica de citas aprendida en inglés al hindi.
• Etapa 4: Alineación con GRPO. Uso de Group Relative Policy Optimization (GRPO) con una función de recompensa compuesta que penaliza las alucinaciones y premia la precisión de las citas, la consistencia factual y la fluidez.

Análisis de Explicabilidad:
El estudio integra tres métodos post-hoc para analizar cómo los modelos aprenden el comportamiento de citación:

1. Visualización de atención cruzada (para modelos codificador-decodificador).
2. Atribución de gradientes mediante Integrated Gradients.
3. Grounding causal basado en oclusión (verificar si eliminar la fuente hace desaparecer la cita).

3. Configuración Experimental

• Modelos: Se evaluaron seis modelos de dos familias arquitectónicas:
  • Codificador-Decodificador: Flan-T5 (250M, 780M, 3B).
  • Solo Decodificador: LLaMA-3.2-1B, Gemma-2-2B, Mistral-7B.
• Datos: Un conjunto de datos bilingüe construido combinando DSTC9, FaithDial y Wizard of Wikipedia, traducidos al hindi usando IndicTrans2.
• Métricas: BLEU, ROUGE, BERTScore, FactScore, Citation-F1 y Tasa de Alucinación.

4. Resultados Clave y Hallazgos

A. Reducción de Alucinaciones a Cero

• Para los modelos codificador-decodificador (Flan-T5), la tasa de alucinación cayó a 0.0% a partir de la Etapa 2 (SFT en inglés) y se mantuvo así.
• El formato de cita actúa como un mecanismo implícito anti-alucinación: al aprender que cada afirmación debe tener un soporte numérico, el modelo evita generar contenido no soportado.
• Caso LLaMA-3.2-1B: Este modelo logró una tasa de alucinación del 0.0% en inglés desde la Etapa 2, pero sin generar ninguna cita (Citation-F1 = 0.0). Esto demuestra que la eliminación de alucinaciones y el aprendizaje del formato de cita son objetivos separables; el modelo adoptó una estrategia conservadora (evitar afirmaciones específicas) en lugar de citar fuentes.

B. Transferencia de Habilidades y Olvido Catastrófico

• La pipeline progresiva previene el olvido catastrófico: las métricas en inglés se mantuvieron estables mientras las capacidades en hindi mejoraban significativamente.
• Transferencia de Citas: El formato de cita aprendido en inglés (Etapa 2) se transfirió efectivamente al hindi en la Etapa 3 sin necesidad de re-aprender la mecánica.
• Colapso de Generación: El modelo Flan-T5-XL (3B) experimentó un colapso total (salidas vacías) en la Etapa 2 debido a una tasa de aprendizaje demasiado agresiva, pero se recuperó completamente en la Etapa 3 (SFT bilingüe), demostrando que el entrenamiento continuo puede rescatar checkpoints colapsados.

C. Arquitectura y Escala

• Modelos Pequeños vs. Grandes: Después del SFT (Etapa 2), un modelo pequeño de 250M (Flan-T5-Base) alcanzó un rendimiento idéntico al modelo de 780M en inglés. Esto sugiere que para tareas estructuradas como el diálogo con citas, la capacidad del modelo más allá de cierto umbral es innecesaria.
• Diferencias Arquitectónicas:
  • Los modelos codificador-decodificador mostraron una fuerte conexión causal entre la fuente y la cita (grounding causal alto).
  • Los modelos solo decodificador (especialmente Mistral-7B y Gemma-2-2B) aprendieron a generar el formato de la cita (marcadores [N]), pero fallaron en el grounding causal (la cita no dependía realmente de la fuente eliminada). Esto indica una disociación entre sintaxis y semántica en estas arquitecturas.

D. Efectividad de GRPO

• La alineación con GRPO (Etapa 4) proporcionó mejoras marginales sobre un SFT bien diseñado. En muchos casos, las métricas no mejoraron o incluso retrocedieron ligeramente, sugiriendo que para tareas con formatos de salida altamente estructurados, el SFT puede ser suficiente y el RL añade poco valor en configuraciones estándar.

5. Contribuciones Principales

1. Pipeline de Entrenamiento Progresivo: Primer sistema sistemático para diálogos de conocimiento bilingüe (Inglés-Hindi) con citas, que previene el olvido catastrófico.
2. Estudio Empírico Exhaustivo: Evaluación de 6 modelos (250M a 7B) en 5 etapas, proporcionando un análisis fino de cómo la arquitectura y la escala afectan el aprendizaje de citas.
3. Reducción de Alucinaciones: Demostración de que el SFT con formato de cita explícito puede reducir las alucinaciones a 0.0% en modelos codificador-decodificador.
4. Análisis de Explicabilidad: Aplicación sistemática de visualización de atención y atribución para revelar cómo se aprende el comportamiento de citación, no solo si se aprende.
5. Insights sobre RL: Evidencia empírica de que para tareas estructuradas, el SFT puede ser tan efectivo como el RL alineado, cuestionando la necesidad de RL en todos los escenarios.

6. Significado e Implicaciones

Este trabajo establece un nuevo estándar para el desarrollo de sistemas de diálogo multilingües transparentes. Sus hallazgos sugieren que:

• La explicabilidad no debe ser un añadido posterior, sino una parte integral del diseño del entrenamiento (mediante formatos de salida estructurados).
• Para idiomas de recursos medios como el hindi, es posible lograr un alto rendimiento mediante transferencia cruzada y entrenamiento progresivo, sin necesidad de preentrenamiento masivo específico.
• La arquitectura importa: Los modelos codificador-decodificador son superiores para tareas que requieren un "grounding" estricto y verificable, mientras que los modelos solo decodificador pueden aprender la sintaxis de las citas sin la semántica subyacente.
• La validación en tiempo de generación es crítica, ya que la pérdida de entrenamiento (teacher-forced loss) no siempre predice la calidad de la generación autoregresiva (como se vio en el colapso de Flan-T5-XL).

En resumen, XKD-Dial demuestra que es posible construir sistemas de IA conversacional bilingües, factuales y explicables mediante una estrategia de entrenamiento escalonada, logrando una reducción drástica de alucinaciones sin depender exclusivamente de modelos masivos o alineación compleja por RL.