Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

1. Problématique et Contexte

Les systèmes de dialogue ancrés dans des connaissances (Knowledge-Grounded Dialogue) visent à générer des réponses informatives en s'appuyant sur des sources de connaissances externes. Cependant, les approches actuelles souffrent de trois limitations majeures :

1. Bottleneck monolingue : La majorité des recherches se concentrent sur l'anglais, laissant des langues comme l'hindi (parlée par plus de 600 millions de personnes) sans benchmarks standards ni méthodologies établies pour le dialogue bilingue.
2. Absence de citations vérifiables : Bien que les systèmes RAG (Retrieval-Augmented Generation) récupèrent des passages pertinents, les réponses générées n'indiquent généralement pas quelle source soutient quelle affirmation, ce qui nuit à la transparence et à la confiance.
3. Opacité des décisions : Il est difficile de comprendre pourquoi un modèle a sélectionné un passage spécifique, rendant l'exactitude des citations seule un indicateur de qualité peu fiable si le modèle ne "conditionne" pas réellement sa sortie sur la source.

L'objectif de cette étude est de développer un pipeline d'entraînement capable de réduire les hallucinations à zéro tout en produisant des citations explicites dans un contexte bilingue Anglais-Hindi, tout en offrant une interprétabilité du processus de décision.

2. Méthodologie : Le Pipeline XKD-Dial

Les auteurs proposent XKD-Dial, un pipeline d'entraînement progressif en quatre étapes conçu pour construire des capacités de dialogue ancrées dans des connaissances de manière incrémentale, tout en évitant l'oubli catastrophique.

• Étape 1 : Adaptation Multilingue.
  • Entraînement sur des paires de phrases parallèles Anglais-Hindi (corpus IIT Bombay) pour adapter les représentations du modèle.
  • Durée limitée (1 époque) pour éviter d'écraser les capacités d'instruction pré-entraînées.
• Étape 2 : SFT (Supervised Fine-Tuning) sur le Dialogue Anglais.
  • Entraînement sur des dialogues ancrés dans des connaissances avec des marqueurs de citation explicites (ex: [1], [2]).
  • Le modèle apprend à associer les affirmations à des références numérotées. Cette étape agit comme un mécanisme implicite anti-hallucination.
• Étape 3 : SFT Bilingue (Anglais-Hindi).
  • Extension aux dialogues en hindi avec citations.
  • Utilisation d'un mélange pondéré (40% Anglais, 60% Hindi) pour accélérer l'apprentissage du hindi tout en servant l'anglais comme "tampon de replay" pour prévenir l'oubli catastrophique.
  • Le transfert de la structure de citation (apprenue en anglais) à l'hindi est observé.
• Étape 4 : Alignement par GRPO (Group Relative Policy Optimization).
  • Application d'un apprentissage par renforcement (RL) sans modèle de récompense critique (critic-free).
  • Fonction de récompense composite incluant la cohérence factuelle (NLI), le chevauchement d'entités, la précision de l'attribution, la fluidité et de lourdes pénalités pour les hallucinations et les citations incorrectes.

Modèles évalués : Six modèles couvrant deux familles d'architectures (Encodeur-Décodeur et Décodeur-seul) et des tailles allant de 250M à 7B paramètres (Flan-T5, LLaMA-3.2, Gemma-2, Mistral).

Analyse d'Explicabilité : Trois méthodes post-hoc sont appliquées systématiquement :

1. Visualisation de l'attention croisée (Cross-attention).
2. Attribution par Intégration de Gradients (Integrated Gradients).
3. Analyse de causalité par occlusion (Occlusion-based causal grounding).

3. Résultats Clés

Les résultats, évalués sur six métriques automatiques (BLEU, ROUGE, BERTScore, FactScore, Citation-F1, Taux d'hallucination), révèlent des tendances importantes :

• Réduction des hallucinations à 0% :

  • Pour les modèles Encodeur-Décodeur (Flan-T5), le taux d'hallucination chute à 0,0% dès l'Étape 2 (SFT Anglais) et reste nul.
  • Pour le modèle Mistral-7B (Décodeur-seul), le taux chute de 7,8% à 1,4%.
  • Cas particulier LLaMA-3.2-1B : Ce modèle atteint 0% d'hallucination en anglais dès l'Étape 2, mais sans générer aucune citation (Citation-F1 = 0,000). Il adopte une stratégie de génération conservatrice (évitement des faits spécifiques) plutôt que de s'ancrer dans les sources. Cela démontre que l'élimination des hallucinations et l'apprentissage du format de citation sont des objectifs séparables.

• Égalisation des performances par SFT :

  • Après l'Étape 2, un petit modèle de 250M (Flan-T5-Base) atteint des performances identiques à un modèle de 780M (Flan-T5-Large) sur l'anglais. Cela suggère que pour des tâches structurées comme le dialogue avec citations, la capacité du modèle n'est pas le facteur limitant principal après un bon SFT.

• Effets de l'architecture :

  • Encodeur-Décodeur : Montrent une forte corrélation entre l'attention croisée et les citations, assurant un ancrage causal réel.
  • Décodeur-seul : Bien qu'ils apprennent le format des citations (marqueurs [N]), l'analyse par occlusion révèle une dissociation : les citations ne sont pas causalement ancrées dans les sources (le modèle génère le marqueur sans consulter réellement le passage).
  • Effondrement de génération (Generation Collapse) : Le modèle Flan-T5-XL (3B) a produit des chaînes vides à l'Étape 2 (probablement dû à un taux d'apprentissage trop agressif), mais s'est récupéré complètement à l'Étape 3 grâce à l'entraînement bilingue, prouvant la résilience du pipeline.

• Efficacité du GRPO :

  • L'alignement par GRPO (Étape 4) n'apporte que des améliorations marginales par rapport à un SFT bien conçu pour cette tâche structurée. Pour les modèles Encodeur-Décodeur, les gains sont négligeables.

• Problème de la métrique BLEU en Hindi :

  • Les scores BLEU restent proches de zéro pour le hindi en raison de la richesse morphologique et de l'ordre libre des mots, sous-estimant la qualité réelle. Les auteurs recommandent d'utiliser BERTScore comme métrique principale pour le hindi.

4. Contributions Principales

1. Premier pipeline systématique bilingue : Introduction de XKD-Dial, la première méthodologie complète pour le dialogue ancré dans des connaissances avec citations en Anglais-Hindi.
2. Étude empirique transversale : Évaluation de six modèles à chaque étape du pipeline (30 runs d'évaluation au total), offrant une analyse fine de l'impact de l'architecture et de l'échelle.
3. Stratégie anti-hallucination : Démonstration que le SFT avec format de citation explicite peut réduire les hallucinations à zéro pour les modèles Encodeur-Décodeur.
4. Analyse d'explicabilité approfondie : Application systématique de l'attention, des gradients et de l'occlusion pour révéler comment le comportement de citation est appris, et non seulement si il l'est.
5. Insights sur le RL : Mise en évidence que pour des tâches à format de sortie très structuré, le SFT peut suffire, et que le RL (GRPO) apporte peu de valeur ajoutée dans cette configuration spécifique.

5. Signification et Implications

Ce travail a des implications majeures pour le développement de LLMs multilingues et fiables :

• Fiabilité et Transparence : Il prouve qu'il est possible de construire des systèmes de dialogue qui citent leurs sources de manière vérifiable, réduisant ainsi la méfiance envers l'IA.
• Efficacité des modèles : La capacité des petits modèles (250M) à égaler les grands modèles après un SFT ciblé ouvre la voie à des déploiements plus économiques.
• Limites des architectures Décodeur-seul : L'étude met en lumière un risque critique : les modèles Décodeur-seul peuvent apprendre à "imiter" le format de citation sans comprendre le lien causal avec la source, ce qui rend les métriques de citation (Citation-F1) insuffisantes sans tests d'occlusion.
• Adaptation aux langues à faible ressources : Le pipeline progressif permet de compenser le manque de données d'entraînement en hindi en utilisant le transfert croisé depuis l'anglais.

En conclusion, XKD-Dial établit une nouvelle référence pour le dialogue ancré dans des connaissances multilingues, démontrant qu'une approche progressive combinée à des analyses d'explicabilité est essentielle pour garantir la fiabilité des LLMs.