Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

1. Problemstellung

Wissensbasierte Dialogsysteme zielen darauf ab, informative und kontextrelevante Antworten zu generieren, indem sie externe Wissensquellen nutzen. Trotz Fortschritten bestehen jedoch drei fundamentale Einschränkungen in der aktuellen Forschung:

• Monolinguale Beschränkung: Die meisten Ansätze konzentrieren sich ausschließlich auf Englisch. Für Sprachen wie Hindi (über 600 Millionen Sprecher) fehlen Benchmarks, etablierte Trainingsmethoden und systematische Studien zu wissensbasierten Dialogen in einem bilingualen Setting.
• Fehlende überprüfbare Zitationen: Obwohl Retrieval-Augmented Generation (RAG) relevante Passagen findet, geben generierte Antworten selten an, welche Passage welche Behauptung stützt. Ohne explizite Zitationsmarker (z. B. „Laut [1]...") können Nutzer Fakten nicht verifizieren, was das Vertrauen untergräbt.
• Intransparenz der Entscheidungsfindung: Selbst bei korrekten Antworten ist unklar, warum das Modell bestimmte Wissenspassagen ausgewählt hat. Es besteht die Gefahr, dass Zitationsmarker nur syntaktisch korrekt generiert werden, ohne dass die Antwort tatsächlich auf dem zitierten Inhalt basiert („Halluzination von Zitaten").

2. Methodik: XKD-Dial Pipeline

Die Autoren stellen XKD-Dial vor, einen progressiven vierstufigen Trainingspipeline für erklärbare, wissensbasierte Dialoggenerierung im bilingualen (Englisch-Hindi) Kontext. Das Kernprinzip ist die schrittweise Komposition von Fähigkeiten, um katastrophales Vergessen zu verhindern.

Die vier Stufen:

1. Stufe 1: Multilinguale Anpassung: Training auf parallelen Englisch-Hindi-Sätzen (IIT Bombay Korpus), um bilinguale Repräsentationen aufzubauen, insbesondere für Modelle mit geringer Hindi-Vortrainierung.
2. Stufe 2: Englisch-Dialog SFT (Supervised Fine-Tuning): Feinabstimmung auf englischen wissensbasierten Dialogen mit expliziten Zitationsmarkern. Dies lehrt das Modell, Behauptungen spezifischen Passagen zuzuordnen.
3. Stufe 3: Bilingualer Dialog SFT: Erweiterung auf Hindi-Dialoge unter Beibehaltung der englischen Fähigkeiten. Ein gewichteter Mix (40 % Englisch, 60 % Hindi) dient als Replay-Puffer, um katastrophales Vergessen zu vermeiden. Zitationsformate werden hier cross-lingual übertragen.
4. Stufe 4: GRPO-Alignment: Anwendung von Group Relative Policy Optimization (GRPO), einer RL-Methode ohne separaten Reward-Modell, mit einer zusammengesetzten Belohnungsfunktion. Diese bestraft Halluzinationen und belohnt faktenbasierte Konsistenz sowie korrekte Zitationen.

Modell-Architekturen:
Die Studie evaluiert sechs Modelle über zwei Architekturfamilien hinweg (250M bis 7B Parameter):

• Encoder-Decoder: Flan-T5 (Base, Large, XL).
• Decoder-Only: LLaMA-3.2-1B, Gemma-2-2B, Mistral-7B.

Erklärbarkeits-Module:
Um zu verstehen, wie Zitationsverhalten gelernt wird, werden drei post-hoc-Analysen durchgeführt:

• Cross-Attention-Visualisierung (für Encoder-Decoder).
• Integrated Gradients (Token-Attribution).
• Occlusion-basierte kausale Verankerung (prüft, ob Zitate tatsächlich vom Quelltext abhängen).

3. Wichtige Beiträge

1. Erste systematische Pipeline: XKD-Dial ist das erste System, das wissensbasierte Dialoge mit Zitationen, mehrsprachige Unterstützung (Englisch-Hindi), RL-Alignment und Erklärbarkeit gleichzeitig adressiert.
2. Umfassende empirische Studie: Evaluation von 30 Szenarien (6 Modelle × 5 Stufen), die eine feinkörnige Ablation der Fähigkeiten ermöglicht.
3. Reduktion von Halluzinationen auf 0 %: Training mit expliziten Zitationsformaten reduziert die Halluzinationsrate bei Encoder-Decoder-Modellen ab Stufe 2 auf exakt 0,0 % (automatische NLI-Evaluation).
4. SFT als starke Basis: Für strukturierte Aufgaben wie zitationsbasierte Dialoge bietet GRPO nur marginale Verbesserungen gegenüber einem gut durchdachten SFT.
5. Erklärbarkeit des Lernprozesses: Die Studie zeigt, dass Encoder-Decoder-Modelle Zitate durch Cross-Attention kausal verankern, während Decoder-Only-Modelle oft nur das syntaktische Muster lernen, ohne semantische Verankerung.

4. Ergebnisse und Analysen

Leistungsentwicklung:

• Stufe 2 als Wendepunkt: Bei Encoder-Decoder-Modellen (Flan-T5) führt Stufe 2 zu einem dramatischen Anstieg aller Metriken und einer Halluzinationsrate von 0,0 %.
• Größenunabhängigkeit: Nach Stufe 2 erreichen kleine Modelle (250M) dieselbe englische Leistung wie größere Modelle (780M), was kosteneffiziente Bereitstellungen ermöglicht.
• Hindi-Fortschritt: Stufe 3 bringt die größten Verbesserungen für Hindi. Kleine Modelle profitieren hier überproportional von der bilingualen Feinabstimmung.

Spezifische Beobachtungen:

• Flan-T5-XL Kollaps: Das 3B-Modell kollabierte in Stufe 2 (leere Ausgaben) aufgrund eines zu aggressiven Lernraten, erholte sich aber vollständig in Stufe 3 durch bilinguales Training. Dies unterstreicht die Notwendigkeit von Validierung während der Generierung.
• LLaMA-3.2-1B Anomalie: Dieses Modell eliminierte Halluzinationen im Englischen (0,0 %), generierte jedoch keine Zitate (Citation-F1 = 0,000). Es wählte eine konservative, nicht-kommitierende Strategie. Im Hindi lernte es jedoch erfolgreich Zitate. Dies zeigt, dass Halluzinationsvermeidung und Zitationslernen trennbare Ziele sind.
• Decoder-Only vs. Encoder-Decoder:
  • Encoder-Decoder-Modelle lernen Zitate kausal verankert (Cross-Attention).
  • Decoder-Only-Modelle (Gemma, Mistral) lernen oft das Zitationsformat syntaktisch korrekt, zeigen aber bei Occlusion-Tests eine kausale Entkopplung (0,000 Grounding), d.h., sie zitieren Passagen, ohne deren Inhalt tatsächlich zu nutzen.

Effektivität von GRPO (Stufe 4):
GRPO brachte im Vergleich zu SFT nur marginale Verbesserungen (z. B. +0,004 Citation-F1 bei Mistral). Die Belohnungssignale waren nach SFT bereits fast optimal, und die RL-Optimierung war in diesem Setting instabil (Rückgang der Belohnung bei den meisten Modellen).

5. Bedeutung und Schlussfolgerungen

Das Paper demonstriert, dass ein progressiver Trainingsansatz effektiv ist, um mehrsprachige, vertrauenswürdige Dialogsysteme zu bauen.

• Anti-Halluzinations-Strategie: Die Einführung expliziter Zitationsformate im SFT ist eine äußerst wirksame Methode zur Reduktion von Halluzinationen, möglicherweise effektiver als reine RL-Alignment.
• Architekturunterschiede: Encoder-Decoder-Architekturen sind für zitationsbasierte Aufgaben besser geeignet, da ihre Cross-Attention-Mechanismen eine natürliche kausale Verankerung ermöglichen. Decoder-Only-Modelle neigen dazu, Zitate nur als syntaktische Muster zu lernen.
• Praxisrelevanz: Kleine Modelle (250M) können nach SFT die Leistung großer Modelle erreichen, was die Kosten für den Einsatz von KI in ressourcenarmen Umgebungen (wie Hindi-Sprachräumen) senkt.
• Zukünftige Arbeit: Die Notwendigkeit menschlicher Evaluation, die Anpassung von Zitationsformaten für stärkere Vortrainings-Modelle und die Untersuchung dataset-spezifischer Effekte werden als nächste Schritte identifiziert.

Zusammenfassend liefert XKD-Dial einen robusten Rahmen für die Entwicklung transparenter und faktenbasierter KI-Dialoge, die über die rein englischsprachige Domäne hinausgehen.