Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

Titel en Doel

Het paper introduceert XKD-Dial, een progressieve trainingspijplijn voor het genereren van uitlegbare, kennisgebaseerde dialogen in een tweetalige setting (Engels en Hindi). Het hoofddoel is het elimineren van hallucinaties (het genereren van feitelijke onjuiste informatie) in Large Language Models (LLMs) door expliciete citatie-mechanismen te integreren en de besluitvorming van het model transparant te maken.

Het Probleem

Bestaande kennisgebaseerde dialogsystemen kampen met drie fundamentele beperkingen:

1. Monolinguale beperking: Het merendeel van het onderzoek richt zich uitsluitend op het Engels. Voor talen als Hindi (gesproken door meer dan 600 miljoen mensen) ontbreken standaard benchmarks en methoden voor tweetalige kennisgebaseerde dialogen.
2. Afwezigheid van verifieerbare citaties: Hoewel Retrieval-Augmented Generation (RAG) systemen relevante teksten ophalen, geven ze vaak niet aan welke tekst welk bewijs ondersteunt. Zonder expliciete citaties (bijv. "Volgens [1]...") kunnen gebruikers feitelijke claims niet verifiëren, wat het vertrouwen ondermijnt.
3. Ondoorzichtigheid van modelbeslissingen: Zelfs als een model een correct antwoord geeft, is het vaak onduidelijk waarom het bepaalde kennispassages heeft geselecteerd. Dit maakt het moeilijk te bepalen of citaties echt gebaseerd zijn op de bron of slechts een syntactisch patroon zijn.

Methodologie: XKD-Dial

De auteurs stellen een vier-fasen trainingspijplijn voor die complexiteit stapsgewijs opbouwt om "catastrophic forgetting" (het vergeten van eerder geleerde vaardigheden) te voorkomen:

1. Fase 1: Meertalige Adaptatie:

   • Doel: Het bouwen van tweetalige (Engels-Hindi) representaties, vooral voor modellen met beperkte Hindi-pretraining.
   • Methode: Training op parallelle zinnen (vertaling) met een beperkt aantal epoken om de instructie-volgende vaardigheden van het pre-trained model niet te overschrijven.

2. Fase 2: Engels Dialoog SFT (Supervised Fine-Tuning):

   • Doel: Het leren van kennisgebaseerde dialooggeneratie met expliciete citaties.
   • Methode: SFT op Engels data waarbij het model leert om claims te koppelen aan specifieke kennispassages via markers zoals [1], [2]. Dit fungeert als een impliciet anti-hallucinatiemechanisme.

3. Fase 3: Tweetalig Dialoog SFT:

   • Doel: Uitbreiding naar Hindi terwijl Engels behouden blijft.
   • Methode: Een gewogen mix van Engels en Hindi dialoogdata (40% Engels, 60% Hindi). Belangrijkste bevinding: de citatie-structuur geleerd in Fase 2 transferreert effectief naar Hindi zonder opnieuw te hoeven leren.

4. Fase 4: GRPO Alignement (Group Relative Policy Optimization):

   • Doel: Verdere afstemming op kwaliteit en het minimaliseren van hallucinaties via versterkingslering.
   • Methode: GRPO wordt gebruikt met een samengestelde beloningsfunctie (reward function) die rekening houdt met feitelijke consistentie, citatie-nauwkeurigheid, en zware straffen voor hallucinaties.

Analyse en Explainability:
Het paper past drie post-hoc analysemethoden toe om te begrijpen hoe citatiegedrag wordt geleerd:

• Cross-attention visualisatie: Om te zien welke kennis-tokens het model bestudeert tijdens het genereren.
• Integrated Gradients: Voor token-attribution (welke input-tokens zijn het belangrijkst).
• Occlusion-based causal grounding: Het testen of citaties echt causaal afhankelijk zijn van de bron door de bron te verwijderen.

Experimenteel Opzet

• Modellen: Zes modellen getest, variërend van 250M tot 7B parameters, inclusief Encoder-Decoder (Flan-T5 Base, Large, XL) en Decoder-only (LLaMA-3.2-1B, Gemma-2-2B, Mistral-7B).
• Datasets: Een aangepaste tweetalige dataset samengesteld uit DSTC9, FaithDial en Wizard of Wikipedia, vertaald naar Hindi.
• Metrieken: BLEU, ROUGE, BERTScore, FactScore, Citation-F1 en Hallucination Rate.

Belangrijkste Resultaten

1. Hallucinatiereductie tot 0%:

   • Voor Encoder-Decoder modellen (Flan-T5) daalt de hallucinatiegraad naar 0,0% vanaf Fase 2.
   • Voor Mistral-7B daalt het naar ~1,4%.
   • Opmerkelijke bevinding bij LLaMA-3.2-1B: Dit model bereikte ook 0% hallucinaties in het Engels, maar zonder enige citaties te genereren (Citation-F1 = 0,000). Het model koos voor een conservatieve, niet-committende strategie in plaats van feiten te onderbouwen. Dit toont aan dat het elimineren van hallucinaties en het leren van citatieformaten gescheiden doelen zijn.

2. Prestatie van Kleine vs. Grote Modellen:

   • Na Fase 2 (Engels SFT) presteert het kleine Flan-T5-Base model (250M) identiek aan het Flan-T5-Large model (780M) op Engelse metrieken. Dit suggereert dat voor gestructureerde taken zoals citatie-gebaseerde dialogen, grote modellen niet per se nodig zijn.
   • Het progressive pipeline compenseert voor beperkte pretraining in Hindi: het kleine model haalt het grote model in op Hindi-prestaties na Fase 3.

3. Generatie-instorting (Generation Collapse) en Herstel:

   • Het Flan-T5-XL model (3B) stortte in tijdens Fase 2 (produceerde lege strings) door een te agressieve leersnelheid.
   • Het model herstelde volledig in Fase 3 (Tweetalig SFT), wat aantoont dat doorlopende training een ingestorte checkpoint kan redden.

4. Effectiviteit van GRPO:

   • GRPO (Fase 4) leverde slechts marginale verbeteringen op ten opzichte van goed ontworpen SFT (Fase 3). Voor gestructureerde taken met duidelijke output-formaten lijkt SFT vaak voldoende.
   • Decoder-only modellen (Gemma, Mistral) vertoonden een "dissociatie": ze leerden het citatieformaat (syntactisch) maar faalden in causale grounding (ze citeerden niet echt gebaseerd op de bron, wat zichtbaar werd via occlusion-tests). Encoder-Decoder modellen behielden wel deze causale koppeling.

5. Hindi Evaluatie Uitdaging:

   • De BLEU-score voor Hindi bleef dicht bij nul door de rijke morfologie en vrije woordvolgorde, terwijl ROUGE en BERTScore sterke prestaties aantoonden. De auteurs adviseren BERTScore als primaire metriek voor Hindi.

Bijdragen en Significantie

• Eerste systematische pijplijn: Dit is het eerste werk dat een gestructureerde, progressieve trainingspijplijn biedt voor tweetalige (Engels-Hindi) kennisgebaseerde dialogen met citaties.
• Explainability in de praktijk: Het toont aan dat het niet alleen belangrijk is of een model citeert, maar hoe het citeert. Encoder-Decoder modellen gebruiken cross-attention voor echte grounding, terwijl Decoder-only modellen vaak alleen het formaat nabootsen zonder semantische koppeling.
• Anti-hallucinatiestrategie: Het bewijst dat het trainen met expliciete citatieformaten een krachtige strategie is om hallucinaties te onderdrukken, mogelijk zelfs effectiever dan complexe RL-methoden voor specifieke gestructureerde taken.
• Kostenefficiëntie: Het resultaat dat kleine modellen (250M) na SFT even goed presteren als grotere modellen voor deze taak, heeft grote implicaties voor de kostenefficiënte implementatie van betrouwbare AI-systemen in het Global South (via Hindi).

Conclusie

XKD-Dial demonstreert dat een progressieve trainingsaanpak, gecombineerd met expliciete citatie-eisen, hallucinaties in tweetalige LLMs aanzienlijk kan reduceren. Hoewel RL (GRPO) beperkte meerwaarde bood boven SFT voor deze specifieke gestructureerde taak, biedt de pipeline een robuust kader voor het bouwen van transparante, feitelijke AI-assistenten in talen die ondervertegenwoordigd zijn in de huidige NLP-landschap. Toekomstig werk moet zich richten op menselijke evaluatie en het uitbreiden naar andere Indiase talen.