TDGNet: Hallucination Detection in Diffusion Language Models via Temporal Dynamic Graphs

Technische Samenvatting: TDGNet

1. Het Probleem: Hallucinaties in Diffusion LLM's

Terwijl Auto-regressieve Large Language Models (AR-LLM's) de standaard zijn, winnen Diffusion Language Models (D-LLM's) aan populariteit vanwege hun bidirectionele context en parallelle generatie. Echter, het detecteren van hallucinaties (feitelijke onjuistheden) in D-LLM's is een onontgonnen gebied.

De auteurs identificeren twee fundamentele redenen waarom bestaande detectiemethoden (ontworpen voor AR-LLM's) falen bij D-LLM's:

• Architecturale mismatch: D-LLM's genereren tekst niet sequentieel, maar via een iteratief denoising-proces. Hierdoor zijn traditionele "single-pass" betrouwbaarheidsscores (zoals perplexity) computationeel onhaalbaar of onbetrouwbaar.
• Temporele oscillatie: In tegenstelling tot AR-modellen vertonen D-LLM's dynamisch gedrag tijdens het genereren. Een model kan halverwege het proces een fout maken (drift), zichzelf later corrigeren (self-correction), of een fout vroeg vastleggen (persistent error). Statische detectiemethoden die alleen naar de uiteindelijke output kijken, missen deze cruciale temporele signalen.

2. Methodologie: TDGNet Framework

De kernoplossing is TDGNet, een framework dat hallucinatie-detectie formuleert als een leerprobleem op temporele dynamische grafen. In plaats van de tekst als een statische reeks te zien, modelleert TDGNet de generatie als een evoluerend web van token-interacties.

Het proces bestaat uit drie hoofdfasen:

• Dynamische Graafconstructie: Voor elke stap in het denoising-proces wordt een graaf $G(t)$ geconstrueerd. De tokens zijn de knopen (nodes), en de randen (edges) worden bepaald door de bidirectionele attention-scores van het model. Door een drempelwaarde ($\tau$) te gebruiken, wordt de graaf gesparsificeerd om alleen relevante interacties te behouden.
• Temporal Graph Network (TGN):
  • Spatial Aggregation (MPNN): Gebruikmakend van Message Passing Neural Networks worden lokale structurele kenmerken van tokens verzameld via hun buren in de attention-graaf.
  • Temporal Memory Update (GRU): Om de evolutie over de tijd te volgen, krijgt elke knoop een persistent geheugen ($s_i^{(t)}$) dat wordt bijgewerkt met een Gated Recurrent Unit (GRU). Dit stelt het model in staat om te "onthouden" of een token-interactie stabiel blijft of juist drift.
  • Temporal Attention Readout: In plaats van alle tijdstappen even zwaar te wegen, gebruikt TDGNet een attention-mechanisme om de meest informatieve fasen van het denoising-traject te prioriteren voor de uiteindelijke voorspelling.
• Dual-Task Readout: Het model kan zowel op sequentie-niveau (is het hele antwoord waar?) als op token-niveau (welk specifiek woord is een hallucinatie?) detecteren.

3. Belangrijkste Bijdragen

1. Analyse van Hallucinatie-dynamiek: Het paper toont aan dat factuele signalen zwak zijn in individuele stappen, maar cumulatief sterk worden over het gehele traject.
2. Nieuw Framework: De introductie van TDGNet, dat de relaties tussen tokens (structuur) en hun verandering over de tijd (temporele evolutie) combineert.
3. Efficiëntie: TDGNet werkt met een single-pass inferentie en gebruikt strategische sampling van tijdstappen, waardoor de computationele overhead beperkt blijft vergeleken met methoden die meerdere generaties vereisen.

4. Resultaten

De evaluatie vond plaats op twee belangrijke D-LLM's (LLaDA-8B en Dream-7B) over diverse QA-benchmarks (Math, CSQA, HotpotQA, TriviaQA, NQ).

• Superieure Prestaties: TDGNet presteert consistent beter (hogere AUROC) dan alle baselines, waaronder output-gebaseerde (zoals Semantic Entropy), latent-gebaseerde (zoals TSV) en statische graaf-gebaseerde methoden (zoals CHARM).
• Token-lokalisatie: Op taken zoals TriviaQA en NQ bewijst TDGNet dat het nauwkeurig de specifieke tokens kan aanwijzen die de hallucinatie veroorzaken.
• Robuustheid: Het model is robuust tegen verschillende denoising-schema's en generaliseert goed naar nieuwe datasets (zero-shot transfer).
• Efficiëntie: Het is aanzienlijk sneller dan methoden die meerdere samples nodig hebben (zoals Semantic Entropy), met een snelheidswinst van ongeveer 4,8x.

5. Betekenis en Conclusie

De belangrijkste wetenschappelijke implicatie van dit werk is dat waarheid in diffusion-modellen een eigenschap is van het traject, niet alleen van de eindtoestand.

Door de interne "denkproces"-structuur (de attention-grafen) te monitoren, kan TDGNet patronen herkennen die voor het menselijk oog (of voor eenvoudige statistieken) onzichtbaar zijn, zoals:

• Self-Correction: Het herkennen dat tijdelijke ruis later wordt hersteld.
• Semantic Drift: Het detecteren wanneer een model begint te "dwalen" naar onjuiste details.
• Persistent Errors: Het identificeren van fouten die het model te vroeg en te zelfverzekerd heeft vastgelegd.

Dit werk legt een fundering voor de veilige en betrouwbare inzet van Diffusion LLM's in kritieke toepassingen.