DynHD: Hallucination Detection for Diffusion Large Language Models via Denoising Dynamics Deviation Learning

Probleemstelling

Diffusie-grote taalmodellen (D-LLMs) zijn een veelbelovend alternatief voor autoregressieve modellen (AR-LLMs) vanwege hun vermogen tot iteratieve verfijning. Echter, hallucinaties (het genereren van feitelijk onjuiste inhoud) blijven een kritiek probleem dat de betrouwbaarheid beperkt.

Bestaande methoden voor hallucinatiedetectie, die vaak zijn ontworpen voor AR-LLMs, zijn niet direct toepasbaar op D-LLMs vanwege fundamentele architecturale verschillen:

1. Ruimtelijke onevenwichtigheid (Spatial Imbalance): D-LLMs genereren sequenties met een vaste lengte. Hierbij dragen niet alle tokens evenveel bij aan de detectie van hallucinaties. Veel tokens zijn structurele vullers (padding) of tussentijdse gissingen die later worden gemaskeerd, terwijl slechts een kleine subset van semantisch belangrijke tokens de daadwerkelijke signalen bevat. Bestaande methoden die alle tokens gelijk behandelen, verdrinken deze signalen in ruis.
2. Temporele dynamiek (Temporal Dynamics): De evolutie van onzekerheid (bijv. entropie) tijdens het diffusieproces bevat cruciale informatie. Bestaande methoden negeren vaak het proces en kijken alleen naar de eindtoestand of enkele statische momenten. Het ontbreekt aan modellen die de dynamiek van het "denoising"-proces (hoe onzekerheid zich ontwikkelt van stap $T$ naar $0$) expliciet modelleren om afwijkingen te detecteren.

Methodologie: DynHD

Het paper introduceert DynHD, een methode die hallucinaties detecteert door afwijkingen in de denoising-dynamiek te leren. De aanpak combineert ruimtelijke filtering met temporele dynamische modellering in twee hoofdstadia:

1. Semantisch Bewuste Evidentieconstructie (Ruimtelijke Dimensie)

Om de onevenwichtigheid in informatiedichtheid op te lossen, gebruikt DynHD een twee-staps strategie:

• Semantisch Bewuste Token-filtering: Een regelgebaseerd mechanisme filtert niet-informatieve tokens uit de berekening. Dit omvat controle-markers, lexische ruis (leestekens), taak-specifieke boilerplate tekst, stopwoorden en subwoordfragmenten. Alleen de semantisch relevante tokens ($K_t$) worden behouden voor de analyse.
• Statistische Evidentieconstructie: In plaats van een simpele gemiddelde entropie te nemen, worden de resterende tokens geaggregeerd tot een vector met drie statistische momenten per stap $t$:
  • $\mu_{avg}$: Globale onzekerheid (macro-convergentie).
  • $s_{max}$: Pieken in entropie (micro-fouten, zoals incorrecte entiteiten).
  • $\mu_{top-k}$: Regionale onzekerheid van de meest onzekere tokens.
    Dit resulteert in een compacte bewijs-trajectorie $E$ die van stap $T$ naar $0$ loopt.

2. Dynamische Afwijkingen Leren (Temporele Dimensie)

Om de evolutie van het proces te modelleren, introduceert DynHD een Deviation-based Hallucination Detector:

• Referentie Evidentie Generator: Een module ($g_\theta$) wordt getraind op alleen feitelijke (juiste) antwoorden om een "verwachte" referentietrajectorie te leren. Deze trajectorie vertegenwoordigt hoe een normaal, convergerend denoising-proces eruit zou moeten zien voor een specifieke vraag.
• Afwijkingsdetector: De detector vergelijkt de daadwerkelijke observatie ($a_t$) met de voorspelde referentie ($\hat{a}_t$).
  • Er wordt een samengesteld kenmerkvector gemaakt: $x_t = [a_t; \hat{a}_t; \Delta a_t]$ (waarbij $\Delta a_t$ de snelheid van verandering is).
  • Een temporele attention-mechanisme leert welke tijdstappen het belangrijkst zijn voor de detectie (vaak de latere stappen).
• Regularisatie: Twee specifieke straffen worden toegevoegd om veelvoorkomende hallucinatiepatronen te vangen:
  • Stagnatie: Het proces stopt met convergeren in de late fases.
  • Rebound: De onzekerheid neemt plotseling toe in plaats van af te nemen (een "bounce" in de curve).

Kernbijdragen

1. Eerste werk voor D-LLM hallucinatiedetectie: Het is een van de eerste methoden die specifiek de unieke generatiedynamiek van diffusiemodellen benut in plaats van AR-LLM-methoden over te nemen.
2. Ruimtelijke en Temporele Integratie: Het lost het probleem van "informatie-dichtheid" op door filtering en modelleert de volledige denoising-trajectorie in plaats van alleen eindresultaten.
3. Referentie-gebaseerde Deviatie: In plaats van directe classificatie, leert het model een "normaal" gedrag en detecteert het hallucinaties als een afwijking van deze norm. Dit maakt het robuuster tegen variaties in vraagtypes.
4. Efficiëntie: De methode vereist geen extra sampling of dure herhalingen van het generatieproces, wat het zeer efficiënt maakt voor real-time monitoring.

Resultaten

DynHD is geëvalueerd op drie benchmarks (TriviaQA, HotpotQA, CommonsenseQA) met twee state-of-the-art D-LLMs (LLaDA-8B en Dream-7B).

• Prestatie: DynHD presteert consistent beter dan alle bestaande baselines (inclusief TraceDet, de huidige state-of-the-art).
  • Op LLaDA-8B wordt een gemiddelde verbetering van 12,2% in AUROC behaald ten opzichte van TraceDet.
  • Op Dream-7B wordt een gemiddelde AUROC van 84,3% behaald.
• Efficiëntie: De methode bevindt zich in de "upper-left quadrant" van de Pareto-frontier (hoge nauwkeurigheid, lage latentie). Het is aanzienlijk sneller dan methoden die multiple sampling vereisen (zoals Semantic Entropy).
• Generalisatie: De methode toont sterke zero-shot generalisatie over verschillende datasets, wat aantoont dat het de universele wetten van denoising-dynamiek heeft geleerd.
• Ablatiestudies: Experimenten bevestigen dat zowel het filteren van tokens als het modelleren van de dynamiek (stagnatie/rebound) essentieel zijn voor de prestaties. Zonder deze componenten daalt de prestatie aanzienlijk.

Betekenis en Impact

Dit werk markeert een verschuiving in hallucinatiedetectie van statische, output-gebaseerde metingen naar een proces-georiënteerde benadering. Het toont aan dat de dynamiek van het denoising-proces een betrouwbare signaalbron is voor betrouwbaarheid in generatieve AI.

Voor de praktische toepassing betekent dit dat D-LLMs, die vaak beter zijn in globale consistentie dan autoregressieve modellen, nu ook betrouwbaar kunnen worden gemaakt voor kritieke toepassingen door dynamische afwijkingen in real-time te monitoren zonder de inferentie-tijd significant te verlengen. Dit opent de deur voor veiligere en robuustere diffusie-taalmodellen in real-world scenario's.