Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

Technische Samenvatting: Het Voorspellen van het Begin van Hallucinatie

Probleemformulering
Huidige detectoren voor hallucinaties op token-niveau werken reactief en signaleren valse beweringen pas nadat ze zijn gegenereerd. Een begeleidende analyse door de auteurs stelde een theoretische vertragingsgrens vast van ongeveer 1,3 tokens voor elke detector die reageert op een veranderingspunt (change-point), wat betekent dat detectie inherent plaatsvindt nadat de hallucinatie is begonnen. Dit artikel behandelt de vraag of het begin van een hallucinatie kan worden voorspeld voordat het optreedt. De taak wordt geformuleerd als discrete-tijd overlevingsanalyse (survival analysis): het behandelen van het begin van een gehallucineerde reeks als een "foutgebeurtenis" (failure event) over de risicoset van tokens die momenteel getrouw (faithful) zijn. Het doel is om een per-token hazard te berekenen—de waarschijnlijkheid dat een begin zal optreden binnen de volgende $k$ tokens—met behulp van uitsluitend causale, streaming-veilige kenmerken die beschikbaar zijn tot en met de huidige token $t$.

Methodologie
Het voorgestelde raamwerk steunt op een causale, black-box, token-niveau pipeline die is ontworpen voor implementatie tijdens de generatie:

• Causale Kenmerk-audit: De auteurs maken gebruik van een 33-dimensionale featurestroom afgeleid van eerder werk, maar voeren een strikte causale audit uit om "toekomst-lekken" (future-leaking) componenten te verwijderen. Kenmerken die genormaliseerd zijn door de totale outputlengte (bijv. positie, aantal zinnen) of berekend zijn vanuit onvolledige zinnen (bijv. NLI-kenmerken), worden verworpen. Dit laat 24 streaming-veilige kenmerken over: 18 tekstgebaseerde kenmerken (novelty windows, n-gram overlap, entity flags) en 6 taalmodel-kenmerken (log-waarschijnlijkheid, entropie).
• Modelarchitectuur: De voorspeller maakt gebruik van een forward-only recurrent netwerk (een twee-laagse GRU met een verborgen breedte van 64) om de causale feature-historie te lezen. Een hazard-kop geeft een logit uit voor meerdere horizonten ($k \in \{1, 3, 5, 10\}$), die de waarschijnlijkheid van een begin binnen de volgende $k$ tokens vertegenwoordigt.
• Training: Het model wordt getraind met een gemaskeerde multi-horizon binary cross-entropy loss over de risicoset (alleen getrouwe tokens), waarbij gewichten zijn aangepast voor de zeldzaamheid van begins bij langere horizonten.
• Evaluatie: Prestaties worden gemeten via AUROC en PR-AUC. Cruciaal is dat de auteurs onderscheid maken tussen gepoolde AUROC (die document-niveau risico combineert met timing) en binnen-document AUROC (die het timing-signaal isoleert door alleen te evalueren op documenten die bekend staan om hallucinaties).

Belangrijkste Resultaten

• Voorspelbaarheid: Het begin is voorspelbaar op elk horizont. Op de RAGTruth-corpus bereikt de recurrente voorspeller een AUROC van 0,777 ± 0,002 bij horizont $k=3$ (het voorspellen van een begin binnen de volgende drie tokens). Dit is 12 punten hoger dan een pointwise logistische hazard-baseline, wat de waarde aangeeft van het lezen van de feature-trajectorie.
• Signaalbron: Het vroege waarschuwingssignaal wordt geïdentificeerd als tekst-novelty drift, en niet als taalmodel-surprisal. Modellen die alleen de 18 tekstkenmerken gebruiken, evenaren de prestaties van de volledige causale set, terwijl taalmodel-kenmerken alleen achterblijven. Het signaal weerspiegelt het feit dat het model wegdrift van de broncontext voordat de hallucinatie begint, in plaats van een lokale piek in onzekerheid.
• Negatieve Vertraging: Wanneer vergeleken wordt met een begeleidende change-point detector bij een gelijkwaardig vals-alarm-budget ($\alpha=10^{-3}$), bereikt de voorspeller een negatieve vertraging. De voorspeller waarschuwt een mediaan van 11 tokens vóór het begin, terwijl de detector een mediaan van 15 tokens na het begin afgaat. Dit realiseert een negatieve vertraging die structureel verboden is voor detectoren.
• Null-modellen: Het signaal is niet louter autocorrelatie van voorgaande begins (een matched-capacity null-model dat alleen gebruikmaakt van onset-historie en klokken behaalde 0,65 AUROC, aanzienlijk lager dan de inhoudsgebaseerde voorspeller) noch zelfexcitatie (een Hawkes-proces voegde geen waarde toe bovenop een covariate-model).
• Domeinspecificiteit: De voorspellingscapaciteit is domeinspecifiek. Het model faalt bij zero-shot transfer van RAGTruth (long-form RAG) naar PsiloQA (short-form QA), waarbij de prestaties onder het toevalsniveau dalen. Echter, wanneer het in-domain wordt hertraind op PsiloQA, herstelt het een hoge prestatie (0,74–0,79 AUROC), terwijl detectiesignalen gedeeltelijk overdraagbaar zijn.

Betekenis en Claims
Het artikel claimt dat het voorspellen van het begin van een hallucinatie een afzonderlijke en orthogonale taak is aan detectie. Terwijl prompt-niveau voorspellers kunnen identificeren welke generaties risicovol zijn, en detectoren kunnen identificeren dat een hallucinatie is begonnen, identificeert deze specifieke voorspeller alleen wanneer en waar binnen een generatie het risico een begin vormt.

De auteurs benadrukken dat het mechanisme dat de voorspelling drijft een geleidelijke drift in tekst-novelty ten opzichte van de bron is, in plaats van een abrupte staatverandering. Bij consequentie biedt de door de voorspeller geboden levertijd waarde specif voor interventies die moeten plaatsvinden voordat de valse token wordt uitgegeven (bijv. het regenereren van een reeks, het beperken van decoding, of het sturen van het model). Voor eenvoudige abort-policies (het stoppen van de generatie) merken de auteurs op dat een post-onset detector mogelijk efficiënter is qua tokens, omdat deze het afbreken van getrouwe tokens vóór de fout voorkomt. Het artikel concludeert dat hoewel de vroege waarschuwing bestaat en een negatieve vertraging bereikt, het realiseren van een reductie in hallucinatiesnelheden live toegang tot de decoder en specifieke interventiestrategieën vereist, welke buiten de scope van deze offline studie vallen.