Technische Samenvatting: HALT (Hallucination Assessment via Log-probs as Time series)

1. Probleemstelling

Grote taalmodellen (LLM's) produceren regelmatig hallucinaties—outputs die verifieerbaar onjuiste of ononderbouwde informatie bevatten. Dit vormt een significante barrière voor de inzet van LLM's in veiligheidskritische domeinen. Bestaande detectiemethoden kampen met duidelijke beperkingen:

• White-box benaderingen vereisen toegang tot interne modeltoestanden (verborgen activaties, attention maps), wat onmogelijk is voor propriëtaire, gesloten bron API's.
• Black-box tekstgebaseerde benaderingen vertrouwen vaak op externe retrieval, aanvullende API-aanroepen of hulp-LLM's om consistentie te beoordelen. Deze introduceren latentie, kosten en het risico dat het "beoordelende" model zelf hallucineert of een domein-bias introduceert.
• Onzekerheidsgebaseerde benaderingen vertrouwen vaak op geaggregeerde statistieken (bijv. gemiddelde betrouwbaarheid, algehele entropie), die er echter niet in slagen de temporele dynamiek van kalibratiefouten te vangen.

De auteurs stellen dat hoewel ruwe token-waarschijnlijkheden alleen geen betrouwbare indicatoren zijn voor waarheidshalve vanwege kalibratie-biases, de temporele evolutie van deze waarschijnlijkheden stabiele signalen van onzekerheid bevat. De centrale onderzoeksvraag is: Kunnen hallucinaties worden gedetecteerd door enkel de sequentie van token log-waarschijnlijkheden te modelleren zonder de gegenereerde tekst te analyseren of externe referenties te raadplegen?

2. Methodologie

2.1. Kernparadigma: Log-probs als Tijdreeks

HALT behandelt de sequentie van top-$k$ token log-waarschijnlijkheden als een tijdreeks-classificatieprobleem. In plaats van waarschijnlijkheden samen te vatten in statistische samenvattingen, behoudt de methode de geordende sequentie van de betrouwbaarheid van het model bij elke decoding-stap.

Input-representatie:
Voor een respons van lengte $T$ extraheert het model de top-20 log-waarschijnlijkheden ($\ell_t \in \mathbb{R}^{20}$) bij elke tijdstap $t$. Deze worden samengevoegd met vijf technisch vervaardigde kenmerken om een verrijkt kenmerkvector $\tilde{\ell}_t$ te vormen:

1. Gemiddelde Log-waarschijnlijkheid: Een surrogaat voor de scherpte van de distributie.
2. Rank Proxy: Een begrensde rang van de geselecteerde token binnen de top-20, wat niet-greedy of atypische keuzes vastlegt.
3. Algehele Entropie ($H_{overall}$): Onzekerheid over de geselecteerde token en alternatieven.
4. Alternatieven-specifieke Entropie ($H_{alts}$): Onenigheid tussen concurrerende kandidaten.
5. Temporele Verandering in Beslissingsentropie ($\Delta H_{dec}$): Legt scherpe transities in zekerheid vast tussen de geselecteerde token en het beste alternatief.

De uiteindelijke input is een tijdreeks $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$.

2.2. Architectuur

Het model maakt gebruik van een lichtgewicht Bidirectionele Gated Recurrent Unit (GRU) met 5 miljoen parameters.

• Encoder: Een meerlaagse bidirectionele GRU verwerkt de sequentie om temporele patronen in zowel voorwaartse als achterwaartse richting te vangen.
• Pooling: Een Top-$q$ pooling mechanisme (waarbij $q=0.15$) aggregeert de verborgen toestanden. Het middelt de meest saillante tijdstappen (die de grootste normen in de verborgen toestand hebben), waardoor de focus ligt op momenten van scherpe verschuivingen in betrouwbaarheid in plaats van signalen te verwateren over alle tokens.
• Output: Een lineaire laag produceert een enkele logit voor binaire classificatie (gehallucineerd versus getrouw), getraind met binary cross-entropy loss.

2.3. Belangrijkste Hypothesen

De auteurs stellen vier hypothesen voor die in de studie zijn gevalideerd:

1. Model-specifieke Bias: Elk LLM heeft een deterministische kalibratie-biasfunctie die de top-$k$ waarschijnlijkheden beheerst.
2. Leerbaarheid: Een GRU kan leren om deze door bias geïnduceerde dynamiek te benaderen, waarbij specifieke temporele patronen worden geassocieerd met hallucinaties.
3. Niet-overdraagbaarheid: Detectoren die getraind zijn op de log-probs van één model, dragen niet betrouwbaar over naar een andere modelarchitectuur vanwege verschillende kalibratie-biases.
4. Taakgeneralisatie: Binnen een enkel model generaliseert een detector die getraind is op één taakfamilie naar andere taken, omdat de onderliggende kalibratie-bias consistent is over taken heen.

3. Benchmark: HUB (Hallucination detection Unified Benchmark)

Om de methode te evalueren, introduceren de auteurs HUB, een uitgebreide benchmark die 10 LLM-capaciteiten beslaat:

• Redeneringsgericht: Algoritmisch, Commonsense, Mathematisch, Symbolisch Redeneren en Code Generatie.
• Algemeen doel: Chat, Data-naar-Tekst, Vraagbeantwoording, Samenvatting en Wereldkennis.

HUB breidt eerdere datasets (FAVA, RAGTruth, HaluEval) uit en integreert CriticBench om logische hallucinaties (gebrekkige redeneerstappen die leiden tot onjuiste of toevallig correcte antwoorden) op te nemen naast feitelijke hallucinaties. De dataset is opgesplitst in train-, validatie- en testsets, waarbij de training beperkt is tot Chat, Data-naar-Tekst en QA om rigoureus out-of-distribution generalisatie op redeneertaken te testen.

4. Resultaten

4.1. Prestaties op HUB

HALT presteert aanzienlijk beter dan bestaande baselines:

• Efficiëntie: HALT is 30$\times$ kleiner dan de Lettuce-detector (een gefinetuned ModernBERT-base encoder) en realiseert een 60$\times$ versnelling.
• Nauwkeurigheid: HALT bereikt de beste Macro-F1 scores op 7 van de 10 clusters.
  • HALT-L (getraind op LLaMA 3.1-8B) bereikt een algehele Macro-F1 van 67.01, waarmee het Lettuce (64.00) en aggregatieve statistiek-baselines (bijv. $H_{overall}$ op 32.86) overtreft.
  • Het blinkt met name uit in redeneertaken (Algoritmisch, Commonsense, Symbolisch) waar sequentie-niveau kalibratie-aanwijzingen voorspellender zijn dan tekst-niveau heuristieken.

4.2. Overdraagbaarheid en Generalisatie

• Cross-Taak: HALT vertoont sterke generalisatie over verschillende taakfamilies binnen hetzelfde model, wat de hypothese ondersteunt dat kalibratie-bias taak-agnostisch is.
• Cross-Model: Zoals voorspeld, daalt de prestatie aanzienlijk wanneer een op LLaMA log-probs getraind model wordt toegepast op Qwen log-probs (en vice versa), wat bevestigt dat kalibratiedynamiek model-specifiek is en niet direct overdraagbaar naar andere architecturen.
• Robuustheid: HALT blijft competitief op externe benchmarks (FAVA, RAGTruth), ondanks het feit dat het niet specifiek op deze is afgestemd.

5. Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

• Nieuw Black-Box Paradigma: HALT introduceert een detectiemethode die uitsluitend rust op token log-waarschijnlijkheden, waardoor de noodzaak voor oppervlakte-vorm tekstanalyse, externe validators of toegang tot interne modelstructuren wordt vermeden. Dit maakt het uniek toepasbaar op propriëtaire API's.
• Temporele Dynamiek boven Statische Metrieken: Het werk demonstreert dat het behandelen van log-waarschijnlijkheden als een tijdreeks onzekerheidspatronen kan vangen (bijv. abrupte entropiepieken, rank inversies) die aggregatieve statistieken missen.
• Verenigd Raamwerk: Door logische redeneerfouten te integreren in de definitie van hallucinatie, biedt HUB een breder beeld van semantische ongetrouwheid, reikend voorbij eenvoudige feitelijke verificatie.
• Praktische Efficiëntie: De methode biedt een zeer efficiënt alternatief voor grote encoders, wat real-time hallucinatie-detectie mogelijk maakt met verwaarloosbare overhead, aangezien het enkel de log-waarschijnlijkheidsstroom vereist die vaak al beschikbaar is tijdens generatie.

De auteurs concluderen dat hoewel HALT niet aan één specifiek model gebonden is, het overdraagbare onzekerheidsdynamiek leert die generaliseert over taken binnen een model, waarmee een nieuwe modaliteit wordt gevestigd voor het analyseren van modelonzekerheid zonder dat toegang tot gewichten of externe data vereist is.