Technische Samenvatting: HalluTracer

1. Probleemstelling

Large Language Models (LLM's), zelfs wanneer ze goed zijn uitgelijnd, genereren vaak vloeiende maar feitelijk onjuiste tekst (hallucinaties), wat aanzienlijke betrouwbaarheidsrisico's vormt bij veiligheidskritische implementaties. Hoewel mechanistische studies aangeven dat LLM's intern waarheidsrelevante structuren coderen—die te herstellen zijn via lineaire probes uit verborgen activaties—schieten bestaande detectiemethoden tekort in het volledig benutten van dit interne bewijs.

Huidige white-box detectoren reduceren intern bewijs doorgaans tot geïsoleerde componenten, zoals een enkele attention head, een specifieke laag of een terminale verborgen toestand. Deze aanpak gaat impliciet uit van de aanname dat waarachtigheid een laag-gelokaliseerde eigenschap is. De residual stream en feed-forward lagen fungeren echter als gedistribueerde mechanismen die voorspellingen hiërarchisch verfijnen; waarachtigheid wordt progressief geconstrueerd over de forward pass in plaats van instantan de gecodeerd te worden. Gevolgelijk gooien bestaande methoden onderscheidende informatie weg die verspreid is over de volledige diepte van het model.

2. Methodologie: HalluTracer

De auteurs introduceren HalluTracer, een pre-decoding detectiekader dat de waarachtigheidssignaal behandelt als een evoluerende hoeveelheid over de diepte van de Transformer. De methode werkt voordat het model een antwoord-token uitgeeft.

Kernarchitectuur

1. Laag-specifieke Readout: In elke Transformer-laag $l$ wordt de interne toestand van het model op de answer-onset positie (het laatste prompt-token voorafgaand aan de generatie) geëxtraheerd.
2. Per-laag Probing: Een gesuperviseerde, laag-specifieke lineaire probe brengt deze readout-representatie in kaart naar een scalaire truth logit ($L_l$). Dit creëert een sequentie van logits $\tau = [L_0, L_1, \dots, L_{m-1}]^\top$, de logit-trajectorie genoemd.
3. Diepte-aggregatie: Het framework aggregeert deze laag-specifieke scores tot een enkel scalair risicosignaal via diepte-averaging: $\bar{L} = \frac{1}{m} \sum L_l$. Deze scalaire waarde wordt ingevoerd in een logistische regressie-classifier om hallucinaties te detecteren.

Geometrische Analyse en Theoretische Rechtvaardiging

Het paper biedt een geometrische analyse die uitlegt waarom eenvoudige diepte-averaging bijna optimaal is:

• Signaal-Sparsity & Isotropie: De auteurs demonstreren dat waarachtigheidsprobes low-energy zijn (ze vangen <1% van de representatievariantie op) en dat aangrenzende probe-richtingen over lagen heen bijna-orthogonaal zijn. Dit impliceert dat laag-specifieke ruis zwak gecorreleerd is.
• Level-Shape Decompositie: De logit-trajectorie wordt gedecomponeerd in een "level"-component (gedeelde sample-specifieke common mode en class-conditional mean) en een "shape"-component (laag-specifieke residuen).
• SNR Dominantie: Een Signaal-to-Noise Ratio (SNR) analyse toont aan dat het gemiddelde van de trajectorie $\bar{L}$ het dominante class-conditional signaal vangt. Omdat aangrenzende probes bijna-orthogonaal zijn, onderdrukt averaging de laag-specifieke ruis ($\epsilon_{i,l}$) terwijl het gedeelde signaal behouden blijft.
• Fisher-Optimaliteit: Theorem 3.6 biedt een covariantie-bewuste Fisher-identiteit, die bewijst dat in de geëvalueerde regimes, uniforme averaging Fisher-near-optimaal is. De potentiële winst van complexe, covariantie-gewogen lineaire aggregatie is marginaal (2–4% verbetering in SNR) en zou het schatten van een volledige $m \times m$ covariantie-matrix vereisen, wat computationeel duur en statistisch instabiel is.

3. Belangrijkste Bijdragen

1. Depth-Wise Pre-Decoding Detector: HalluTracer is een lichtgewicht detector die waarachtigheidsbewijs leest uit elke Transformer-laag op de answer-onset positie en deze scores aggregeert, waardoor het probleem van laag-selectie wordt vervangen door een probleem van diepte-aggregatie.
2. Geometrische Verklaring van Diepte-Averaging: Het paper leidt een covariantie-bewuste diagnose af die laat zien dat waarachtigheid-readouts low-energy zijn en zwak uitgelijnd zijn over de diepte. Het bewijst dat eenvoudige diepte-averaging bijna alle lineair toegankelijke detectiesignalen vangt en laag-specifieke ruis onderdrukt.
3. Empirische Validatie: Uitgebreide experimenten over zes open-weight LLM's (LLaMA-2, LLaMA-3.1, Qwen2.5 serie) en vijf hallucinatie-benchmarks tonen consistente verbeteringen aan ten opzien van gematchte white-box baselines.

4. Experimentele Resultaten

HalluTracer werd geëvalueerd op vijf benchmarks: TruthfulQA, TrueFalse, HaluEval2, HELM, en Agentic.

• Prestatiewinst: HalluTracer presteert consequent beter dan gematchte pre-decoding baselines (Fact-Probe, ITI-Probe, IRIS) en een post-generatie baseline (HalluGuard) in termen van AUROC en AUPRC.
  • De winsten variëren van 1 tot 14 procentpunten in AUROC, afhankelijk van de benchmark en het model.
  • Op de complexe Agentic benchmark met Qwen2.5-72B bereikte HalluTracer 97,86% AUROC, waarmee het de beste single-layer baseline (ITI-Probe met 86,16%) met 11,7 punten overtrof.
• Ablatie-studies:
  • Gemiddelde Sufficiëntie: De trajectorie-gemiddelde $\tau$ alleen al komt overeen met de prestaties van een volledige 5-dimensionale diagnostische set (inclusclusief slope en zone contrast), wat bevestigt dat hogere-orde trajectorie-features een verwaarloosbare differentiële kracht toevoegen.
  • Readout Robustheid: De prestaties zijn robuust tegen de keuze van het readout-mechanisme (per-head versus volledige residual stream) en de specifieke selectie van attention heads, wat aangeeft dat het signaal gedistribueerd is en niet afhankelijk is van een specifieke "magic" head.
  • Diepte Subsampling: De prestaties verbeteren monotoon met het aantal opgenomen lagen en verzadigen na ongeveer 8–12 lagen, wat consistent is met de reductie van variantie die door het onafhankelijke residu-model wordt voorspeld.

5. Betekenis en Claims

Het paper herformuleert hallucinatie-detectie van een laag-selectieprobleem naar een diepte-aggregatieprobleem. De primaire betekenis ligt in het geometrische inzicht dat waarachtigheidssignalen spaars (sparse) en gedistribueerd zijn over de diepte van het netwerk.

• Efficiëntie: Door te vertrouren op eenvoudige diepte-averaging, vermijdt HalluTracer de computationele en statistische kosten van het schatten van complexe covariantie-structuren of het selecteren van specifieke lagen/heads.
• Generaliteit: De methode is overdraagbaar naar verschillende modelarchitecturen en parameterschalen zonder de aggregatie-gewichten opnieuw te hoeven afstemmen.
• Reikwijdte: De auteurs merken expliciet op dat HalluTracer propensity hallucinations detecteert—fouten die gecodeerd zijn in de interne toestand op de answer-onset positie. Het claimt niet te detecteren welke voortkomen uit louter auto-regressieve fout-accumulatie tijdens de generatie van lange sequenties (generatieve hallucinaties), hoewel het gekoppeld kan worden aan monitoring tijdens de generatie voor dat doel.

Dit werk stelt vast dat het aggregeren van zwakke, bijna-orthogonale waarachtigheidssignalen over alle lagen een robuuste, parameter-vrije detector oplevert die de methoden die vertrouwen op geïsoleerde interne toestanden aanzienlijk overtreft.