Technische Samenvatting: Waar breekt redenering? Stap-gebaseerde Hallucinatie-detectie via Verborgen-Status Transportgeometrie

1. Probleemdefinitie

Grote Taalmodellen (LLM's) hallucineren frequent tijdens meerstaps redeneertaken, waarbij ze vloeiende maar onjuiste tussenstappen genereren die fouten doorgeven naar de uiteindelijke output. Bestaande detectiemethoden lijden aan drie primaire beperkingen:

1. Aggregatie op Trace-niveau: De meeste detectoren (bijv. semantische entropie, zelf-consistentie, SelfCheckGPT) toekennen één betrouwbaarheidsscore aan een volledige output, waardoor ze niet in staat zijn de eerste fout te lokaliseren.
2. Inferentie-Overhead: Methoden zoals zelf-consistentie vereisen meerdere forward passes en sampling, wat computergewijs duur is.
3. Statisch versus Dynamisch: Huidige proeftechnieken analyseren vaak statische feitelijke uitspraken in plaats van de dynamiek van een zich ontvouwende redeneertraject.

Het artikel stelt dat het detecteren van het precieze moment waarop redenering breekt (lokalisatie van de eerste fout) in één enkele forward pass een voorwaarde is voor betrouwbare implementatie. De kernuitdaging is het identificeren waar een redeneerketen afwijkt van een coherent pad, zonder afhankelijk te zijn van externe verifiers, sampling of labels tijdens de inferentie.

2. Methodologie: GeoReason

De auteurs stellen GeoReason voor, een kader dat de reeks verborgen representaties in één enkele forward pass behandelt als een traject in de representatieruimte. Hallucinatie wordt niet geframed als een semantische fout, maar als een geïlocaliseerde excursie in transportkosten weg van een stabiele manifold van lokaal coherente overgangen.

Het systeem bestaat uit twee componenten: een Label-geconditioneerde Leraar en een Implementeerbare Student.

2.1. De Leraar (Diagnostische Bovenste Grens)

De leraar is een niet-implementeerbaar model dat wordt gebruikt om het bestaan van een geometrisch signaal in verborgen staten te kwantificeren. Het werkt als volgt:

• Trace-normalisatie: Voor een gelabelde trace berekent de leraar een lokaal coördinatenstelsel gecentreerd op het "correcte voorvoegsel" (stappen voor de eerste fout). Het normaliseert verborgen staten ten opzichte van het gemiddelde en de variantie van deze correcte stappen.
• Contrastieve PCA (cPCA) Lens: De leraar leert een projectiematrix $U$ met behulp van contrastieve PCA. Deze lens is geoptimaliseerd om de scheiding te maximaliseren tussen de verdeling van correcte overgangen ($P_0$) en eerste-fout-overgangen ($P_1$), terwijl het richtingen met hoge variantie die inherent zijn aan correct redeneren onderdrukt.
  • Het doel maximaliseert de transportscheiding: $\Gamma(U) = \text{Tr}(U^\top M U)$, waarbij $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$.
• Geometrische Kenmerkextractie: In de geprojecteerde ruimte extraheren de leraar een kenmerkblok voor elke stap, inclusief:
  • Positie: Afstand tot de correcte manifold.
  • Beweging: Snelheid ($\|\Delta z_t\|$) en versnelling ($\|\Delta^2 z_t\|$).
  • Directionele Persistentie: Cosinus-相似heid tussen opeenvolgende overgangvectoren.
• Scoren: Een lichtgewicht MLP mapt deze geometrische kenmerken naar een stap-gebaseerde hallucinatiekans.

2.2. De Student (Implementeerbare Detector)

De student is een implementeerbaar BiLSTM-model dat is ontworpen om te opereren zonder labels tijdens de inferentie, sampling of externe verifiers.

• Architectuur: Het neemt ruwe verborgen staten als input en geeft stap-gebaseerde kansen als output.
• Training via Distillatie: De student wordt getraind om het instabiliteitssignaal van de leraar te reproduceren met behulp van een mengsel van:
  1. Supervised Loss: Standaard binaire cross-entropy op staplabels.
  2. Kennisdistillatie: Kullback-Leibler (KL)-divergentie tussen de kansverdelingen van de student en de leraar (zachte doelen).
  3. Kenmerkdistillatie: Een auxiliair hoofd dwingt de student om de geometrische kenmerkrepresentaties van de leraar te matchen.
• Inferentie: De student voert één enkele forward pass uit. De voorspelde eerste fout is de eerste stap waarbij de kans een drempel $\theta$ overschrijdt.

3. Theoretische Bijdragen

Het artikel biedt drie belangrijke theoretische garanties:

1. Optimaliteit van cPCA (Stelling 3.1): Het bewijst dat contrastieve PCA de optimale projectie is voor het maximaliseren van de transportscheiding tussen eerste-fout-staten en correcte staten onder een kwadratische 2-Wasserstein-afstandsdobbel.
2. Lokalisatiegrens (Stelling 3.2): Het stelt vast dat lokalisatie van de eerste fout in één pass gegarandeerd is als de eerste fout een positieve "transportmarge" creëert ten opzichte van de voorafgaande correcte overgangen. De fout hoeft niet voor altijd anomalie te blijven; detectie vereist alleen dat de eerste verkeerde stap een detecteerbare excursie creëert.
3. Distillatievoorwaarde (Propositie 3.3): Het reduceert de overeenkomst tussen leraar en student tot een margebehoudsvoorwaarde. Als de student de beslissingsmarge van de leraar behoudt onder distributieveranderingen, zal de index van de eerste fout identiek zijn.

4. Experimentele Resultaten

De methode werd geëvalueerd op ProcessBench, PRM800K, HaluEval en TruthfulQA.

4.1. In-Domein Prestaties

• Stap-gebaseerde Detectie: Beide modellen presteerden beter dan op entropie gebaseerde, op proef gebaseerde en op aandacht gebaseerde baselines. De leraar behaalde de hoogste AUROC op drie van de vier datasets (bijv. 96,0 op TruthfulQA). De student behaalde de beste prestaties op PRM800K (99,8 AUROC).
• Lokalisatie van Eerste Fout: De leraar en student presteerden significant beter dan baselines bij het pinpointen van de exacte stap waar de redenering brak. Bijvoorbeeld, de student behaalde 96,8% nauwkeurigheid op TruthfulQA.

4.2. Generalisatie en Implementatieobstakels

• Cross-Model Transfer: De leraar toonde stabiele prestaties over verschillende modelfamilies (Qwen, Llama, Mistral), wat bevestigt dat er een geometrisch signaal bestaat in verborgen ruimten, ongeacht het specifieke model.
• Student-Collapse: De student presteerde goed wanneer getest op hetzelfde model waarop het was getraind, maar stortte in tot bijna-willekeurige prestaties (AUROC ~33–58%) wanneer geëvalueerd op verschillende modelfamilies of datasets.
• Analyse: Het artikel schrijft deze kloof toe aan het falen van de student om de transportmarge te behouden onder distributieverandering. Waar de leraar een mechanisch instabiliteitssignaal vastlegt dat inherent is aan de geometrie van fouten, leert de student een representatief signaal dat model-specifieke coderingskuren absorbeert, waardoor het faalt om te generaliseren wanneer de onderliggende distributie verschuift.

5. Betekenis en Claims

Het artikel claimt stap-gebaseerde hallucinatie-detectie te herformuleren als een probleem van trajectdynamiek in plaats van statische semantische verificatie.

• Geometrisch Framing: Het introduceert een nieuw perspectief waarbij hallucinaties "geïlocaliseerde excursies" zijn in de transportkosten van verborgen staten, onderscheiden van de stabiele manifold van coherent redeneren.
• Diagnostisch versus Implementeerbaar: Door het bestaan van een signaal (leraar) te scheiden van het vermogen om het zonder labels te herstellen (student), identificeren de auteurs het centrale obstakel voor implementatie: het behoud van de contrastieve transportmarge onder distributieverandering.
• Theoretische Strengeheid: Het werk biedt de eerste theoretische rechtvaardiging voor het gebruik van contrastieve PCA in deze context en stelt voorwaarden vast waaronder lokalisatie in één pass wiskundig gegarandeerd is.

De auteurs concluderen dat hoewel het geometrische signaal voor detectie van de eerste fout robuust en overdraagbaar is (zoals aangetoond door de leraar), huidige distillatiemethoden ontoereikend zijn voor implementatie over domeinen heen omdat ze de kritieke marge falen te behouden die nodig is voor betrouwbare beslissingsgrenzen.