Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

Technische Samenvatting: Het Benutten van Redeneringstrajecten voor Hallucinatie-detectie via Vormgeving van Representaties op Basis van Antwoordovereenkomst

Probleemstelling
Grote Redeneringsmodellen (LRMs) genereren lange, coherente redeneringssporen voordat ze een definitief antwoord produceren. Hoewel deze sporen rijke signalen bieden, verhullen ze vaak de detectie van hallucinaties op antwoordniveau. Het direct aftasten van verborgen staten langs het volledige spoor of het gebruik van de sportekst voor detectie is breekbaar; detectoren neigen om te overfitten op oppervlakkige stijlpatronen in het redeneringsproces in plaats van de geldigheid van het uiteindelijke antwoord te vangen. Bovendien vertrouwen bestaande methoden vaak op kostbare sampling tijdens het testen (bijvoorbeeld het genereren van meerdere antwoorden om consistentie te meten) of vereisen menselijke annotaties voor het trainen van classifiers. De kernuitdaging bestaat erin een stabiel, antwoordgericht signaal te destilleren uit het redeneringstraject dat robuust is tegen variaties in oppervlaktevorm en indicatief is voor het risico op hallucinaties, zonder hoge inferentiekosten te veroorzaken.

Methodologie: Vormgeving van Representaties op Basis van Antwoordovereenkomst (ARS)
De auteurs stellen ARS voor, een raamwerk dat detectie-vriendelijke, spoor-geconditioneerde antwoordrepresentaties leert door antwoordstabiliteit expliciet te coderen via latente interventies. De methode werkt in twee hoofdfasen:

1. Latente Interventie voor Contradictoire Antwoorden:
   In plaats van de tekst van het redeneringsspoor te verstoren (wat coherentie kan verstoren of schijnbare aanwijzingen kan introduceren), grijpt ARS direct in in de latente staat van het model. Specifiek richt het zich op de spoor-grensembedding ($h$), gedefinieerd als de verborgen toestand van het laatste token van het redeneringstraject op de voorlaatste laag van het LRM.

   • Kleine verstoringvectoren ($\delta$) worden gesampled uit een verdeling (bijvoorbeeld isotroop Gaussisch) en toegevoegd aan $h$ om een gewijzigde staat $\tilde{h} = h + \delta$ te creëren.
   • Het model gaat verder met decoderen vanaf $\tilde{h}$ om een contradictoir antwoord ($\tilde{a}$) te genereren.
   • Dit proces wordt $M$ keer herhaald om een set contradictoire antwoorden te genereren.

2. Vormgeving van Representaties op Basis van Antwoordovereenkomst:
   Het raamwerk construeert trainingsparen op basis van de overeenkomst tussen het originele antwoord ($a$) en de contradictoire antwoorden ($\tilde{a}$).

   • Positieve Paren: Contradictoire antwoorden die overeenkomen met het originele antwoord ($Agr(a, \tilde{a}) = 1$).
   • Negatieve Paren: Contradictoire antwoorden die niet overeenkomen met het originele antwoord ($Agr(a, \tilde{a}) = 0$).
   • Een lichtgewicht afbeeldingsfunctie $g_\phi$ wordt getraind om de standaard antwoordembeddings ($u$) om te zetten in gevormde embeddings ($z$). Het doel is een contrastieve loss die overeenkomende embeddings dichter bij het anker trekt en niet-overeenkomende embeddings uit elkaar duwt.
   • Cruciaal blijven de basis-LRM-parameters ($\theta$) bevroren; alleen de lichtgewicht kop $g_\phi$ wordt getraind. Dit proces vereist geen ground-truth hallucinatie-labels en vertrouwt uitsluitend op de interne consistentie van de eigen generaties van het model.

Belangrijkste Bijdragen

• Eerste Raamwerk voor Spoor-vormgeving: ARS wordt gepresenteerd als het eerste raamwerk dat op principiële wijze redeneringstrajecten gebruikt om antwoordrepresentaties te vormen voor hallucinatie-detectie in LRMs, waarbij gebruik wordt gemaakt van latente verstoringen op de spoor-grens om contradictoire antwoorden te induceren.
• Overeenkomst-gedreven Doel: Het artikel introduceert een doel dat antwoordembeddings organiseert op basis van of kleine interne veranderingen het antwoord behouden, waardoor afhankelijkheid wordt vermeden van breekbare tekstverstoringen of menselijke annotaties.
• Theoretische en Empirische Analyse: De auteurs bieden een theoretisch voorstel (Propositie 4.2) dat de kansen op scheiding van overeenkomstige embeddings koppelt aan de bovengrens van de fout in hallucinatie-detectie. Empirisch tonen ze aan dat antwoordstabiliteit (gemeten door contradictoire consistentie) voorspellend is voor waarheidsgetrouwheid.

Resultaten
Experimenten werden uitgevoerd op vier datasets (TruthfulQA, TriviaQA, GSM8K, MATH-500) met meerdere LRM-families (Qwen3-8B/14B, DeepSeek-R1-Distill-varianten).

• Prestatiewinst: ARS presteert consequent beter dan sterke baselines, waaronder methoden op basis van onzekerheid (Perplexity, Semantische Entropie), methoden op basis van consistentie (Lexicale Similariteit, SelfCKGPT) en LRM-specifieke detectoren (RHD, RACE, G-Detector).
  • Op TruthfulQA met Qwen3-8B behaalde ARS een AUROC van 86,64% (met CCS als downstream-detecteur), een aanzienlijke verbetering ten opzichte van de baseline van de standaard LRM-embedding (66,85%) en andere state-of-the-art methoden (bijvoorbeeld TSV op 77,08%).
  • Vergelijkbare winsten werden waargenomen over alle datasets en modelgroottes, met verbeteringen variërend van 10% tot 20% ten opzichte van standaard embeddings.
• Generaliseerbaarheid: De gevormde representaties transfereren effectief tussen datasets (bijvoorbeeld trainen op GSM8K en testen op TriviaQA) en schalen naar grotere modellen (14B parameters).
• Efficiëntie: In tegenstelling tot sampling-gebaseerde baselines die meerdere forward-passes tijdens inferentie vereisen, vereist ARS slechts één generatie op het testmoment. De trainings-overhead is minimaal (bijvoorbeeld ~649 seconden voor de TruthfulQA-trainingsset).

Betekenis en Beweringen
Het artikel beweert dat ARS een kritieke betrouwbaarheidsfout in LRMs aanpakt waarbij vloeiende redeneringssporen feitelijke fouten kunnen maskeren. Door representaties te vormen om antwoordstabiliteit onder latente verstoringen te reflecteren, legt ARS de "breekbare" interne staten bloot die geassocieerd zijn met hallucinaties. De auteurs benadrukken dat ARS een detectiecomponent is in plaats van een garantie voor waarheidsgetrouwheid, bedoeld om te worden gecombineerd met andere veiligheidsmaatregelen. Het werk biedt inzichten in de geometrie van hallucinaties in redeneringsmodellen, wat suggereert dat gehallucineerde antwoorden vaak in gebieden van de latente ruimte met lage stabiliteitsmarges verblijven, die effectief kunnen worden blootgelegd door vormgeving op basis van antwoordovereenkomst zonder menselijk toezicht.