Technische Samenvatting: AURORA – Asymmetrie en Update-geïnduceerde Rotatie voor Robuuste Hallucinatiedetectie

Probleemstelling

Large Language Models (LLMs) vertonen een hardnekkige neiging om "hallucinaties" te genereren—outputs die vloeiend en plausibel zijn, maar feitelijk onjuist of niet getrouw aan de inputcontext. Dit vormt een kritieke barrière voor de inzet van LLMs in domeinen met een hoog risico, zoals de gezondheidszorg, de juridische sector en de financiële wereld.

Bestaande detectiemethoden vallen over het algemeen uiteen in twee categorieën:

1. Black-box benaderingen: Vertrouwen op output-niveau consistentiecontroles (bijv. het samplen van meerdere responsen) of query-reconstructie. Deze zijn vaak kostbaar, vereisen meerdere generaties en kunnen hallucinatie verwarren met benigne diversiteit.
2. White-box benaderingen: Maakt gebruik van statische interne representaties (verborgen toestanden, attention-kaarten, logits) die tijdens de forward pass worden geëxtraheerd. Hoewel deze methoden efficiënter zijn qua samples, leggen ze vaak dataset-specifieke oppervlaktepatronen vast in plaats van generaliseerbare signalen, wat leidt tot significante prestatievermindering bij cross-dataset evaluaties.

De auteurs stellen dat statische representaties er niet in slagen te vatten hoe een model zou veranderen als het zou worden bijgewerkt om aan een specifieke sample te voldoen. Zij postuleren dat de informatie op gradiëntniveau—de richting van parameter-updates geïnduceerd door een specifieke input—een meer fundamenteel en generaliseerbaar signaal bevat om getrouwe van niet-getrouwe inhoud te onderscheiden.

Methodologie: AURORA

AURORA is een white-box hallucinatiedetectiekader dat de focus verschuift van statische verborgen toestanden naar gewicht-gradiënt dynamiek. De kernhypothese is dat gehallucineerde samples kwalitatief andere gradiënt-updatepatronen induceren vergeleken met getrouwe samples. Specifiek triggeren gehallucineerde antwoorden asymmetrische en structureel misaligne gradiënten terwijl het model probeert de intern inconsistente generaties te verzoenen met zijn geleerde parameters.

Kaderoverzicht

1. Adaptatie: De LLM is uitgerust met lichtgewicht LoRA (Low-Rank Adaptation) adapters. De basisgewichten ($W_0$) blijven bevroren, terwijl de low-rank matrices $A$ en $B$ worden getraind.

2. Gradiëntextractie: Voor een gegeven query-antwoord paar wordt een forward-backward pass uitgevoerd om gradiënten ($\nabla_B L, \nabla_A L$) te berekenen.

3. Hypothetische Gewichtsuitwerking: De effectieve gewichtsverandering ($\delta W$) wordt benaderd via een eerste-orde expansie. Een hypothetische "gradiënt-richting gewicht" ($G$) wordt geconstrueerd: $G = W - \gamma \cdot \delta W$, wat de staat van het model vertegenwoordigt na een enkele gradiëntstap.

4. Feature Extractie: Twee complementaire features worden afgeleid uit de relatie tussen de huidige gewichten ($W$) en de hypothetische bijgewerkte gewichten ($G$):

   • Feature 1: Skewness van de Cosinus-similariteitsdistributie

     • Berekent de rij-gewijze en kolom-gewijze cosinus-similariteit tussen $W$ en $G$.
     • Meet de skewness (scheefheid) van deze distributie.
     • Interpretatie: Een zeer scheve distributie geeft aan dat de gradiënt-update specifieke output- of inputdimensies asymmetrisch beïnvloedt. Gehallucineerde samples hebben de neiging om updates te concentreren op minder dominante richtingen (hoge positieve skew) in plaats van ze gelijkmatig te verdelen.

   • Feature 2: Rotatieverhouding via SVD

     • Voert een afgekorte Singular Value Decomposition (SVD) uit op de originele gewichtsmatrix $W$ om de singuliere vectorbasis ($U_r, V_r$) te verkrijgen.
     • Projecteert de gradiënt-richting gewicht $G$ op deze originele basis om $\tilde{S} = U_r^\top G V_r$ te vormen.
     • Berekent de rotatieverhouding ($\rho$) op basis van de off-diagonaal energie van $\tilde{S}$.
     • Interpretatie: Een hoge rotatieverhouding geeft aan dat de gradiënt-update de gewichtsmatrix substantieelel heroriënteert weg van zijn geleerde singuliere vectorbasis, wat interne inconsistentie reflecteert.

5. Classificatie: Deze features worden gestandaardiseerd via per-layer, per-module z-score normalisatie en gevoed aan een lichtgewicht Multi-Layer Perceptron (MLP) classifier die getraind is met binary cross-entropy loss.

Belangrijkste Bijdragen

1. Nieuwe Feature Ruimte: Het paper introduceert het eerste framework voor hallucinatiedetectie dat de gewicht-update dynamiek exploiteert. Het identificeert dat de skewness van de gewicht-gradiënt uitlijning en de SVD-gebaseerde rotatieverhouding onderscheidende kenmerken van hallucinatie zijn.
2. Superieure Generalisatie: In tegenstelling tot methoden die vertrouwen op statische verborgen toestanden, demonstreert AURORA substantiële verbeteringen in cross-dataset generalisatie. De auteurs stellen dat gradiënt-niveau features een model-intrinsiek signaal van hallucinatie vangen in plaats van dataset-specifieke correlaties.
3. Uitgebreide Validatie: De methode wordt gevalideerd over:
   • Modelfamilies: Vier verschillende architecturen (Qwen, LLaMA, Ministral, Gemma).
   • Schalen: Modellen variërend van 0.8B tot 70B parameters.
   • Domeinen: Standaard QA benchmarks (HaluEval, HotpotQA, TriviaQA, SQuAD) en out-of-domain taken (Wiskundig redeneren, Vision-language scenario's).

Experimentele Resultaten

• Cross-Dataset Prestaties: In cross-dataset evaluaties (trainen op één dataset, testen op andere) presteert AURORA aanzienlijk beter dan bestaande white-box baselines (ICR Probe, HARP) en black-box methoden (InterrogateLLM). Op LLaMA-3-8B behaalde AURORA bijvoorbeeld een Generalization Accuracy (Gen-ACC) van 0.8026, vergeleken met 0.6703 voor HARP.
• In-Domain Prestaties: AURORA behaalt competitieve in-domain nauwkeurigheid, waarbij het vaak overeenkomt met of licht achterblijft bij gespecialiseerde baselines zoals HARP, maar met een veel superieure transfereerbaarheid.
• Ablatie-studies:
  • Feature Complementariteit: Het verwijderen van de rotatieverhouding-feature behield de in-domain nauwkeurigheid maar verminderde de generalisatie aanzienlijk, wat de rol ervan bevestigt in out-of-distribution robuustheid. Het verwijderen van skewness-features veroorzaakte een daling in beide metrieken.
  • Layer Sensitiviteit: Features geëxtraheerd uit de laatste transformer blocks gecombineerd met zowel MLP als Attention modules leverden de beste prestaties op.
  • SVD Rank: Een afgekorte SVD-rank van 128 bleek de balans te vinden tussen computationele kosten en generalisatieprestaties.
• Out-of-Domain Transfer: De methode is succesvol getransfereerd naar wiskundig redeneren (MATH-Reasoning-Paths) en vision-language hallucinatiedetectie (Hal-Eval), waarbij sterke prestaties werden behouden.

Betekenis en Claims

Het paper claimt dat AURORA een algemeen en transfereerbaar signaal biedt voor hallucinatiedetectie door de interactie tussen LLM-gewichten en sample-geïnduceerde gradiënten te analyseren. Door te focussen op hoe het model zou veranderen in plaats van wat het momenteel weet, vermijdt de methode de valkuilen van dataset-specifieke oppervlaktepatronen.

De auteurs positioneren AURORA als een principieel instrument voor:

1. Veiligheid: Het signaleren van potentieel gehallucineerde antwoorden voordat ze de eindgebruiker bereiken in kritieke toepassingen.
2. Data Filtering: Het automatisch scoren en verwerpen van gehallucineerde samples tijdens de constructie van supervised fine-tuning datasets, waardoor de kwaliteit van trainingsdata wordt verbeterd zonder handmatige verificatie.
3. Interpretabiliteit: Het bieden van een venster naar hoe LLMs intern reageren op getrouwe versus gehallucineerde content, waarbij wordt onthuld dat hallucinaties anisotrope en structureel misaligne parameter-updates induceren.

Het werk suggelt dat gewicht-update dynamiek een fundamentele eigenschap van LLMs is die kan worden benut voor robuuste detectie over variërende modelgroottes, architecturen en modaliteiten.