Technische Samenvatting: D-Score voor Hallucinatie-detectie

Probleemstelling

Large Language Models (LLM's) genereren vaak vloeiende tekst die beweringen bevat die onwaar, niet ondersteund door bewijs of inconsistent met de interne kennis van het model zijn, een fenomeen dat bekend staat als hallucinatie. Huidige detectiemethoden vertrouwen vaak op externe bronnen (retrieval-gebaseerde systemen) of meerdere generatie-passes (consistentie-gebaseerde methoden), wat de kosten voor inferentie en de complexiteit verhoogt. Er is behoefte aan detectiemechanismen die direct opereren op de interne toestanden van een model tijdens een enkele forward pass, zonder externe verifieerders of herhaalde sampling te vereisen.

Methodologie: De D-Score

Het artikel introduceert de D-Score, een spectrale statistiek afgeleid van de geometrie van de verborgen activaties (hidden activations) binnen een transformer-model. De kernintuïtie is dat een goed ondersteunde tekst een coherente verborgen traject induceert dat geconcentreerd is langs enkele dominante richtingen. Wanneer een model daarentegen een tekst verwerkt die een niet-ondersteunde bewering bevat die conflicteert met zijn interne kennis, kan de verborgen representatie zowel de geclaimde inhoud als sporen van tegenbewijs, onzekerheid of een gebrek aan ondersteuning coderen. Dit conflict zorgt ervoor dat het verborgen traject zich verspreidt over extra singuliere richtingen, waardoor de "effectieve" dimensionaliteit van de activatiematrix toeneemt.

Wiskundige Formulering

Gegeven een vast model $m$, een specifieke laag $j$, en een inputtekst $\mathbf{x} = (x_1, \dots, x_T)$, construeert de methode een verborgen activatiematrix $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$, waarbij de kolommen de verborgen toestanden van tokens in laag $j$ vertegenwoordigen.

Laat $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ de niet-nul singuliere waarden zijn van $H^{(j)}(\mathbf{x}; m)$. De D-Score wordt gedefinieerd als de relatieve numerieke rang van deze matrix:
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
waarbij $\tau > 1$ een tolerantieparameter is. De score telt hoeveel singuliere richtingen significant blijven ten opzichte van de leidende singuliere waarde $\sigma_1$.

Detectieregel

De detector classificeert een input als gehallucineerd als de D-Score een gekalibreerd beslissingsniveau $\bar{D}$ overschrijdt:
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{indien} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
Deze aanpak vereist slechts één forward pass en de berekening van de leidende singuliere waarden (totdat deze onder de relatieve drempelwaarde vallen), wat efficiënt geschat kan worden met iteratieve methoden zoals de power method op de Gram-matrix $H^\top H$, waardoor de computationele kosten van een volledige SVD voor hoogdimensionale modellen worden vermeden.

Theoretische Rechtvaardiging

Het artikel definieert model-interne hallucinatie als een niet-ondersteunde bewering waaraan het model een lage interne waarheidsgeloof toekent. Het stelt dat dergelijke beweringen "conflictrichtingen" introduceren in de verborgen toestandsruimte. Een theoretisch propositie demonstreert dat als niet-ondersteunde inhoud $q$ voldoende sterke richtingen introduceert die orthogonaal zijn aan de coherente representatie, de D-Score met ten minste $q$ toeneemt. Een hoge D-Score dient dus als een proxy voor de aanwezigheid van deze conflictrichtingen.

Belangrijkste Bijdragen

1. Introductie van de D-Score: Een eenvoudige spectrale statistiek die de relatieve numerieke rang van de verborgen activatiematrix vertegenwoordigt, ontworpen om de spreiding van het verborgen-toestands-traject te meten.
2. Operationele Definitie: Een formele definitie van model-interne hallucinatie gebaseerd op niet-ondersteunde beweringen met een lage interne waarheidsgeloof, waarbij onderscheid wordt gemaakt van fouten die het model niet intern kan detecteren.
3. Geometrisch Argument: Een theoretische rechtvaardiging die aantoont dat gehallucineerde teksten de D-Score kunnen verhogen door het verborgen traject te verspreiden over extra conflictrichtingen (onzekerheid, tegenbewijs).
4. Empirische Evaluatie: Een uitgebreide evaluatie die aantoont dat de D-Score een sterk signaal is voor hallucinatie-detectie over meerdere modellen en datasets.

Experimentele Resultaten

De D-Score werd geëvalueerd op twee benchmarks: FAVA-Annotation (feitelijke fouten in open-domain generatie) en RAGTruth (hallucinaties in retrieval-augmented generatie). Experimenten werden uitgevoerd op drie open-weight modellen: Llama-2-7B, Llama-3-8B, en Vicuna-7B.

• Prestaties: De D-Score presteerde consistent beter dan state-of-the-art baselines, inclus_and Hidden Score (een eerdere spectrale methode), perplexiteit-gebaseerde scores en entropie-gebaseerde metrieken.
  • Op FAVA-Annotation behaalde de D-Score de hoogste AUROC over alle modellen (bijv. 66,98% voor Llama-3-8B versus 57,10% voor Hidden Score).
  • Op RAGTruth behield de D-Score een robuuste prestatie (bijv. 61,53% AUROC voor Llama-3-8B), terwijl de prestatie van Hidden Score aanzienlijk daalde op Vicuna-7B (nabij willekeurige kans), terwijl de D-Score effectief bleef (60,20%).
• Correlatie met Modelcapaciteit: Het prestatieverschil tussen de D-Score en baselines was meer uitgesproken in meer capabele modellen (bijv. Llama-3-8B), wat suggereert dat de methode effectief hallucinaties vangt die het model intern als niet-feitelijk herkent.
• Subsectie-analyse: Wanneer geëvalueerd op een subset van data waar de expliciete zelfbeoordeling van het model overeenkwam met menselijke annotaties (het filteren van gevallen waarin het model zijn eigen fouten niet kon herkennen), behaalde de D-Score nog hogere AUROC-scores (tot 72,51% op Llama-3-8B), wat bevestigt dat de methode leunt op de interne representatie van de fout door het model.

Betekenis en Claims

Het artikel claimt dat de D-Score een sterk verborgen-toestandssignaal biedt voor hallucinatie-detectie dat opereert onder strikte efficiëntiebeperkingen:

• Single-Pass Efficiëntie: Het vereist slechts één forward pass door het model.
• Geen Externe Afhankelijkheden: Het vereist geen externe retrieval, externe verifieerders of een tweede model.
• Geen Meerdere Generaties: In tegenstelling tot consistentie-gebaseerde methoden vereist het niet het samplen van meerdere outputs.

De auteurs positioneren de D-Score niet als een universele karakterisering van waarheid, maar als een gekalibreerde risicoscore. Het is bijzonder effectief voor het detecteren van "model-interne hallucinaties"—fouten waarbij het model over de nodige informatie beschikt om de inconsistentie te herkennen, maar er niet in slaagt deze in de uiteindelijke output te onderdrukken. De methode benadrukt dat de topologie van het verborgen-toestands-traject (specifiek de spreiding van singuliere waarden) diagnostische informatie bevat over de betrouwbaarheid van het model en de aanwezigheid van conflicterende interne signalen.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• White-Box Vereiste: De methode vereist toegang tot verborgen activaties, wat het onbruikbaar maakt voor closed-source modellen, tenzij dergelijke toegang wordt verleend.
• Interne Zichtbaarheid: Het kan alleen hallucinaties detecteren die een spoor achterlaten in de interne toestand van het model; als het model niet over de interne kennis beschikt om een fout te herkennen, zal de D-Score deze mogelijk niet signaleren.
• Complexiteitsverwarring: Hoge D-Scores kunnen ook voortkomen uit lange, diverse of semantisch complexe niet-gehallucineerde teksten, wat zorgvuldige kalibratie noodzakelijk maakt.
• Parametergevoeligheid: Hoewel robuust, hangt de methode af van de keuze van de laag, de tolerantie $\tau$ en het beslissingsniveau $\bar{D}$.