Technische Samenvatting: Efficiënte Detectie van Hallucinaties bij LLM's via Onzekerheidsbewuste Attention Heads

Probleemstelling

Grote taalmodellen (LLM's) zijn gevoelig voor "hallucinaties", of feitelijke onjuistheden, ondanks hun vloeiendheid. Hoewel onzekerheidskwantificering (Uncertainty Quantification, UQ) een pad biedt om dit te mitigeren door gebruik te maken van de interne betrouwbaarheid van een model, kampen bestaande methoden met aanzienlijke afruilproblemen. Informatiegebaseerde scores (bijv. token-entropie) zijn computationeel efficiënt, maar presteren vaak ondermaats bij langere generaties. Op basis van sampling gebaseerde methoden bieden een hogere nauwkeurigheid, maar brengen een prohibitieve computationele overhead met zich mee door herhaalde inferentie-passes. Gesuperviseerde benaderingen leveren nauwkeurige scores, maar vereisen kostbare, taakspecifieke annotaties en hebben moeite met het generaliseren naar andere domeinen of out-of-distribution data. Bijgevolg is er een gebrek aan een veelzijdige, efficiënte en ongesuperviseerde UQ-methode die in staat is tot real-time detectie van hallucinaties in white-box LLM's.

Methodologie: RAUQ

De auteurs stellen RAUQ (Recurrent Attention-based Uncertainty Quantification) voor, een ongesuperviseerd framework dat hallucinaties identificeert door specifieke patronen in de transformer attention-mechanismen te analyseren. De methode werkt in een enkele forward pass en vereist geen aanvullende sampling of hulpmodellen.

Kernobservaties

Door middel van mechanistische analyse van attention-kaarten (specifiek in modellen zoals Llama-3.1 8B), observeerden de auteurs dat wanneer een LLM een feitelijk onjuist token genereert, specifieke "onzekerheidsbewuste" attention heads een systematische daling vertonen in de attention weight naar het direct voorafgaande token. In tegenstelling tot correcte tokens behouden deze heads voor correcte tokens een hoge aandacht voor het vorige token, wat de lokale syntactische en semantische continuïteit weerspiegelt. Dit signaal is uniek voor een kleine subset van heads; het middelen over alle heads maskeert dit patroon.

Algoritmische Componenten

RAUQ integreert drie kerncomponenten:

1. Onzekerheidsbewuste Head Selectie:
   Voor elke laag $l$ selecteert de methode automatisch de enkele attention head $h_l$ die de gemiddelde attention weight naar het voorafgaande token maximaliseert over de gegenereerde sequentie:
   $$h_l(y) = \arg \max_{h=1...H} \frac{1}{N-1} \sum_{i=2}^{N} a_{i,i-1}^{l,h}$$
   Deze selectie wordt dynamisch uitgevoerd zonder supervisie.

2. Recursieve Vertrouwenspropagatie:
   Om rekening te houden met de conditionele afhankelijkheden in autoregressieve generatie, berekent RAUQ een token-niveau confidence score $c_l(y_i)$ voor elk token $i$ in laag $l$. Deze score combineert recursief de conditionele waarschijnlijkheid van het token $s_i$ (of een entropie-gebaseerd signaal voor instruction-tuned modellen) met het vertrouwen van het vorige token, gewogen door de activatie van de geselecteerde attention head:
   $$c_l(y_i) = \begin{cases} s_1 & \text{indien } i=1 \\ \alpha s_i + (1-\alpha) a_{i,i-1}^{l, h_l} c_l(y_{i-1}) & \text{indien } i > 1 \end{cases}$$
   Hier is $\alpha$ een hyperparameter die de bijdrage van de onmiddellijke tokenwaarschijnlijkheid balanceert met de gepropageerde betrouwbaarheid die door attention wordt gemoduleerd.

3. Aggregatie:
   De scores op token-niveau worden geaggregeerd tot een laag-niveau onzekerheidsscore $u_l(y)$ met behulp van het gemiddelde van logaritmen (vergelijkbaar met perplexiteit):
   $$u_l(y) = -\frac{1}{N} \sum_{i=1}^{N} \log c_l(y_i)$$
   De uiteindelijke sequentie-niveau onzekerheidsscore $u(y)$ wordt afgeleid door het maximum te nemen over een subset van tussenliggende lagen, wat een bovengrens-schatting van de onzekerheid biedt.

Belangrijkste Bijdragen

• Mechanistisch Inzicht: Het artikel identificeert en analyseert "onzekerheidsbewuste" attention heads, en demonstreert dat een daling in de aandacht naar het voorafgaande token in specifieke heads sterk correleert met het voorkomen van hallucinaties.
• RAUQ Framework: Introductie van een ongesuperviseerde, plug-and-play UQ-methode die ruwe attention weights en token waarschijnlijkheden omzet in betrouwbare onzekerheidsscores. Het vereist geen taakspecifieke labels, geen hyperparameter-tuning voor specifieke modellen en voegt minder dan 1% computationele overhead toe.
• Uitgebreide Evaluatie: Uitgebreide experimenten over 12 datasets (variërend van QA en samenvatting tot vertaling) en 9 verschillende LLM's (inclusief Llama, Qwen, Gemma en Falcon varianten van verschillende groottes).

Experimentele Resultaten

RAUQ werd geëvalueerd tegen 15 diverse baselines, inclus\n_bij sampling-gebaseerde methoden (bijv. Semantic Entropy), attention-gebaseerde methoden (bijv. Focus, Attention Score) en gesuperviseerde regressoren. De primaire metriek was de Prediction Rejection Ratio (PRR), die de gemiddelde kwaliteit van behouden responsen meet wanneer de meest onzekere voorspellingen worden afgewezen.

• Prestaties: RAUQ presteerde consistent beter dan state-of-the-art baselines over alle taken en modellen. Zo overtrof het in vertalingstaken met Gemma-2 9B de op één na beste methode met een aanzienlijke marge (0.051 PRR). Het behaalde de beste of op één na beste gemiddelde prestatie over alle taken en modellen.
• Generalisatie: De methode toonde sterke robuustheid over verschillende modelgroottes (van 360M tot 70B parameters) en architecturen (inclusclusief Mixture-of-Experts modellen). Het behield ook een hoge prestatie in out-of-domain scenario's waar gesuperviseerde methoden faalden.
• Efficiëntie: In tegen tegenstelling tot sampling-gebaseerde methoden die 400–800% computationele overhead veroorzaken, voegde RAUQ slechts 0,3% overhead (minder dan 1%) toe aan de inferentietijd, wat het geschikt maakt voor real-time toepassingen.
• Ablatie-studies: Experimenten bevestigden dat het selecteren van specifieke heads in plaats van het middelen van alle heads cruciaal is. Bovendien bleek dat de recursieve propagatie van vertrouwen essentieel was, aangezien het verwijderen ervan of de attention-component de prestaties aanzienlijk verslechterde.

Betekenis en Claims

De auteurs positioneren RAUQ als een lichtgewicht, plug-and-play oplossing voor real-time detectie van hallucinaties in white-box LLM's. De betekenis ligt in het overbruggen van de kloof tussen computationele efficiëntie en detectienauwkeurigheid zonder afhankelijk te zijn van externe kennisbronnen of dure sampling.

Het artikel claimt dat RAUQ de implementatie van robuuste UQ-mechanismen direct in bestaande LLM-as-a-service systemen mogelijk maakt. Hoewel de auteurs erkennen dat RAUQ een aanvulling is op, en geen vervanging voor, externe verificatie en menselijk toezicht (vooral in veiligheidskritische domeinen), stellen zij dat het een betekenisvolle stap is naar meer betrouwbaar en verantwoord gebruik van LLM's. Het vermogen van de methode om zonder supervisie te generaliseren over taken en modelgroottes adresseert een kritieke beperking in huidig UQ-onderzoek.