Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

1. Probleemstelling

Grote Taalmodellen (LLM's) zijn vatbaar voor het genereren van hallucinaties en outputs van lage kwaliteit. Onzekerheidskwantificering (UQ) is een kritisch mechanisme voor het detecteren van deze fouten, doorgaans door het toekennen van een betrouwbaarheidsscore aan gegenereerde tekst. Echter, bestaande UQ-methoden staan voor een fundamentele beperking: conditionele afhankelijkheid.

• De Kernkwestie: LLM's genereren tekst autoregressief (token voor token). De waarschijnlijkheid van het huidige token $y_i$ is conditioneel op alle voorgaande tokens $y_{<i}$. Als een vroeg token een hallucinatie is (een fout), behandelt het model dit als grondwaarheid voor daaropvolgende stappen. Bijgevolg genereert het model daaropvolgende tokens met hoge zekerheid, zelfs al is de volledige sequentie gebrekkig.
• Het Gat: Standaard UQ-methoden berekenen onzekerheid op basis van de directe conditionele waarschijnlijkheid $p(y_i | y_{<i})$. Ze slagen er niet in om de onzekerheid van eerdere stappen te propageren. Als het eerste token verkeerd is maar het model is zeker van het volgende token gegeven die verkeerde context, wordt de volledige sequentie als "veilig" beschouwd, wat leidt tot ongedetecteerde hallucinaties.
• Huidige Beperkingen: Eerdere pogingen om deze afhankelijkheid te modelleren, vertrouwen op heuristieken (bijvoorbeeld het straffen van scores op basis van eerdere max-attention) of vereisen computergewijs kostbare sampling (het genereren van meerdere outputs om consistentie te controleren).

2. Methodologie: Trainable Attention-based Dependency (TAD)

De auteurs stellen TAD voor, een supervised, datagedreven aanpak om de "unconditionele" onzekerheid van een token te leren door de complexe afhankelijkheden tussen generatiestappen te modelleren.

A. Kernconcept

In plaats van uitsluitend te vertrouwen op de ruwe conditionele waarschijnlijkheid van de LLM, leert TAD een regressiefunctie $C(\cdot)$ die de unconditionele zekerheid van een token $y_i$ schat. Deze functie integreert:

1. Kansverdelingen van de Huidige Stap: De token-kansen $p(y_i | y_{<i})$ zoals geleverd door de LLM.
2. Attention Maps: De attention-gewichten van het huidige token naar voorgaande tokens, die de interne focus en afhankelijkheidsstructuur van het model coderen.
3. Recurrente Onzekerheid: De geschatte unconditionele zekerheidsscores van vorige tokens ($C_{<i}$).

De formulering is:
$$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$$

B. Trainingsprocedure (Twee-fasen)

Omdat de doelvariabele (unconditionele zekerheid) afhankelijk is van de output van het model zelf (recursie), hanteren de auteurs een twee-fasen trainingsprocedure:

1. Fase 1: Train een regressiemodel uitsluitend met kansen van het huidige token en attention-gewichten. De doelwaarde voor het eerste token is de semantische gelijkenis tussen de gegenereerde sequentie en de grondwaarheid. Voor daaropvolgende tokens blijft de doelwaarde de grondwaarheidsgelijkenis, maar het model leert te voorspellen op basis van directe kenmerken.
2. Fase 2: Hertrain het model met de voorspellingen uit Fase 1 als kenmerken. Specifiek worden de "recurrente berekende onzekerheidsscores" van eerdere stappen (voorspeld door het Fase 1-model) ingevoerd in het Fase 2-model. Dit stelt het model in staat te leren hoe onzekerheid over de sequentie moet worden gepropageerd.

C. Kenmerkengineering

• Doelwaarden: De grondwaarheid voor training is afgeleid van de semantische gelijkenis (met behulp van metrieken zoals COMET, AlignScore of Accuracy) tussen de volledige gegenereerde sequentie en het referentieantwoord.
• Inputs: Voor elk token $y_i$ omvat het kenmerkvector de attention-gewichten naar de $N$ voorafgaande tokens, hun conditionele kansen, en de geschatte unconditionele zekerheid van die voorafgaande tokens.

D. Inference

Tijdens inference verwerkt TAD tokens sequentieel. Voor het eerste token gebruikt het de ruwe waarschijnlijkheid. Voor daaropvolgende tokens berekent het recursief de unconditionele zekerheid met de geleerde functie $C$, en aggregeert deze token-niveau scores (via gemiddelde of log-sum) om een onzekerheidsscore op sequentieniveau te produceren.

3. Belangrijkste Bijdragen

1. Nieuwe Supervised Aanpak: TAD is de eerste methode die expliciet de conditionele afhankelijkheid tussen generatiestappen leert met behulp van een supervised regressiemodel getraind op attention maps en recurrente onzekerheidsscores.
2. Integratie van Recurrente Kenmerken: Het artikel demonstreert dat het integreren van recurrente berekende onzekerheidsscores essentieel is voor accurate UQ, en effectief het "risico" van vroege fouten propageert naar de volledige sequentie.
3. Twee-fasen Training: De auteurs introduceren een specifiek trainingsprotocol om de circulaire afhankelijkheid van het voorspellen van onzekerheid op basis van eerdere onzekerheidsvoorspellingen te hanteren, wat overfitting voorkomt en convergentie verbetert.
4. Efficiëntie: In tegenstelling tot op sampling gebaseerde methoden (zoals Semantic Entropy) die meerdere forward passes vereisen, voegt TAD minimale computere last toe (ongeveer 5% boven standaard inference) omdat het een lichtgewicht lineaire regressie of MLP gebruikt bovenop een enkele forward pass.

4. Experimentele Resultaten

De auteurs evalueerden TAD op 10 datasets (die samenvattingen, machinevertaling en diverse QA-taken omvatten) en 3 LLM's (LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B).

• Prestaties: TAD behaalde de beste algehele prestatie over alle modellen en datasets.
  • Het presteerde significant beter dan state-of-the-art unsupervised methoden (zoals Perplexity, Semantic Entropy) en supervised baselines (zoals LookBackLens, SATRMD, Sheeps).
  • Op de TruthfulQA-dataset verbeterde TAD de Prediction Rejection Ratio (PRR) met 0,045 ten opzichte van de op één na beste baseline.
  • Op MedQUAD presteerde het 0,077 PRR beter dan de nummers twee.
• Ablatiestudies:
  • Kenmerken: Het verwijderen van attention-gewichten of recurrente kenmerken degradeerde de prestaties aanzienlijk, wat bevestigt dat beide cruciaal zijn.
  • Training: De twee-fasen trainingsprocedure bleek essentieel; een een-fasen aanpak slaagde er niet in de nodige afhankelijkheden te vangen.
  • Lagen: Attention-gewichten uit de middelste lagen bleken het meest informatief, hoewel ook de eerste en laatste lagen bijdroegen.
• Generalisatie: TAD toonde veelbelovende out-of-domain (OOD) generalisatie. Terwijl de meeste supervised methoden faalden wanneer getraind op QA en getest op samenvattingen/vertalingen, behield TAD robuuste prestaties en presteerde het beter dan baselines op ongezane QA-domeinen.
• Efficiëntie: TAD introduceerde slechts 5% runtime-overhead, terwijl op sampling gebaseerde methoden (zoals Semantic Entropy) 400–600% overhead veroorzaakten.

5. Betekenis en Conclusie

Dit artikel adresseert een kritiek blinde vlek in de veiligheid van LLM's: het onvermogen van standaard onzekerheidsmetrieken om cascaderende fouten veroorzaakt door vroege hallucinaties te detecteren.

• Praktische Impact: TAD biedt een computerefficiënte, plug-and-play oplossing voor selectieve generatie (het afwijzen van outputs van lage kwaliteit). Het maakt een veiligere inzet van LLM's mogelijk in hoog-risico toepassingen zonder de prohibitieve kosten van verificatie op basis van sampling.
• Theoretisch Inzicht: Het werk valideert dat attention maps rijke informatie bevatten over de conditionele afhankelijkheden van generatiestappen, en dat deze afhankelijkheden kunnen worden geleerd om "unconditionele" waarheidsgetrouwheid te schatten.
• Toekomstige Richtingen: De auteurs suggereren TAD uit te breiden naar Retrieval-Augmented Generation (RAG) om de geloofwaardigheid van opgehaald bewijsmateriaal te beoordelen, wat de betrouwbaarheid van kennisintensieve LLM-toepassingen verder versterkt.

Kortom, TAD vertegenwoordigt een significante stap voorwaarts in het betrouwbaarder maken van LLM's door te bewegen van statische, token-niveau waarschijnlijkheidscontroles naar een dynamische, contextbewuste onzekerheidsschatting die de "chain of thought" en het potentieel voor foutpropagatie begrijpt.