IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation

Probleemstelling

Ondanks de snelle vooruitgang van Large Language Models (LLMs), blijft het kwantificeren van onzekerheid in generaties een uitdaging, vooral bij lange, vrij-vormige teksten (long-form generation). Bestaande methoden voor Uncertainty Quantification (UQ) werken goed voor korte antwoorden of meerkeuzevragen, maar falen vaak bij lange teksten om de volgende redenen:

1. Semantische coherentie vs. Feitelijke onjuistheid: LLMs kunnen lange, logisch samenhangende verhalen genereren die volledig feitelijk onjuist zijn (hallucinaties).
2. Contextuele afhankelijkheid: Omdat LLMs token-voor-token genereren op basis van de vorige context, kunnen ze een valse premisse (bijv. een verkeerd beroep van een persoon) accepteren en daar een consistent, maar onwaar verhaal omheen bouwen. Bestaande methoden die alleen kijken naar consistentie tussen verschillende gegenereerde samples (inter-sample consistency), zien deze hallucinaties vaak niet, omdat alle samples dezelfde valse logica volgen.
3. Gebrek aan kennisvalidatie: Bestaande methoden testen niet of de feiten daadwerkelijk overeenkomen met de interne kennis van het model, maar alleen of de tekst intern consistent is.

Methodologie: IUQ (Interrogative Uncertainty Quantification)

Het artikel introduceert IUQ, een nieuw raamwerk dat onzekerheid kwantificeert door een "interrogatie-then-respond" (ondervragen-en-antwoorden) paradigma te gebruiken. Het doel is om feitelijke claims te ontkoppelen van de generatieve context om de ware kennis van het model te testen.

Het proces verloopt in de volgende stappen:

1. Generatie van Lange Antwoorden: Het model genereert $N$ diverse lange antwoorden op een prompt.
2. Claim-Extractie: Elke lange tekst wordt opgesplitst in atomische, zelfstandige feitelijke claims ($C_R$).
3. Claim-gebaseerde Vraagstelling (Interrogator): Voor elke geëxtraheerde claim genereert het model (als "ondervrager") een specifieke, korte vraag die de informatie in die claim adresseert. Deze vragen zijn onafhankelijk van de oorspronkelijke lange context.
4. Antwoorden zonder Context (Responder): Het model beantwoordt deze korte vragen in een nieuwe sessie, zonder de oorspronkelijke lange tekst als context. Dit dient als een test van de modelkennis.
5. Berekening van Toewijding (Faithfulness):
   • Er wordt gekeken of de antwoorden op de korte vragen in tegenspraak zijn met de oorspronkelijke claims.
   • Een Faithfulness-score ($F$) wordt berekend voor elke claim. Als de antwoorden consistent zijn met de claim, is de score hoog; als er tegenstrijdigheden zijn (wat wijst op hallucinatie), daalt de score.
6. Propagatie van Onbetrouwbaarheid: Omdat valse claims in een lange tekst vaak leiden tot een kettingreactie van verdere hallucinaties, gebruikt IUQ een exponentiële afname-kern om de onbetrouwbaarheid van eerdere claims door te geven aan latere claims in de tekst.
7. Onzekerheidsscore: De uiteindelijke onzekerheidsscore combineert de consistentie tussen verschillende samples (inter-sample) met de toewijdingsscore (intra-sample).

Belangrijkste Bijdragen

• Nieuw Framework (IUQ): Een methode die lange teksten analyseert op claim-niveau door ze te "ondervragen", waardoor de onafhankelijke kennis van het model wordt getest.
• Identificatie van een Onderzocht Fenomeen: Het artikel benadrukt dat LLMs vaak feitelijke informatie fabriceren om logische consistentie te behouden. IUQ kwantificeert deze neiging specifiek.
• Intra-sample Consistentie: In tegenstelling tot eerdere werken die alleen kijken naar overeenstemming tussen verschillende gegenereerde teksten, introduceert IUQ een mechanisme om de consistentie binnen één tekst te testen door claims te ontkoppelen van hun context.
• Uitgebreide Evaluatie: De methode is getest op diverse modelfamilies (GPT-4o, LLaMA-3.3, Qwen2, Gemma-3, Mistral) en maten (24B tot 72B).

Resultaten

De auteurs hebben IUQ getest op twee datasets voor lange teksten: FActScore (biografieën van minder bekende personen) en LongFact (diverse onderwerpen).

• Superieure Prestaties: IUQ presteerde consistent beter dan bestaande state-of-the-art methoden (zoals Claim Entailment, Perplexity, en Graph-based Uncertainty) in het detecteren van hallucinaties.
  • Op de FActScore-dataset behaalde IUQ een gemiddelde AUROC van 0.864, wat een verbetering is van +2.3% ten opzichte van de beste baseline.
  • Op de LongFact-dataset behaalde IUQ een gemiddelde AUROC van 0.740, een verbetering van +1.7%.
• Modelonafhankelijkheid: De verbetering was consistent over alle geteste modelgroottes en families.
• Ablatie Studies:
  • Het gebruik van de exponentiële afname-kern voor het doorgeven van onbetrouwbaarheid bleek het meest effectief.
  • Het testen van de richting van de tegenstrijdigheid (voorafgaande vs. volgende claims) bevestigde dat het detecteren van fabricage gebaseerd op voorafgaande context essentieel is.
• Kosten: IUQ vereist meer inferentie-stappen (en dus meer tokens) dan sommige baselines (ongeveer 47% meer dan Graph-Based Uncertainty), maar dit is een acceptabele prijs voor de aanzienlijke toename in nauwkeurigheid bij het detecteren van feitelijke fouten.

Significantie

Deze studie is significant omdat het een fundamentele beperking van bestaande UQ-methoden voor lange teksten aanpakt. Het toont aan dat interne consistentie niet gelijkstaat aan feitelijke juistheid. Door het model te dwingen zijn eigen claims te verdedigen in een onafhankelijke context, kan IUQ hallucinaties blootleggen die anders onopgemerkt zouden blijven. Dit is cruciaal voor de toepassing van LLMs in real-world scenario's waar lange, gedetailleerde en feitelijke antwoorden vereist zijn (zoals juridische documenten, medische rapporten of journalistiek), waar de kosten van hallucinaties hoog kunnen zijn.