I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation

Titel

I-CALM: Het stimuleren van zelfvertrouwen-bewuste onthouding (abstention) voor de mitigatie van hallucinaties bij LLM's

1. Het Probleem

Grote Taalmodellen (LLM's) produceren vaak zelfverzekerde maar onjuiste antwoorden (hallucinaties). Een belangrijke oorzaak hiervan is dat de huidige evaluatiestandaarden en trainingsincentives modellen belonen voor het geven van een antwoord, zelfs als ze onzeker zijn, in plaats van hen aan te moedigen om eerlijk onzekerheid te uiten.

• Epistemische onthouding: In situaties waar een vraag een verifieerbaar antwoord heeft, maar het model de kennis mist, is de juiste reactie om te zeggen "Ik weet het niet" (abstain). Huidige modellen falen hier vaak in en gokken in plaats daarvan.
• Beperkingen van bestaande methoden: Veel bestaande oplossingen vereisen hertraining van het model (bijv. Reinforcement Learning) of toegang tot interne token-kansverdelingen (logits), wat niet beschikbaar is bij API-only (black-box) deployments.
• De kernvraag: Hoe kunnen we modellen ertoe brengen om alleen te antwoorden wanneer ze het weten, en zich te onthouden wanneer ze onzeker zijn, zonder de modelgewichten aan te passen?

2. Methodologie: Het I-CALM Framework

De auteurs stellen I-CALM voor, een framework dat uitsluitend gebruikmaakt van prompts (prompt-only) en geen modeltraining vereist. Het framework combineert drie gekoppelde componenten:

1. Verbaal Zelfvertrouwen (Verbal Confidence Elicitation):

   • In plaats van onbetrouwbare token-kansen, vraagt het prompt het model expliciet om zijn zelfvertrouwen uit te drukken in natuurlijke taal (een getal tussen 0 en 1).
   • Het paper toont aan dat dit verbaal zelfvertrouwen stabiel is bij herschrijving van prompts en redelijk gecorreleerd is met token-probabiliteiten.

2. Expliciete Beloningsschema's (Reward Schemes):

   • Het model krijgt een duidelijk aangekondigd beloningsschema voor zijn beslissingen:
     • +R voor een correct antwoord.
     • -β voor een incorrect antwoord.
     • +γ voor het zeggen van "Ik weet het niet" (IDK).
   • Door een positieve beloning (+γ) te geven voor onthouding, wordt de afweging tussen gokken en stoppen expliciet gemaakt.

3. Normatieve Principes (Normative Guidance):

   • Er worden lichte, algemene normen toegevoegd die focussen op waarheid, nederigheid en verantwoordelijkheid.
   • Voorbeeld: "Behandel alle onderwerpen met respect en nederigheid" en "Wees verantwoordelijk voor je woorden en hun gevolgen."
   • Dit dient als een extra signaal om ongegronde gokken te ontmoedigen.

Het Workflow-proces:
Het model wordt gevraagd om eerst te antwoorden met een zelfvertrouwenscore. Als het model zegt "Ik weet het niet", krijgt het toch een beloning (+γ), maar het moet daarna nog steeds een "beste gok" geven voor evaluatiedoeleinden (forced-answer). Dit maakt het mogelijk om te meten of het model de juiste vragen heeft geïdentificeerd om zich van te onthouden.

3. Belangrijkste Bijdragen

1. Validatie van Verbaal Zelfvertrouwen: Het paper demonstreert dat zelfgerapporteerd verbaal zelfvertrouwen een stabiel en bruikbaar signaal is voor onzekerheid in black-box settings, zelfs zonder toegang tot interne logits.
2. Unificatie van Interventies: I-CALM introduceert een uniek framework dat verbaal zelfvertrouwen, expliciete beloningsstructuren en normatieve principes combineert om het gedrag van "antwoorden vs. onthouden" te sturen.
3. Karakterisering van Selectief Antwoorden: De auteurs analyseren de "onthouding-hallucinatie frontier" (de afweging tussen hoeveel vragen worden beantwoord en hoe foutloos die antwoorden zijn) en tonen aan dat dit framework de foutenrate verlaagt door onzekerheid te herkennen en te onthouden, zonder de prestaties bij gedwongen antwoorden significant te verslechteren.

4. Resultaten

De experimenten zijn uitgevoerd op diverse modellen (GPT-5 mini, GPT-4o mini, Llama-3, Gemini, Qwen) en datasets (PopQA, TriviaQA, SimpleQA).

• Verlaging van de Valse Antwoordrate (FAR):

  • Op PopQA (een dataset met feitelijke vragen) daalde de FAR voor beantwoorde vragen bij GPT-5 mini van 52,3% (Pure Eval) naar 34,2% met I-CALM (Scheme B + Normen).
  • Dit betekent dat het model veel minder vaak fouten maakt op de antwoorden die het wel geeft.

• Verbeterde Onthouding (AER):

  • De Abstention-to-Error Ratio (AER) steeg aanzienlijk. Dit betekent dat het model veel vaker "Ik weet het niet" zegt voordat het een fout zou maken. Bijvoorbeeld, bij GPT-5 mini steeg de AER van <6% naar >65% met de volledige I-CALM methode.

• Trade-off tussen Dekking en Betrouwbaarheid:

  • Er is een duidelijke afweging: door meer onzeker antwoorden te onthouden, daalt de Coverage (het percentage vragen dat beantwoord wordt), maar stijgt de betrouwbaarheid van de resterende antwoorden.
  • De Forced-Answer prestatie (als je alle onthoudingen zou forceren tot een antwoord) bleef grotendeels onveranderd, wat aantoont dat het model niet "slimmer" is geworden, maar wel beter in het kiezen wanneer het moet antwoorden.

• Robuustheid:

  • De methode werkt consistent over verschillende modelarchitecturen en datasets.
  • Het effect is het sterkst bij modellen met een hoge initiële hallucinatiekans (zoals Llama en Qwen op moeilijke datasets).
  • De toevoeging van normen (nederigheid/waarheid) versterkt het effect vaak verder dan alleen beloningsschema's.

5. Betekenis en Conclusie

I-CALM biedt een lichtgewicht, black-box oplossing voor hallucinaties die geen hertraining vereist.

• Praktische toepasbaarheid: Het kan direct worden toegepast via API-aanroepen door de prompt aan te passen.
• Sturing van het gedrag: Het bewijst dat de beslissingen van LLM's sterk beïnvloed kunnen worden door de context van de prompt (beloningen en normen), zelfs zonder de onderliggende kennis van het model te veranderen.
• Toekomstige richting: Het framework fungeert als een routeringsmechanisme. In een productieve omgeving zou een "onthouding" van het model kunnen leiden tot het ophalen van informatie (RAG), het gebruik van tools, of het escaleren naar een menselijke operator, in plaats van een geforceerd, mogelijk fout antwoord te geven.

Samenvattend toont I-CALM aan dat het stimuleren van "intellektuele nederigheid" via slimme prompts een effectieve manier is om de betrouwbaarheid van LLM's op feitelijke vragen te verhogen.