Technische Samenvatting: Verduidelijken, Afzien of Antwoorden? Strategieën in Gesprekken met Geloof-Augmentatie

Probleemstelling

Grote Taalmodellen (LLMs) definiëren een probabilistische verdeling over tekst, die dient als representatie van onzekerheid of "geloof". Hoewel bestaand onderzoek deze verdeling benut voor smalle taken zoals decodering (bijv. Minimum Bayes Risk) of selectieve voorspelling (bijv. het detecteren van hallucinaties via semantische entropie), vereisen deze benaderingen doorgaans handmatige ingrepen, externe decoders of fine-tuning. Cruciaal is dat standaard LLMs geen mechanisme hebben om te "introverspecteren" of hun eigen probabilistische onzekerheid direct te benutten tijdens de generatie. Empirisch bewijs suggereert dat LLMs zonder expliciete begeleiding zelden ambiguïteit in invoer verduidelijken of zich onthouden van antwoorden bij onzekerheid; in plaats daarvan kiezen ze standaard voor directe antwoorden, waarbij ze vaak invoer-ambiguïteit of interne feitelijke inconsistenties negeren. Dit leidt tot hallucinaties of onjuiste antwoorden in multi-turn ambiguïteit-vraag-antwoord (QA) scenario's.

Methodologie: Geloof-Augmentatie (BAG)

De auteurs stellen Geloof-Augmentatie (BAG) voor, een trainingsvrij raamwerk dat LLMs verankert in hun eigen geloofstoestand om rijkere conversatiestrategieën mogelijk te maken: direct antwoorden, om verduidelijking vragen, of zich onthouden.

Kernmechanisme

BAG werkt als een tweestapsproces:

1. Constructie van de Geloofstoestand: Gegeven een invoer $x$, genereert het model $K$ steekproeven ($Y^{(1)}, \dots, Y^{(K)}$) via Monte-Carlo-sampling. In tegenstelling tot methoden die deze steekproeven reduceren tot één enkele maatstaf (bijv. entropie of meerderheidsstemming), behoudt BAG de volledige set van $K$ tekstuele antwoorden als de geloofstoestand $B_\theta(x)$. Deze toestand vangt niet alleen de diversiteit van plausibele antwoorden, maar ook linguïstische aanwijzingen zoals hedging, weigeringen of contextuele variaties.
2. Strategie-Redenering: Het model wordt geprompted met de oorspronkelijke gebruikersvraag en de $K$ kandidaat-antwoorden (de geloofstoestand). Het krijgt de instructie om deze toestand te analyseren en één van drie strategieën te selecteren:
   • Direct Antwoord: Als de geloofstoestand hoge consistentie (lage onzekerheid) toont wat betreft het antwoord.
   • Verduidelijking: Als de geloofstoestand semantisch verschillende maar plausibele antwoorden bevat die overeenkomen met verschillende interpretaties van de vraag (data-onzekerheid/ambiguïteit).
   • Onthouding: Als de geloofstoestand tegenstrijdige feiten bevat die een gebrek aan kennis aangeven (epistemische onzekerheid/hallucinatie) waar geen nuttige verduidelijking mogelijk is.

Promptvarianten

De auteurs onderzoeken drie promptvarianten (BAG1, BAG2, BAG3) met toenemende complexiteit in instructies:

• BAG1: Basisconsistentiecontrole.
• BAG2: Integreert taal specifiek voor onzekerheid en onderscheidt tussen ambiguïteit (verduidelijken) en hallucinatie (onthouden).
• BAG3: Vereist dat het model generaties clusteren op basis van betekenis, deze clusters interpreteert en vervolgens een strategie kiest.
• BAG+: Een extensie waarbij, als het model kiest voor verduidelijking, het een gebruikersreactie simuleert (met behulp van een hulplLM) en de geloofstoestand opnieuw evalueert om te beslissen over een definitief antwoord of verdere onthouding.

Belangrijkste Bijdragen

1. Directe Toegang tot Geloofstoestanden: Het artikel introduceert een methode om de ruwe tekstuele representatie van de onzekerheid van een model direct in de prompt te voeden, waardoor het model kan redeneren over zijn eigen verdeling zonder externe tools of training.
2. Strategie-Selectie: In tegenstelling tot eerdere werken die zich richtten op het selecteren van één generatie of het hedgen van een claim, stelt BAG het model in staat om dynamisch te kiezen tussen antwoorden, verduidelijken of onthouden, gebaseerd op de aard van zijn onzekerheid.
3. Trainingsvrije Toepasbaarheid: De aanpak vereist geen fine-tuning, externe data of toegang tot modelgewichten, waardoor deze toepasbaar is op zowel open als gesloten modellen.
4. Empirische Analyse van Routing: De studie biedt een gedetailleerde decompositie van hoe modellen vragen routeren naar verschillende strategieën en evalueert de trouw van deze beslissingen aan de onderliggende entropie van de geloofstoestand.

Resultaten

Experimenten werden uitgevoerd op het AmbigQA-dataset (1.832 ambiguïteit-vragen) over zes modellen (OLMo2/3, Qwen3, Gemini-2.5-Flash).

• Prestatiewinst: BAG verbetert de QA-nauwkeurigheid significant ten opzichte van standaard directe generatie en alleen-prompt-baselines (Strategy-Augmented Generation, SAG). In veel gevallen presteert BAG+ zelfs beter dan de "disambiguatie-orakel" (die de juiste intentie biedt), wat aantoont dat het model succesvol kan identificeren wanneer het feitelijke kennis mist en zich onthoudt in plaats van te gokken.
• Trouw: De strategische beslissingen van BAG zijn trouwer aan de interne entropie van de geloofstoestand van het model dan die van SAG. Naarmate de entropie van de geloofstoestand toeneemt, kiezen BAG-modellen steeds vaker voor verduidelijking of onthouding, terwijl SAG en directe generatie dit zelden doen.
• Strategie-Decompositie: De nauwkeurigheidswinsten worden gedreven door verschillende mechanismen, afhankelijk van het model. Voor Qwen-modellen wordt de verbetering bijvoorbeeld voornamelijk gedreven door de onthouding-strategie (het vermijden van hallucinaties), terwijl bij Gemini de bijdragen van verduidelijking en direct antwoorden meer in balans zijn.
• Uitdagingen in Ontvlechting: Hoewel BAG de prestaties verbetert, blijft het onderscheid tussen interpretatievariatie (waarbij verduidelijking vereist is) en hallucinatievariatie (waarbij onthouding vereist is) een uitdaging. Modellen genereren soms "waargenomen ambiguïteit" om feitelijke inconsistenties te verklaren, wat leidt tot verduidelijkingsvragen die gebruikers kunnen verwarren.
• Afwegingen rond Beknoptheid: Het gebruik van prompts die beknoptheid stimuleren verlaagt de tokenkosten aanzienlijk (tot 10x), maar kan de contextuele aanwijzingen verwijderen die nodig zijn voor het model om ambiguïteit te detecteren, wat de nauwkeurigheid licht beïnvloedt.

Betekenis en Claims

Het artikel stelt dat BAG een stap voorwaarts is naar robuustere en eerlijkere LLM-interacties door modellen in staat te stellen hun eigen probabilistische onzekerheid te benutten om het gesprek te sturen. De auteurs benadrukken dat:

• Standaard LLMs standaard antwoorden, zelfs bij onzekerheid; BAG corrigeert dit door onzekerheid expliciet en handelbaar te maken.
• Het vermogen om zich op basis van interne geloofstoestanden te onthouden cruciaal is voor feitelijke QA, aangezien veel fouten voortkomen uit een gebrek aan kennis in plaats van invoer-ambiguïteit.
• Hoewel de methode effectief is, het onderscheid tussen ambiguïteit en hallucinatie in de geloofstoestand nog niet perfect is, en toekomstig werk zich moet richten op het verbeteren van de kwaliteit van geloofstoestanden en het verfijnen van de routelogica.
• De aanpak een praktische, directe oplossing is voor het verbeteren van de betrouwbaarheid van QA zonder de kosten van hertraining, hoewel het een rekenkundige kost met zich meebrengt van $K$ steekproeven plus de redeneringsprompt.

De auteurs concluderen dat hoewel BAG de nauwkeurigheid en trouw verbetert, de "ontvlechting" van wanneer te verduidelijken versus wanneer te onthouden een open uitdaging blijft, vooral gezien het feit dat geloofstoestanden de plausibele outputs van het model weerspiegelen en niet de gegarandeerde grondwaarheid.