No One Size Fits All: QueryBandits for Hallucination Mitigation

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds krachtiger in redeneren, maar dit gaat gepaard met een toename in "hallucinaties" (het genereren van onnauwkeurige feiten). De meeste bestaande oplossingen richten zich op:

1. Open-source modellen: Methoden die interne representaties bewerken, token-kansen analyseren of gradients gebruiken (bijv. DoLa, TruthX).
2. Post-hoc detectie: Het vinden van fouten nadat ze zijn gegenereerd.

Dit creëert een kritieke lacune: de meeste institutionele implementaties maken gebruik van gesloten bronmodellen (zoals GPT-4o), waarbij de interne gewichten en representaties ontoegankelijk zijn. Bestaande methoden zijn hier niet toepasbaar. Bovendien suggereren eerdere studies dat kleine veranderingen in de input (oppervlakte-vorm perturbaties) grote verschillen in output kunnen veroorzaken, wat wijst op de noodzaak van een adaptieve, online strategie in plaats van statische regels.

Methodologie: QueryBandits

De auteurs introduceren QueryBandits, een model-agnostisch raamwerk gebaseerd op contextuele bandits (contextual bandits). Het doel is om voor elke individuele query de optimale herschrijfstrategie te selecteren om hallucinaties proactief te voorkomen.

1. Actieruimte (Rewrite Strategies):
Het systeem kiest uit vijf verschillende herschrijfstrategieën (de "arms"):

• PARAPHRASE: Lexicale diversiteit introduceren zonder de betekenis te veranderen.
• SIMPLIFY: Complexe zinsconstructies en geneste clausules verwijderen.
• DISAMBIGUATE: Vage verwijzingen (bijv. voornaamwoorden) expliciet maken.
• EXPAND: Saliente entiteiten en attributen toevoegen om de context te verrijken.
• CLARIFY TERMS: Jargon definiëren om domeinspecifieke ambiguïteit te verminderen.

2. Contextuele Features:
Voor elke query wordt een 17-dimensionale vector van linguïstische features gegenereerd (bijv. aanwezigheid van anaforen, subordinaatclausules, zeldzame woorden, superlatieven, pragmatische nuances). Deze features fungeren als de "context" ($x_t$) voor de bandit-algoritme.

3. Beloningssysteem (Reward Modeling):
Om te bepalen of een herschrijving succesvol was, wordt een samengestelde beloningsfunctie ($r_t$) gebruikt, die een convexie combinatie is van drie signalen:
$$r_t = \alpha s_{llm} + \beta s_{fuzz} + \gamma s_{bleu}$$

• $s_{llm}$: Een binaire correctheidsscore van een LLM-as-a-judge (GPT-4o).
• $s_{fuzz}$: Een fuzzy string-similariteitsscore (RapidFuzz).
• $s_{bleu}$: De BLEU-1 score voor lexicaal overlap.

De auteurs hebben de gewichten geoptimaliseerd via een Pareto-frontier analyse op een menselijk gelabelde dataset: $(\alpha, \beta, \gamma) = (0.6, 0.3, 0.1)$. Deze combinatie bereikte een ROC-AUC van 0.973, wat aantoont dat het een stabiele proxy is voor correctheid.

4. Algoritmes:
Er werden meerdere bandit-algoritmes getest, waaronder:

• Contextuele methoden: Thompson Sampling (TS), LinUCB, LinUCB+KL, FTRL.
• Niet-contextuele methoden: EXP3, FTPL (zonder gebruik van de 17 features).
• Baselines: Statische prompts (altijd dezelfde herschrijving) en "No-Rewrite".

Belangrijkste Bijdragen

1. Validatie van Beloning: Een empirisch gevalideerde en gekalibreerde beloningsfunctie die hallucinaties effectief onderscheidt van correcte antwoorden, specifiek ontworpen voor gebruik met gesloten modellen.
2. Contextuele Adaptatie: Het bewijs dat er geen enkele herschrijfstrategie is die voor alle queries optimaal werkt. De prestaties van een strategie hangen sterk af van de semantische features van de query.
3. Plug-and-Play voor Gesloten Modellen: Een methode die volledig op de inputlaag werkt, geen retraining vereist en dus toepasbaar is op gesloten API-modellen (zoals GPT-4o), in tegenstelling tot methoden die interne decoding moeten manipuleren.
4. Interpreteerbare Beslissingsgewichten: Het analyseren van welke features welke herschrijfstrategie bevorderen (bijv. "Specialization" bevordert "EXPAND", terwijl "Pragmatics" "SIMPLIFY" bevordert).

Resultaten

De methode werd geëvalueerd op 13 QA-benchmarks (16 scenario's, waaronder ARC-Challenge, TruthfulQA, MMLU) met GPT-4o in black-box condities.

• Superieure Prestaties: De beste contextuele bandit (Thompson Sampling) behaalde een win-rate van 87,5% ten opzichte van de "No-Rewrite" baseline.
• Vergelijking met Statiek: Contextuele bandits presteerden 42,6% beter dan statische "Paraphrase" strategieën en 60,3% beter dan statische "Expand" strategieën.
• Context vs. Non-Context: Contextuele methoden (die de 17 features gebruiken) overtroffen niet-contextuele bandits aanzienlijk. Zonder context daalde de win-rate van Thompson Sampling van 87,5% naar 81,7%.
• Cumulatieve Regret: Contextuele bandits convergeerden sneller naar de optimale herschrijving en hadden een lagere cumulatieve regret dan statische prompts of niet-contextuele methoden.
• Ablatie: Het verwijderen van de contextuele features leidde tot een significante daling in prestaties, wat bevestigt dat linguïstische features cruciale signalen bevatten voor het kiezen van de juiste strategie.
• Gesloten Modellen: Op TruthfulQA (MC1) verhoogde QueryBandits de score van GPT-4o van 81,4% naar 88,8%. Dit is een aanzienlijke verbetering, terwijl bestaande methoden voor open-source modellen (zoals TruthX) op zwakke modellen (Llama-2-7B) veel lagere scores halen en niet direct toepasbaar zijn op sterke gesloten modellen.

Betekenis en Conclusie

Het paper concludeert dat "no one size fits all" (één maat past niet iedereen) de kern is van effectieve hallucinatiemitigatie. Een statische herschrijfstrategie kan zelfs hallucinaties verergeren als deze niet past bij de specifieke linguïstische kenmerken van de vraag.

QueryBandits biedt een lichtgewicht, online leermechanisme dat:

• Geen toegang tot modelgewichten vereist (ideaal voor enterprise/gesloten modellen).
• Zich aanpast aan de unieke "vingerafdruk" van elke vraag.
• De hallucinatiekans vermindert door de input te optimaliseren in plaats van de output te corrigeren.

Dit werk markeert een verschuiving van statische prompt-engineering naar adaptieve, datagedreven query-optimatie, wat essentieel is voor de betrouwbare inzet van LLMs in kritieke toepassingen.