Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong

Technische Samenvatting: Meerkeuzevragen: Redeneren maakt Large Language Models (LLM's) zelfverzekerder, vooral wanneer ze het fout hebben

Probleemstelling
De evaluatie van Large Language Models (LLM's) vertrouwt vaak op benchmarks met meerkeuzevragen (MCQ). Hoewel nauwkeurigheid de standaardmetriek is, slaagt deze er niet in het vertrouwen van het model in zijn antwoorden vast te leggen. Vertrouwen wordt vaak geschat aan de hand van de waarschijnlijkheid (logprobs) die aan het geselecteerde token wordt toegewezen. Er bestaat een kritieke kennislacune over hoe de antwoordstrategie – specifiek het gebruik van Chain-of-Thought (CoT) prompting versus direct antwoorden – deze vertrouwensschattingen beïnvloedt. Het is onduidelijk of redeneerstappen de kalibratie van vertrouwen werkelijk verbeteren of dat ze systematische vertekeningen introduceren, met name wat betreft de betrouwbaarheid van vertrouwensscores voor onjuiste antwoorden.

Methodologie
De auteurs voerden een uitgebreide evaluatie uit bij zeven LLM's (waaronder Meta's LLaMA3.1-8B en LLaMA3.2-11B, Mistral-7B, Google's Gemma-2-9B, 01.AI's Yi-1.5-9B, en OpenAI's GPT-4o-mini en GPT-4o) met gebruik van de Massive Multitask Language Understanding (MMLU) benchmark. MMLU behandelt 57 verschillende vakgebieden en meer dan 15.000 vragen.

De studie vergeleek twee prompting-condities voor elk model:

1. Direct Prompting: Het model krijgt de instructie om alleen de oplossingsletter in een gestructureerd formaat uit te voeren, zonder tussentekst.
2. Chain-of-Thought (CoT) Prompting: Het model krijgt de instructie om "stap voor stap na te denken" (minstens drie redeneerstappen leveren) voordat het de oplossingsletter in hetzelfde gestructureerde formaat uitvoert.

De onderzoekers analyseerden de log-waarschijnlijkheden van de geselecteerde opties om vertrouwen te schatten. Ze hanteerden statistische toetsing (gepaarde t-toetsen) om significantie te bepalen en gebruikten standaard kalibratiemetrieken, namelijk de Expected Calibration Error (ECE) en Brier-scores, om de relatie tussen vertrouwen en correctheid te kwantificeren. De analyse werd verder gestratificeerd op correctheid (juiste versus onjuiste antwoorden) en op vakcategorie.

Belangrijkste Resultaten
De evaluatie leverde vijf hoofdbevindingen op:

1. Toegenomen Vertrouwen door Redeneren: Alle geteste modellen vertoonden systematisch hoger vertrouwen (hogere toegewezen waarschijnlijkheden) bij gebruik van CoT prompting in vergelijking met direct antwoorden. Deze toename was statistisch significant ($p < 1 \times 10^{-10}$).
2. Disproportioneel Vertrouwen bij Fouten: Hoewel modellen over het algemeen zelfverzekerder waren wanneer ze het goed hadden, was de grootte van de vertrouwensstijging systematisch groter wanneer het geselecteerde antwoord onjuist was. CoT prompting versterkte voorspellingen met hoog vertrouwen specifiek voor verkeerde antwoorden.
3. Verslechterde Kalibratie: Het gebruik van CoT prompting verslechterde standaard kalibratiemetrieken. Bij vijf van de zeven modellen nam de Expected Calibration Error (ECE) toe onder CoT. Evenzo namen de Brier-scores toe voor meerdere modellen, wat aangeeft dat de hogere waarschijnlijkheden die aan geselecteerde opties werden toegewezen, niet vertaald werden naar beter gekalibreerde voorspellingen.
4. Consistentie over Onderwerpen: De vertrouwensinflatie deed zich voor bij praktisch alle 57 MMLU-categorieën. Het effect was echter duidelijker in vakken die redeneren vereisen (bijvoorbeeld wetenschappen) in vergelijking met op feiten gebaseerde vakken, hoewel zelfs in op feiten gebaseerde vakken waar de nauwkeurigheid niet verbeterde (of afnam), het vertrouwen in onjuiste antwoorden significant toenam.
5. Mechanisme van Oververtrouwen: De studie observeerde dat het oververtrouweneffect wordt gedreven door het redeneerproces zelf, en niet louter door het feit dat CoT andere opties selecteert. Een ablatiestudie die de analyse beperkte tot vragen waarbij beide prompts dezelfde optie selecteerden, toonde aan dat de ECE bij alle modellen onder CoT nog steeds toenam.

Betekenis en Implicaties
Het artikel concludeert dat redeneerprocessen token-waarschijnlijkheden veranderen, waarschijnlijk omdat de voorspelling van het uiteindelijke antwoord gezamenlijk afhankelijk is van de vraag en het door het model gegenereerde redeneren. Dit leidt tot opgeblazen vertrouwensschattingen die niet noodzakelijkerwijs correleren met correctheid.

De auteurs benadrukken een kritieke implicatie voor LLM-evaluatie: in MCQ-situaties met gebruik van CoT prompting moeten op logprobs gebaseerde vertrouwensschattingen met uiterste voorzichtigheid worden gebruikt als basis voor evaluatie of metacognitieve mechanismen. Het fenomeen spiegelt menselijk gedrag waarbij "uitleggen betekent geloven", maar bij LLM's kan dit mechanisme leiden tot een toestand waarin het model zeer zelfverzekerd is over foutieve conclusies. De studie suggereert dat CoT, hoewel het de nauwkeurigheid verbetert bij veel complexe taken, tegelijkertijd de betrouwbaarheid van vertrouwensmetrieken verslechtert, waardoor foutieve output mogelijk overtuigender wordt en minder wordt gecontroleerd.

De auteurs wijzen op beperkingen, waaronder de focus op relatief kleine open-weights modellen (met uitzondering van de modellen van OpenAI) en de afhankelijkheid van een enkele benchmark. Ze roepen op tot toekomstig onderzoek om robuuste methoden voor vertrouwensschatting te verkennen die rekening houden met antwoordlengte en CoT-diepte, en om systematische mens-LLM vergelijkende studies uit te voeren om deze metacognitieve gedragingen beter te begrijpen.