Technische Samenvatting: Large Language Models zijn overmoedig in hun eigen reacties

Probleemstelling

Hoewel base (pre-trained) Large Language Models (LLM's) over het algemeen goed gekalibreerde waarschijnlijkheden vertonen voor next-token voorspelling, lijden instructie-getunede (post-trained) LLM's aan significante miskalibratie. Ze hebben de neiging tot overmoed en kennen hoge betrouwbaarheidsscores toe aan onjuiste antwoorden. Voorafgaand onderzoek heeft vastgesteld dat post-training processen (Supervised Fine-Tuning en Reinforcement Learning from Human Feedback) de kalibratie verslechteren, maar de specifieke bijdrage van de chat template—het conversationele formaat dat wordt gebruikt om met deze modellen te interageren—blijft onderbelicht. Bovendien is het onduidelijk of de miskalibratie voortkomt uit het trainingsalgoritme zelf of uit de conversationele prompting-stijl, en of specifieke methoden voor het oproepen van vertrouwen dit probleem kunnen mitigeren zonder hertraining.

Methodologie

De auteurs voerden een uitgebreid onderzoek uit over zes recente open-weight LLM-families (Llama 3.1, Qwen3 en Gemma 3), waarbij zowel base als instructie-getunede versies van verschillende schalen (4B tot 70B) werden gebruikt. De evaluatie werd uitgevoerd op de MMLU-benchmark, een dataset van 57 meerkeuze-disciplines.

Het onderzoek verliep in vier afzonderlijke fasen:

1. Ontkoppeling van Training en Formaat: De auteurs isoleerden de effecten van instructie-tuning en de chat template door drie modelvarianten te vergelijken:

   • Base modellen (pre-trained, geen instructie-tuning).
   • Instructie-getunede modellen aangeroepen zonder de chat template.
   • Instructie-getunede modellen aangeroepen met de standaard chat template.
     Kalibratie werd gemeten met behulp van Expected Calibration Error (ECE) en de Brier Score, direct afgeleid van model logits.

2. Expliciet Vertrouwen Oproepen: Om te bepalen of de miskalibratie voortduurt wanneer modellen expliciet om hun zekerheid worden gevraagd, testten de auteurs drie methoden voor het oproepen van vertrouwen:

   • P(True): Het model vragen de waarschijnlijkheid te voorspellen van een "True" token voor een gegeven antwoord.
   • Verbalized Percentage: Vragen om een betrouwbaarheidsscore van 0–100%.
   • Verbalized Linguistic: Het model vragen een kwalitatief betrouwbaarheidsniveau te selecteren uit een Likert-schaal (bijv. "zeer laag" tot "zeer hoog").

3. Testen van de "Ownership Bias" Hypothese: De auteurs hypothetiseerden dat LLM's een "ownership bias" vertonen, waarbij ze aanzienlijk meer vertrouwen hebben in antwoorden die ze zelf genereren vergeleken met identieke antwoorden die door een gebruiker worden geleverd. Om dit te testen, promptten zij de modellen met dezelfde vraag- en antwoordcombinatie, waarbij alleen de bron van het antwoord varieerde:

   • Assistant Condition: Het antwoord werd gepresenteerd als onderdeel van de eigen reactie van het model.
   • User Condition: Het antwoord werd gepresenteerd als onderdeel van de input van de gebruiker.
     Het model werd vervolgens gevraagd de juistheid van het verstrekte antwoord te evalueren.

4. Voorgestelde Mitigatiestrategie: Gebaseerd op de bevindingen stelden de auteurs een strategie voor tijdens de inferentie: het frame het eigen antwoord van het model als gebruikersinput tijdens het oproepen van vertrouwen om de ownership bias te omzeilen.

Belangrijkste Resultaten

1. Drijvers van Miskalibratie

• Instructie-tuning: Instructie-tuning schaadt de kalibratie fundamenteel. Gemiddeld verhoogde het de ECE met 13,1% en de Brier score met 6,5% vergeleken met base modellen, ondanks een verbetering van de nauwkeurigheid met 3,7%.
• Chat Template: De chat template verergert het probleem verder. Hoewel het een bescheiden winst in nauwkeurigheid opleverde (+1,1%), verhoogde het de ECE met nog eens 2,74% en de Brier score met 1,5%.
• Conclusie: Hoewel instructie-tuning de primaire bron van miskalibratie is, verergert het conversationele chatformaat het probleem aanzienlijk.

2. Vertrouwen Elicitatie Methoden

Het expliciet vragen naar vertrouwen lost de onderliggende miskalibratie niet op. Instructie-getunede modellen bleven aanzienlijk minder goed gekalibreerd dan base modellen over alle drie de methoden voor het oproepen van vertrouwen (P(True), Verbalized Percentage en Verbalized Linguistic), wat bevestigt dat het post-training proces de kernoorzaak is.

3. Bewijs van Ownership Bias

De experimenten bevestigden een sterke "ownership bias":

• Overmoed: Modellen kennen aanzienlijk hogere betrouwbaarheidsscores toe aan antwoorden die zijzelf hebben gegenereerd (Assistant condition) vergeleken met identieke antwoorden die door de gebruiker zijn geleverd (User condition).
• Grootte: Het verschil in vertrouwen was substantieel. Voor de Verbalized Linguistic methode vertoonden modellen een gemiddelde toename in vertrouwen van 26,8% wanneer het antwoord van henzelf was. Zelfs voor de P(True) methode was de gemiddelde toename 15,8%.
• Impact op Kalibratie: Deze bias leidde tot slechtere kalibratiemetrieken. De gemiddelde toename in ECE voor door de assistent gegenereerde antwoorden was 9,8% (P(True)) en tot wel 26,1% (Linguistic) vergeleken met door de gebruiker geleverde antwoorden.
• Statistische Significantie: Deze verschillen waren statistisch significant (p < 0,01) voor de overgrote meerderheid van de modellen en methoden.

4. Effectiviteit van de Voorgestelde Strategie

Door het antwoord van het model te herformuleren als gebruikersinput tijdens het oproepen van vertrouwen, toonden de auteurs aan dat:

• Reductie van Overmoed: De strategie de inherente overmoed van het model aanzienlijk vermindert.
• Verbetering van Kalibratie: Deze aanpak verbetert de kalibratie met tot wel 26% zonder enige hertraining.
• Verkleining van de Kloof: Het verkleint effectief de kalibratiekloof tussen base en instructie-getunede modellen, waarbij het soms instructie-getunede modellen in staat stelt om een kalibratie te bereiken die vergelijkbaar is met of zelfs de base modellen overtreft in specifieke configuraties.

Betekenis en Claims

Het artikel claimt een fundamenteel mechanisme achter de miskalibratie van instructie-getunede LLM's te hebben geïdentificeerd: een ownership bias waarbij modellen inherent overmoedig zijn in hun eigen outputs. Deze bevinding staat in contrast met "sycophancy" (waarbij modellen zich aanpassen aan de overtuigingen van de gebruiker), en suggereert in plaats daarvan een vorm van zelfconsistentie waarbij het model ervan uitgaat dat de eigen generatie correctheid impliceert.

De primaire bijdrage is een eenvoudige strategie tijdens de inferentie, die geen hertraining, complexe reward modeling of hulpmodellen vereist. Door simpelweg de promptstructuur aan te passen om het antwoord van het model als een gebruikersquery te presenteren, kunnen beoefenaars de betrouwbaarheid van vertrouwsinschattingen aanzienlijk verbeteren. Dit biedt een praktische, laagkostenoplossing voor het inzetten van veiligere en meer betrouwbare AI in kritieke toepassingen waar nauwkeurige onzekerheidskwantificering essentieel is.