Technische Samenvatting: De Computationele Basis van Vertrouwen in Large Language Models

Probleemstelling

Betrouwbaar vertrouwen—de waarschijnlijkheid dat het antwoord van een model correct is—is een vereiste voor de betrouwbare inzet van Large Language Models (LLM's). Hoewel de bestaande literatuur uitgebreid heeft geëvalueerd op basis van de voorspellende nauwkeurigheid (hoe goed ze correleren met juistheid) en kalibratie (hoe goed gerapporteerde waarschijnlijkheden overeenkomen met empirische frequenties), blijft een fundamentele vraag onbeantwoord: Wat representeert het vertrouwenssignaal zelf computationeel?

Huidige signalen, zoals de waarschijnlijkheid van antwoord-tokens of verbale rapportages, worden vaak behandeld als empirische voorspellers van juistheid. Het is echter onduidelijk of deze signalen slechts heuristische voorkeursscores zijn die bewijs op een niet-Bayesiaanse wijze combineren, of dat ze fungeren als een monotone readout van een latente beslissingsvariabele. In de computationele neurowetenschap is een latente beslissingsvariabele een ruisige interne representatie van bewijs die, onder een normatief procesmodel, voldoende is om de posterieure waarschijnlijkheid van juistheid te berekenen (statistische beslissingsvertrouwen, of Statistical Decision Confidence, SDC). Het onderscheiden tussen een heuristische score en een normatieve readout is cruciaal voor het begrijpen van de interne mechanica van modelvertrouwen.

Methodologie

De auteurs maken gebruik van het framework van Statistical Decision Confidence (SDC), een normatief model uit de computationele neurowetenschap, om te testen of antwoord-logits in multimodale LLM's zich gedragen als readouts van een latente beslissingsvariabele. De studie richt zich op het antwoord-logit verschil (LD = $\ell_A - \ell_B$) als de kandidaat-readout.

Om dit te testen, evalueren de auteurs vier kwalitatieve signatures die worden voorspeld door het SDC-framework over drie verschillende beslissingsregimes:

1. Psychometrische functie: De keuze-waarschijnlijkheid moet monotoon toenemen met de gesigneerde stimulussterkte.
2. Gesigneerde codering van bewijs: De gesigneerde LD moet monotoon variëren met de gesigneerde stimulussterkte.
3. Taakspecifiek vertrouwen (Fixed-Strength Prediction): Bij een vaste objectieve stimulussterkte moet de magnitude van LD ($|LD|$) de juistheid voorspellen. Dit test of variaties van trial naar trial in LD reflecteren als interne ruis in plaats van enkel veranderingen in objectieve moeilijkheid.
4. Folded-X Patroon: Naarmate de stimulussterkte toeneemt, zou $|LD|$ moeten toenemen op correcte trials, maar afnemen op foutieve trials. Deze geometrische signature ontstaat omdat fouten bij hoge sterkte alleen optreden wanneer ruis de latente beslissingsvariabele net over de beslissingsgrens duwt.

Experimentele Opzet:

• Modellen: Drie multimodale niet-redenerende modellen (Qwen2.5-VL 7B, Gemma 3 12B, Gemma 4 12B) en één multimodale redeneerend model (Gemini Flash 3).
• Taken:
  • Perceptuele Discriminatie: Drie synthetische visuele taken (contrast, objectgrootte, vormcategorisatie) waarbij de stimulussterkte experimenteel wordt gecontroleerd. Om trial-to-trial variatie in deterministische modellen te induceren, genereerden de auteurs meerdere stimulus-exemplaren per sterkte-niveau door taak-irrelevante ("nuisance") kenmerken (bijv. ruimtelijke jitter, dot-realisatie) te randomiseren.
  • Geheugen-gebaseerde Beslissing: Een taak over het vergelijken van stadsbevolkingen die het ophalen van wereldkennis vereist.
  • Complexe Visuele Redenering: CLEVR-taken (gelijkheid in aantal, existentie van objecten) met parametrische Gaussische vervaging.
• Gedragsvalidatie: Er werd een onthoudingstaak (abstention task) uitgevoerd waarbij modellen de instructie kregen om antwoorden achter te houden als hun interne vertrouwen (afgeleid van LD) suggereerde dat de waarschijnlijkheid van juistheid onder de 60% lag.

Belangrijkste Resultaten

1. Bewijscodering en Latente Variabele Signatures in Perceptuele Taken

Over de drie perceptuele taken voldoen de modellen aan alle vier de SDC-signatures:

• Psychometrische & Gesigneerde Codering: Keuze-waarschijnlijkheid en gesigneerde LD varieerden monotoon met de stimulussterkte, wat bevestigt dat modellen relevante taak-bewijslast coderen.
• Fixed-Strength Prediction: Zelfs wanneer de objectieve stimulus-moeilijkheid constant werd gehouden, voorspelde een grotere $|LD|$ significant hogere nauwkeurigheid (bijv. in de contrasttaak verbeterde het toevoegen van $|LD|$ aan een stimulus-sterkte model de AUROC van 0.864 naar 0.907). Dit demonstreert dat LD trial-specifiek beslissingsbewijs bevat dat verder gaat dan de objectieve moeilijkheid.
• Folded-X Patroon: De interactie tussen juistheid en stimulussterkte produceerde de karakteristieke gevouwen-X geometrie. Op correcte trials nam $|LD|$ toe met de stimulussterkte; op foutieve trials nam $|LD|$ af. Dit werd waargenomen in Qwen, Gemma 3 en Gemma 4, met één enkele kleine uitzondering (Gemma 3 op de contrasttaak vertoonde een vlakke in plaats van een geïnverteerde fout-tak, hoewel de voorspelling binnen de sterkte nog steeds sterk was).

2. Generalisatie naar Geheugen en Redeneren

• Geheugen-gebaseerde Beslissingen: In de stadsbevolkingstaak was de psychometrische functie ondiep vanwege de hoge ruis in de opgehaalde kennis. Echter, de signatures van de latente beslissingsvariabele bleven behouden: $|LD|$ voorspelde de juistheid binnen vaste populatie-bewijs bins, en het folded-X patroon was aanwezig (en zelfs scherper in Gemma 3). Dit geeft aan dat LD fungeert als een readout van latente beslissingsbewijs, zelfs wanneer de objectieve stimulus-as een ruisige proxy is voor het interne bewijs van het model.
• Complexe Visuele Redenering (CLEVR): In CLEVR-taken met Gaussische vervaging was de eerste twee signatures (die steunen op een gesigneerde bewijs-as) niet direct toepasbaar, aangezien vervaging informatie verwijdert in plaats van een specifieke richting bevoordeelt. Echter, de derde signature hield stand: $|LD|$ voorspelde de juistheid voorbij de vervagingssterkte en scène-controles. Het folded-X patroon werd niet waargenomen; de fout-takken waren vlak of positief in plaats van negatief. De auteurs schrijven dit toe aan het ontbreken van een bekend normatief procesmodel voor complexe redenering, wat de afleiding van de specifieke geometrische voorspelling verhindert.

3. Gedragsmatige Gevolgen

In de onthoudingstaak onthielden modellen zich selectief van antwoorden met een laag vertrouwen op basis van het LD-signaal.

• Modellen onthielden zich in 87,7% van de gevallen, waarbij ze zich enkel committeerden aan antwoorden met een hoog vertrouwen.
• De nauwkeurigheid op de gecommitteerde trials steeg van een baseline van 92,2% naar 99,95%.
• Het onthoudingsbeleid volgde het interne LD-signaal beter dan de objectieve stimulussterkte, en het resulterende gedrag benaderde nauwgezet een geïdealiseerde drempelwaarde op $|LD|$.

Betekenis en Claims

Het artikel biedt een computationele verklaring van vertrouwen in multimodale LLM's, waarmee het voorbij gaat aan de empirische observatie dat vertrouwenstests de juistheid voorspellen.

• Latente Beslissingsvariabele Readout: De primaire claim is dat in situaties waar een normatief procesmodel kan worden gespecificeerd (eenvoudige perceptuele en geheugen-gebaseerde taken), antwoord-logits niet louter fungeren als heuristische voorkeursscores, maar als monotone readouts van een latente beslissingsvariabele. Deze variabele is in principe voldoende om de posterieure waarschijnlijkheid te berekenen dat de huidige keuze correct is.
• Verenigend Framework: De studie vestigt SDC als een verenigend computationeel framework voor het bestuderen van vertrouwen in zowel biologische als kunstmatige intelligentie. Het bakent de condities af waaronder antwoord-logits functioneren als normatieve readouts versus heuristische scores.
• Beperkingen en Grenzen: De auteurs merken bescheiden op dat de afwezigheid van het folded-X patroon in complexe redeneringstaken (CLEVR) niet noodzakelijkerwijs wijst op een falen van SDC. In plaats daarvan benadrukt het de huidige grens van het framework: zonder een expliciet normatief procesmodel voor complexe redenering kunnen de specifieke geometrische signatures niet worden afgeleid of getest. De resultaten suggereren dat hoewel LD trial-specifieke informatie over juistheid draagt in complexe taken, de status ervan als een normatieve latente variabele onopgelost blijft totdat passende procesmodellen zijn ontwikkeld.

Samenvattend toont dit werk aan dat voor eenvoudige en geheugen-gebaseerde beslissingen, het vertrouwenssignaal in LLM's structureel isomorf is aan de latente beslissingsvariabelen die in biologische systemen worden gevonden, wat een rigoureuze basis biedt voor de interpretatie van modelvertrouwen.