Technische Samenvatting: Valideren van Geëliciteerde Overtuigingen van LLM's

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in hoog-risicodomeinen, zoals medische diagnose, waar besluitvorming het vormen van probabilistische overtuigingen over onbekende uitkomsten vereist. Hoewel onderzoekers LLM's kunnen prompten om verbaal gemaakte kansen te genereren (bijvoorbeeld "de kans op ziekte X is 80%"), blijft het onduidelijk of deze output coherent interne overtuigingen weerspiegelen die daadwerkelijk de beslissingen van het model sturen. Een model kan een kans verwoorden die losstaat van zijn besluitvormingsproces, mogelijk als gevolg van finetuning-artefacten of preferentie-optimalisatie die verbaal gemaakte kansen vervormt zonder de onderliggende besluitvormingslogica te wijzigen. Bestaand werk richt zich op kalibratie (nauwkeurigheid van gerapporteerde kansen), maar behandelt niet of de gerapporteerde overtuigingen de toereikende statistieken zijn die de acties van het model regeren. De kernuitdaging is om op een black-box manier te valideren of de geëliciteerde overtuigingen van een LLM een betekenisvolle verklaring zijn voor zijn beslissingen, zonder sterke aannames te doen over de nutfunctie van het model of toegang te vereisen tot interne representaties.

Methodologie

De auteurs stellen een beslissingstheoretisch kader voor om de consistentie tussen geëliciteerde overtuigingen en waargenomen beslissingen te testen. Dit kader werkt onder de aanname van een "bijna-rationele" besluitnemer, geformaliseerd als een verstoord nutmaximalisator. Deze klasse van agenten maximaliseert de verwachte nutswaarde onderworpen aan een strikt convex regularisatieterm (bijvoorbeeld entropie), wat stochastische keuzes en onwaargenomen nutcomponenten toestaat; dit is algemener dan strikte verwachte nutmaximalisatie.

Het kader rust op twee empirisch toetsbare voorwaarden die zijn afgeleid uit deze formalisering:

1. Conditionele Onafhankelijkheid (Toereikendheid van Overtuiging):

   • Hypothese: Als de acties van een agent uitsluitend worden gedreven door zijn subjectieve overtuiging $P_S(\theta|x)$, dan zou het conditioneren op deze overtuiging de actie $A$ onafhankelijk moeten maken van de ware uitkomst $\theta$. Formeel: $A \perp \theta \mid P_S(\theta|x)$.
   • Test: De auteurs testen de nulhypothese $I(A; \theta \mid p) = 0$ met behulp van een niet-parametrische k-NN (k-Nearest Neighbors) Conditional Mutual Information (CMI)-test. Daarnaast meten ze de voorspellende verbetering van de ware uitkomst wanneer de actie $A$ wordt toegevoegd aan een model dat al conditioneert op de geëliciteerde overtuiging $p$. Als de actie significante extra voorspellende kracht biedt, is de overtuiging geen toereikende statistiek.

2. Cyclische Monotonie (Actie-sturende Overtuigingen):

   • Hypothese: Voor een verstoord nutmaximalisator moet de mapping van geëliciteerde overtuigingen naar keuzekansen cyclisch monotoon zijn met betrekking tot de index van de verwachte nutswaarde. In binaire statetoestanden impliceert dit dat naarmate de geëliciteerde kans op een positieve staat toeneemt, de kans op het selecteren van acties die in die staat waardevoller zijn, monotoon moet toenemen.
   • Test: De auteurs binde de geëliciteerde kansen en schatten de keuzeverhoudingen binnen de bins. Ze formuleren een signed-margin lineair programma (SignedLP) om een vector van nutsdifferenties $d$ te vinden die strikte monotonie over de bins voldoet. Een positieve statistiek $\hat{\gamma}$ duidt op strikte monotonie; een negatieve waarde duidt op een schending.

Het kader wordt toegepast op vier medische diagnostische taken (structurele hartziekte, diabetes, kinderkoorts en huilende baby's) met behulp van datasets uit real-world dossiers en door experts geconstrueerde Bayesiaanse netwerken. De studie evalueert meerdere LLM-families (GPT-5-varianten, DeepSeek-R1, Llama-4) door overtuigingen en beslissingen in aparte contextvensters te eliciteren om contaminatie te voorkomen.

Belangrijkste Bijdragen

• Formeel Kader voor Black-Box Validatie: Het artikel introduceert de eerste formele, beslissingstheoretische voorwaarden om te testen of geëliciteerde LLM-overtuigingen coherent zijn met hun acties. Cruciaal zijn deze tests agnostisch ten opzichte van de nutfunctie van de agent, en vertrouwen alleen op de structuur van verstoord nutmaximalisatie.
• Noodzakelijke en Toereikende Voorwaarden: De auteurs bewijzen (Propositie 5) dat conditionele onafhankelijkheid en cyclische monotonie gezamenlijk noodzakelijk en toereikend zijn voor een waargenomen verdeling van overtuigingen en acties om te worden gerationaliseerd door een verstoord nutmaximalisator die de geëliciteerde overtuiging als zijn ware subjectieve kans hanteert.
• Empirisch Validatieprotocol: De studie operationaliseert deze theoretische voorwaarden in praktische statistische tests (CMI en SignedLP) die op elke black-box LLM kunnen worden toegepast.
• Onderscheid tussen Coherentietypes: Het werk maakt onderscheid tussen beslissingstheoretische coherentie (overtuigingen die acties sturen) en probabilistische coherentie (naleving van axioma's zoals de Wet van Iteratie van Verwachting), en laat zien dat dit verschillende eigenschappen zijn.

Resultaten

• Onvolmaakte Toereikendheid: Over alle modellen en datasets heen verwierp de Conditionele Onafhankelijkheid-test de nulhypothese. Geëliciteerde overtuigingen zijn geen toereikende statistieken; de acties van de modellen bevatten residu-informatie over de ware uitkomst die niet wordt vastgelegd in hun verbaal gemaakte kansen. Dit suggereert dat modellen "meer weten dan ze zeggen" of dat hun besluitrelevante informatie niet volledig wordt gecommuniceerd in de geëliciteerde overtuiging.
• Monotonie Geldt (Meestal): De Cyclische Monotonie-test toont aan dat voor de meeste model-datasetcombinaties de relatie tussen geëliciteerde overtuigingen en acties monotoon is. Specifiek toonden 9 van de 16 combinaties strikte monotonie (positief $\hat{\gamma}$), en slechts één (Koorts–Llama) toonde een schending. Dit geeft aan dat hoewel overtuigingen niet perfect toereikend zijn, ze over het algemeen beslissingen in de juiste richting bewegen.
• Model- en Domeinvariatie:
  • Sterkste Modellen: De sterkste modellen (bijvoorbeeld DeepSeek-R1, GPT-High) vertonen de kleinste discrepanties tussen overtuigingen en acties, wat suggereert dat ze observationeel dichter bij agenten met coherente overtuigingen liggen.
  • Domeinvreffecten: De Diabetes-dataset toonde de zwakste monotonie, waarbij geen enkel model een strikt positieve marge liet zien.
• Kalibratie Lost Toereikendheid Niet Op: Het toepassen van isotone kalibratie op de geëliciteerde overtuigingen verbeterde de marginale kalibratie, maar herstelde geen conditionele onafhankelijkheid, wat bevestigt dat het falen van toereikendheid structureel is en niet slechts een kalibratieprobleem.
• Interne Consistentie: Tests met de Wet van Iteratie van Verwachting (LIE) onthulden dat probabilistische coherentie (naleving van kansaxioma's) niet noodzakelijk overeenkomt met beslissingstheoretische coherentie. Modellen die goed presteerden op beslissing-consistentietests, presteerden niet noodzakelijk goed op probabilistische consistentietests.

Betekenis en Aanspraken

Het artikel stelt dat geëliciteerde kansen van LLM's onvolmaakte maar gedragsmatig informatieve samenvattingen zijn van besluitrelevante informatie. De auteurs betogen dat hoewel modellen niet handelen alsof ze perfect coherente overtuigingen hebben (zoals blijkt uit het falen van toereikendheid), de discrepanties relatief klein zijn voor state-of-the-art modellen.

De betekenis van dit werk ligt in het bieden van een geprincipieerde, black-box methode om te valideren of de verbaal gemaakte zekerheid van een LLM een betrouwbare verklaring is voor zijn beslissingen. Dit is cruciaal voor veiligheid en transparantie in hoog-risicosituaties zoals de geneeskunde. De auteurs benadrukken dat hun tests niet bewijzen dat een model "echt" een overtuiging heeft in een filosofische zin, maar eerder dat het model observationeel niet te onderscheiden is van een rationele agent die die overtuiging hanteert. Bijgevolg concludeert het artikel dat geëliciteerde overtuigingen empirisch moeten worden gevalideerd in plaats van ervan uit te gaan dat ze de overtuigingen van het model trouw vertegenwoordigen, en biedt het een diagnostisch hulpmiddel voor ontwikkelaars om faalmodi te begrijpen (bijvoorbeeld het onderscheiden van overmoedigheid en kosten-perceptieproblemen bij medische agenten).