💬 NLP

Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models

Dit onderzoek toont aan dat hoewel grote taalmodellen goed presteren bij expliciete probabilistische redenering via meerkeuzevragen, hun impliciete probabilistische redenering tijdens tekstgeneratie vaak afwijkt van de werkelijke kansen en gevoelig is voor factoren die door traditionele evaluatiemethoden niet worden opgepikt.

Oorspronkelijke auteurs: Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren

Gepubliceerd 2026-02-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom LLM's slimme antwoorden geven, maar soms domme verhalen schrijven

Stel je voor dat je een zeer slimme, maar soms wat verwarde robot hebt die alles over de wereld weet. Deze robot is een Groot Taalmodel (LLM). De onderzoekers van dit papier hebben ontdekt dat deze robot twee heel verschillende persoonlijkheden heeft, afhankelijk van hoe je hem vraagt om iets te doen.

Hier is het verhaal van hun ontdekking, verteld met een paar simpele analogieën.

1. De Twee Gezichten van de Robot

De onderzoekers hebben getest hoe goed deze robot met kansberekening omgaat (bijvoorbeeld: "Wat zijn de kansen dat ik win als ik dobbel?"). Ze hebben twee manieren gebruikt om dit te testen:

Manier A: De Meerkeuze-examen (Expliciet)
Dit is als een schooltest. Je vraagt de robot: "Ik gooi twee dobbelstenen. Wat is de kans dat de som 7 is? A) 1/6, B) 1/2, C) 1/3."
De robot denkt even na, kiest het juiste antwoord (A) en zegt: "Het antwoord is A."
Resultaat: De robot scoort hier vaak perfect. Hij lijkt een wiskundig genie.
Manier B: Het Verhaal Voltooien (Implicit)
Nu doen we iets anders. We geven de robot dezelfde informatie, maar we vragen hem niet om een antwoord te kiezen. We zeggen: "Ik gooi twee dobbelstenen. De som is..." en laten de robot de rest van de zin zelf invullen.
De robot moet nu schrijven wat er gebeurt. Hij kiest niet uit een lijstje, maar bedenkt het woord zelf.
Resultaat: Hier faalt de robot vaak. Hij schrijft soms dat de som 6 is, terwijl 7 veel waarschijnlijker is. Hij schrijft een verhaal dat niet klopt met de wiskunde die hij net in zijn hoofd had.

2. De Analogie: De Slimme Chef-kok

Om dit beter te begrijpen, stel je een Chef-kok voor die een recept kent uit zijn hoofd.

De Meerkeuze-vraag: Je vraagt de chef: "Wat is het belangrijkste ingrediënt in deze soep? A) Uien, B) Suiker, C) Zout."
De chef kijkt in zijn geheugen en zegt trots: "A) Uien!" Hij heeft het goed. Hij weet het antwoord.
Het Verhaal Voltooien: Nu laat je de chef de soep koken. Je zegt: "De soep is klaar, en het belangrijkste ingrediënt is..."
Terwijl hij de soep schraapt en proeft (het verhaal schrijft), giet hij per ongeluk een hele emmer suiker in de soep. Hij zegt: "Het belangrijkste ingrediënt is suiker."

Het probleem: De chef weet dat uien het belangrijkste zijn (hij gaf het juiste antwoord op de test), maar wanneer hij echt moet koken (tekst genereren), vergeten zijn handen de logica en doen ze iets anders.

3. De Drie Grootste Valkuilen

De onderzoekers hebben drie specifieke situaties gevonden waar de robot in de valkuil terechtkomt:

De "Vergeetachtige" Robot (Onafhankelijke gebeurtenissen)
Stel, je gooit een eerlijke munt. De kans op 'Kop' is 50%.
Vervolgens gooi je de munt nog een keer. De vorige worp heeft geen invloed op de nieuwe worp (ze zijn onafhankelijk).
Wat de robot doet: Als je de vorige worp noemt ("De vorige keer was het Kop"), begint de robot te denken dat de volgende keer ook Kop moet zijn, of juist Tails, puur omdat hij de vorige worp heeft gezien. Hij kan niet loslaten wat er al gebeurd is. Het is alsof je denkt dat een munt "vergeten" is dat hij eerlijk is, zodra je hem een keer hebt laten vallen.
De "Eerste-Kans" Voorkeur (Labels)
Als je de robot vraagt om te kiezen tussen twee even waarschijnlijke opties, bijvoorbeeld "A" en "B", zou hij ze beide 50/50 moeten vinden.
Wat de robot doet: Hij kiest bijna altijd "A", gewoon omdat het als eerste in de zin staat. Het is alsof hij denkt: "Oh, A staat vooraan, dat moet wel het beste zijn!" Zelfs als je zegt dat ze even goed zijn.
De "Medische" Blunder (Statistieken)
In een test over ziektes gaf de robot het juiste antwoord op een vraag over statistieken (bijvoorbeeld: "Wat is de kans dat iemand ziek is?").
Maar toen hij een verhaal moest schrijven over een patiënt, koos hij voor de ziekte die het minst waarschijnlijk was, en bedacht hij er een logische, maar verkeerde, verklaring bij. Hij schreef een verhaal dat leek op waarheid, maar wiskundig onzin was.

4. Waarom is dit belangrijk?

Vroeger dachten we: "Als de robot de meerkeuzevragen goed beantwoordt, is hij slim en betrouwbaar."

Deze paper zegt: "Nee, dat is niet genoeg."

In het echte leven gebruiken we deze robots niet om meerkeuzevragen te beantwoorden. We gebruiken ze om verhalen te schrijven, e-mails te sturen, diagnoses te stellen en advies te geven.

Als een robot een medisch advies schrijft en kiest voor de zeldzame ziekte in plaats van de waarschijnlijke, kan dat gevaarlijk zijn.
Als een robot een verhaal schrijft en de logica van de kansen negeert, wordt het verhaal onlogisch en onbetrouwbaar.

Conclusie

De onderzoekers zeggen eigenlijk: "Kijk niet alleen naar wat de robot zegt dat hij weet, maar kijk naar wat hij doet terwijl hij schrijft."

Het is alsof je een piloot test. Als hij in een theorie-examen 100% haalt over hoe een vliegtuig vliegt, is dat geweldig. Maar als hij in de cockpit het vliegtuig laat crashen omdat hij de knoppen verkeerd bedient, is de theorie niet genoeg.

Deze robots zijn goed in het leren van feiten, maar ze zijn nog niet goed in het toepassen van die feiten terwijl ze een verhaal vertellen. Ze moeten nog leren om hun "schrijvende hand" en hun "denkende hoofd" op één lijn te krijgen.

Titel: Impliciete Probabilistische Redenering Weerspiegelt Geen Expliciete Antwoorden in Grootte Taalmodellen

Auteurs: Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren
Publicatie: Transactions on Machine Learning Research (02/2026)

1. Het Probleem

Grootte Taalmodellen (LLM's) worden steeds vaker ingezet voor taken die probabilistische redenering vereisen, zoals het omgaan met onzekerheid of gedeeltelijke informatie. De huidige standaard voor het evalueren van deze vaardigheid is het gebruik van Meerkeuzevragen (MCQ's). Hierbij wordt het model gevraagd een expliciet antwoord te kiezen uit een lijst van opties.

De auteurs identificeren echter fundamentele tekortkomingen in deze benadering:

Bias in evaluatie: MCQ-uitkomsten zijn gevoelig voor factoren zoals de volgorde van de antwoorden.
Discriminatie vs. Generatie: Het selecteren van een antwoord uit een lijst is een discriminatieve taak, terwijl LLM's in de praktijk voornamelijk worden gebruikt voor generatieve taken (tekst voortbrengen).
Illusie van competentie: Het is onduidelijk of LLM's werkelijk probabilistische concepten begrijpen en integreren in hun generatieproces, of dat ze alleen de juiste antwoorden "leren" voor specifieke vraagformaten.

Het centrale vraagstuk is: Integreren LLM's probabilistische informatie correct in hun interne kansverdeling tijdens het genereren van tekst, ook al kunnen ze de juiste antwoorden geven op expliciete vragen?

2. Methodologie

De auteurs introduceren een nieuwe evaluatieparadigma dat onderscheid maakt tussen expliciete en impliciete probabilistische redenering.

A. Expliciete Probabilistische Redenering

Opzet: Traditionele MCQ's. Het model ontvangt een context en een vraag (bijv. "Wat is de kans dat de som van twee dobbelstenen 7 is?").
Evaluatie: Het model moet het juiste antwoord kiezen. De prestatie wordt gemeten aan de hand van de nauwkeurigheid van dit keuze.

B. Impliciete Probabilistische Redenering

Opzet: Dezelfde scenario's worden herschreven als tekst-aanvulling (text-completion) taken. In plaats van een vraag te stellen, wordt de context gepresenteerd en eindigt de prompt net voor het mogelijke resultaat (bijv. "Twee eerlijke dobbelstenen worden gegooid. De som van hun ogen is gelijk aan ").
Evaluatie: De auteurs analyseren de next-token probability distribution (de kansverdeling over de volgende token) die het model genereert.
- Ze vergelijken de door het model toegewezen kansen op de mogelijke uitkomsten met de ware kansverdeling (ground truth).
- Ze meten of het model de meest waarschijnlijke uitkomst (Maximum Likelihood) correct favoriseert en of de totale verdeling klopt met de gegeven statistieken.
Technische details:
- Er wordt gebruikgemaakt van ruwe logits (zonder temperatuur-rescaling, $t=1$ ) om de inherente bias van het model te meten.
- Er worden diverse scenario's getest: dobbelstenen, munten, voorkeuren/keuzes, en medische statistieken (diagnose).
- Er wordt gekeken naar de impact van onafhankelijke vorige gebeurtenissen (bijv. een eerdere worp) en gedeeltelijke observaties.

3. Belangrijkste Bijdragen

Nieuw Evaluatiekader: De introductie van impliciete probabilistische redenering als een complementaire methode voor MCQ's, die direct kijkt naar de fundamentele berekeningsunit van LLM's (next-token probabilities).
Ontdekking van Discrepantie: Het aantonen dat er een significante kloof bestaat tussen wat een model zegt dat het weet (expliciet antwoord) en hoe het handelt bij het genereren van tekst (impliciet antwoord).
Identificatie van Bias: Het blootleggen van specifieke fouten in de impliciete redenering, zoals de onterechte beïnvloeding door irrelevante vorige gebeurtenissen en labels.

4. Experimentele Resultaten

De studie omvatte een breed scala aan open-weight modellen (o.a. Llama-3.3, Qwen, Mistral, DeepSeek) en diverse scenario's. De resultaten tonen drie kritieke bevindingen:

Resultaat 1: Discrepantie tussen Expliciet en Impliciet
- Modellen presteren uitstekend op MCQ's (expliciet) en kiezen vaak het juiste antwoord.
- Echter, bij tekst-aanvulling (impliciet) kiezen ze vaak onwaarschijnlijke uitkomsten als hun meest waarschijnlijke voorspelling.
- Voorbeeld (Medisch): In een scenario met statistieken over burnout, angst en depressie, gaf het model in de MCQ het juiste antwoord (11% kans op angst). Bij tekst-aanvulling gaf het echter 99% kans op "angst", terwijl de statistieken "burnout" als waarschijnlijker aanwezen (15%). Het model genereerde dus een medische diagnose die in strijd was met de gegeven data.
Resultaat 2: Onterechte Beïnvloeding door Vorige Gebeurtenissen
- Modellen kunnen onafhankelijke gebeurtenissen niet correct negeren.
- Voorbeeld (Dobbelstenen): Bij een eerlijke dobbelsteen zou de kans op elke kant 1/6 moeten zijn. Als de prompt echter vermeldt dat de vorige worp een '1' was, vertekent het model de kansverdeling voor de volgende worp. Het model neigt ernaar de '1' te herhalen of juist te vermijden, wat een fundamenteel misverstand van onafhankelijkheid aantoont.
Resultaat 3: Bias door Labels en Volgorde
- Zelfs bij equiprobabele uitkomsten (gelijke kansen), vertonen modellen een sterke voorkeur voor het eerst genoemde label of een specifiek label (bijv. "Links" vs. "Rechts" of "A" vs. "B").
- Dit gebeurt ondanks dat het model in een MCQ correct aangeeft dat alle kansen gelijk zijn.

5. Significatie en Conclusie

De studie concludeert dat de huidige evaluatiemethoden (MCQ's) een blind vlek vormen in het begrip van LLM-vaardigheden.

Kritiek op Benchmarks: Een hoog scoren op probabilistische vragen in benchmarks betekent niet dat het model probabilistische informatie correct kan integreren in zijn generatieve proces.
Praktische Implicaties: In real-world toepassingen (zoals medische diagnose, risicobeoordeling of logistiek) genereren LLM's tekst op basis van hun next-token probabilities. Als deze verdeling niet klopt met de werkelijke kansen (zoals aangetoond in de studie), kunnen modellen misleidende conclusies trekken en foutieve redeneringen genereren die er betrouwbaar uitzien.
Toekomst: Er is dringend behoefte aan nieuwe evaluatiemethoden die de impliciete redenering testen, zodat we kunnen garanderen dat LLM's niet alleen de juiste antwoorden kunnen "zeggen", maar ook probabilistisch correct kunnen "denken" tijdens het genereren van content.

Kortom: LLM's kunnen goed doen alsof ze probabilistisch redeneren in een quiz, maar falen vaak wanneer ze daadwerkelijk moeten redeneren terwijl ze tekst genereren.