💬 NLP

How Uncertainty Estimation Scales with Sampling in Reasoning Models

Deze studie toont aan dat bij redenerende taalmodellen de combinatie van zelfconsistentie en verbaal gemaakte zekerheid de onzekerheidsschatting aanzienlijk verbetert, waarbij de grootste winst al met slechts twee steekproeven wordt behaald en de prestaties sterk afhankelijk zijn van het domein, met name in de wiskunde.

Oorspronkelijke auteurs: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maksym Del, Markus Kängsepp, Marharyta Domnich, Ardi Tampuu, Lisa Yankovskaya, Meelis Kull, Mark Fishel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente, maar soms wat onzeker robot hebt die heel goed kan redeneren. Je vraagt hem een moeilijke vraag, bijvoorbeeld een wiskundeprobleem of een vraag over de geschiedenis. De robot denkt na, schrijft een lang verhaal met zijn redenering en geeft dan een antwoord. Maar hoe weet jij of hij het ook echt goed heeft? En hoe zeker is hij zelf?

Dit onderzoek van de Universiteit van Tartu gaat precies daarover: hoe kunnen we de onzekerheid van deze 'redenerende' robots meten?

Hier is de uitleg, vertaald naar alledaags Nederlands met een paar leuke vergelijkingen.

1. Het Probleem: De Robot die "Denkt"

Normale chatbots geven vaak direct een antwoord. Deze nieuwe "redenerende" modellen (RLMs) doen echter alsof ze een mens zijn die hard nadenkt. Ze schrijven een lang stuk tekst (een "chain of thought") waarin ze verschillende oplossingen uitproberen, fouten opzoeken en zichzelf corrigeren voordat ze het definitieve antwoord geven.

Het probleem is: Hoe betrouwbaar is dat antwoord? Als de robot zegt "Ik weet het zeker!", is dat dan waar? Of is hij gewoon aan het bluffen?

2. De Twee Manieren om Onzekerheid te Meten

De onderzoekers hebben twee manieren getest om te zien hoe zeker de robot is:

Manier A: De Robot vraagt het zichzelf (Verbalized Confidence).
Je vraagt de robot direct na zijn antwoord: "Hoe zeker ben je op een schaal van 1 tot 100?"
- Vergelijking: Dit is alsof je een student vraagt: "Hoe zeker ben je dat je dit examen goed haalt?" Soms zeggen studenten "100%", terwijl ze het juist fout hebben. Maar soms is hun gevoel wel goed.
Manier B: De "Meerdere Kopieën" Test (Self-Consistency).
Je laat de robot dezelfde vraag niet één keer, maar bijvoorbeeld 5 of 10 keer beantwoorden. Komen ze allemaal tot hetzelfde antwoord?
- Vergelijking: Stel je voor dat je een moeilijke vraag aan 10 verschillende experts stelt. Als 9 van de 10 hetzelfde antwoord geven, ben je waarschijnlijk zeker dat het goed is. Als ze allemaal iets anders zeggen, is het antwoord onzeker.

3. De Grote Ontdekkingen

De onderzoekers hebben dit getest op 17 verschillende taken (wiskunde, natuurkunde, geschiedenis, etc.) met drie verschillende robots. Hier zijn de belangrijkste bevindingen:

A. De "Meerdere Kopieën" test is in het begin minder goed

Als je de robot maar één keer laat antwoorden, is zijn eigen gevoel (Manier A) vaak al een heel goede indicator. Als je de robot 5 of 10 keer laat antwoorden (Manier B), wordt het antwoord beter, maar het kost veel tijd en rekenkracht.

Conclusie: Alleen wachten tot de robot 10 keer nadenkt, levert niet per se de beste zekerheid op. Het is alsof je 10 keer dezelfde vraag aan één persoon stelt; hij wordt niet per se slimmer, hij raakt alleen maar moe.

B. De Gouden Combinatie: 2 Kopieën + Eigen Gevoel

Het allerbeste resultaat haal je door beide methoden te combineren.
Stel je voor dat je de robot twee keer de vraag laat beantwoorden.

Je kijkt of de twee antwoorden overeenkomen (Manier B).
Je kijkt wat de robot zelf zegt over zijn zekerheid (Manier A).
Je telt deze twee signalen bij elkaar op.

Het resultaat: Met slechts twee extra pogingen (in plaats van acht of tien) haal je een betrouwbaarheid die beter is dan wanneer je de robot 8 of 10 keer alleen maar laat nadenken.
Vergelijking: Het is alsof je een spreekwoordelijke "tweede mening" vraagt én tegelijkertijd vraagt: "Ben je er nu echt zeker van?". Die combinatie werkt veel krachtiger dan alleen maar meer mensen vragen.

C. Wiskunde is de "Superkracht"

De robots zijn het allerbeste in wiskunde. Hier werken de methoden het snelst en het beste.

Waarom? Deze robots zijn speciaal getraind op wiskundige problemen. Ze hebben daar hun "superkracht" ontwikkeld.
Andere vakken: Bij geschiedenis of filosofie werkt het ook, maar dan minder goed en sneller verzadigd (je krijgt na een paar keer proberen geen betere resultaten meer).
Vergelijking: Het is alsof je een chef-kok vraagt om een perfecte pizza te maken (wiskunde). Hij doet dat geweldig. Vraag je hem om een perfecte sushi te maken (geschiedenis), dan is hij ook goed, maar niet zo perfect en niet zo snel.

4. Wat betekent dit voor de praktijk?

Als je deze robots wilt gebruiken in de echte wereld (bijvoorbeeld voor medische diagnoses of juridisch advies), hoef je niet duizenden keren te laten rekenen. Dat is te duur en te traag.

Het recept voor succes:

Laat de robot de vraag twee keer beantwoorden.
Kijk of de antwoorden hetzelfde zijn.
Kijk wat de robot zelf zegt over zijn zekerheid.
Combineer deze twee informatiepunten.

Dit geeft je de hoogste zekerheid voor de minste kosten. Het is de slimste manier om te weten of je kunt vertrouwen op wat de robot zegt, zonder dat je de hele computerfabriek hoeft aan te zetten.

Kort samengevat:
Vraag de robot niet 100 keer om na te denken. Vraag hem twee keer, en vraag hem ook hoe hij zich voelt. Die combinatie is de sleutel tot betrouwbaarheid, vooral als het om wiskunde gaat!

Probleemstelling

Onzekerheidsschatting is cruciaal voor het betrouwbaar inzetten van taalkundige modellen, maar blijft slecht begrepen in de context van Redenerende Taalmodellen (RLMs). Deze modellen gebruiken uitgebreide "Chain-of-Thought" (CoT) redenering om antwoorden te genereren, wat de kosten voor het genereren van meerdere steekproeven (sampling) aanzienlijk verhoogt.

Bestaande onderzoek richt zich vaak op single-sample settings of op standaard (niet-redenerende) modellen. Er is echter onduidelijkheid over:

Hoe onzekerheidssignalen schalen met het aantal parallelle steekproeven in RLMs.
Of de meerwaarde van extra steekproeven (zoals zelfconsistentie) opweegt tegen de hoge rekentijd van een volledige CoT-trace.
Hoe introspectieve signalen (verbaal uitgesproken vertrouwen) en agreement-based signalen (zelfconsistentie) samenwerken in deze nieuwe context.

Methodologie

De auteurs hebben een systematische empirische studie uitgevoerd met een volledig "black-box" aanpak.

Modellen: Drie open-source redenerende modellen werden getest: gpt-oss-20b (met hoge inspanning), Qwen3-30B-A3B, en DeepSeek-R1-8B.
Taken: 17 taken verdeeld over drie domeinen: Wiskunde (o.a. GSM8K, AIME, MMLU-Pro Math), STEM (Biologie, Fysica, etc.) en Geesteswetenschappen (Recht, Geschiedenis, etc.).
Sampling Protocol: Voor elke vraag werden $K$ onafhankelijke steekproeven gegenereerd (waarbij $K$ varieerde van 1 tot 8, met een pool van 10 voor bootstrap-evaluatie).
Onzekerheidssignalen:
1. Verbalized Confidence (VC): Het model geeft een numeriek vertrouwensscore (0-100) bij het antwoord. De score wordt gemiddeld over de steekproeven die het meerderheidsantwoord geven.
2. Self-Consistency (SC): De mate van overeenstemming tussen de $K$ gegenereerde antwoorden (fractie van steekproeven die het meerderheidsantwoord geven).
3. Hybride Estimator (SCVC): Een lineaire combinatie van VC en SC ( $\lambda \cdot SC + (1-\lambda) \cdot VC$ ).
Evaluatiemetaiek: De kwaliteit van de onzekerheidsschatting werd gemeten met AUROC (Area Under the Receiver Operating Characteristic curve). Dit meet hoe goed het model correcte antwoorden kan onderscheiden van incorrecte antwoorden op basis van hun onzekerheidsscore, ongeacht de kalibratie van de schaal.

Belangrijkste Bijdragen

Eerste systematische benchmark: Dit is het eerste grote empirische onderzoek naar hoe black-box onzekerheidsschatting schaalt met parallelle sampling in RLMs.
Ontdekking van complementariteit: Het paper toont aan dat het combineren van signalen veel effectiever is dan het simpelweg verhogen van het sampling-budget voor één signaal.
Domein-afhankelijkheid: Er wordt aangetoond dat de schaalbaarheid sterk afhangt van het domein, met de beste resultaten in wiskunde.

Resultaten en Kernbevindingen

1. Schaling van individuele signalen (VC vs. SC)

Verbalized Confidence (VC) is een sterke basis, zelfs met één steekproef. In wiskundetaken verbetert VC aanzienlijk bij meer steekproeven (tot +10,1 AUROC bij $K=8$ ), maar saturatie treedt eerder op in STEM en Geesteswetenschappen.
Self-Consistency (SC) presteert aanzienlijk slechter dan VC bij gelijke budgetten (bijv. bij $K=2$ in wiskunde: 70,5 vs 73,5 AUROC). Hoewel SC verbetert met meer steekproeven, overtreft het VC niet binnen het geteste bereik. Dit suggereert dat in RLMs één uitgebreide redeneringstrace al veel interne onzekerheid "oplost", waardoor extra steekproeven voor consistentie minder waardevol zijn dan bij standaard modellen.

2. Dominantie van signaalcomplementariteit

De grootste winst wordt behaald door combinatie, niet door dieper sampling.
Met slechts twee steekproeven ( $K=2$ ) en een hybride estimator (SCVC) wordt de AUROC met +12,9 punten verbeterd in wiskunde (ten opzichte van single-sample VC).
Deze hybride aanpak met $K=2$ presteert al beter dan het gebruik van VC of SC alleen met $K=8$ .
Praktische implicatie: Het is efficiënter om één extra steekproef te trekken en VC te combineren met SC, dan om te investeren in het genereren van veel meer steekproeven voor één signaal.

3. Domein-afhankelijkheid

Wiskunde: Toont de snelste schaling en de sterkste complementariteit. Dit komt overeen met het feit dat RLMs vaak zijn getraind met Reinforcement Learning met Verifiable Rewards (RLVR), wat voornamelijk op wiskunde is gericht.
STEM en Geesteswetenschappen: De winst is kleiner en de signalen satureren eerder (na $K \approx 2$ of $3$). De correlatie tussen VC en SC is hier hoger, wat betekent dat de signalen minder complementair zijn dan in wiskunde.

4. Robuustheid en Variaties

De combinatie van VC en SC is robuust tegenover de wegingsparameter ( $\lambda$ ); een eenvoudige 50/50 combinatie werkt uitstekend.
Verschillende methoden voor het eliciteren van vertrouwen (bijv. "verificatie" of "epistemische" prompts) leverden geen significante verbeteringen op ten opzichte van een simpele "vanilla" prompt, vooral niet in wiskunde.

Significantie en Conclusie

Dit paper biedt een cruciale leidraad voor het inzetten van redenerende modellen in risicovolle toepassingen. De belangrijkste conclusie is dat kwaliteit boven kwantiteit gaat bij sampling in RLMs.

In plaats van kostbare rekenkracht te besteden aan het genereren van tientallen steekproeven om consistentie te meten, is de meest kosteneffectieve strategie:

Genereer slechts twee steekproeven.
Combineer het verbaal uitgesproken vertrouwen van het model met de overeenstemming tussen de twee antwoorden.

Deze hybride aanpak levert de hoogste onzekerheidskwaliteit op met minimale extra kosten, met name in domeinen waar de modellen optimaal zijn getraind (wiskunde). Het paper waarschuwt ook dat inzichten uit standaard taalmodellen niet zomaar kunnen worden overgedragen naar RLMs vanwege de fundamentele verschillen in hoe onzekerheid wordt gegenereerd tijdens uitgebreide redenering.