🤖 machine learning

From token probabilities to calibrated confidence: An empirical study of mathematical question answering

Deze empirische studie onderzoekt methoden voor het kalibreren van vertrouwen in grote taalmodellen voor het beantwoorden van wiskundige vragen, waarbij wordt vastgesteld dat hoewel token-waarschijnlijkheden uit een enkele pass beperkt signaal bieden, het aggregeren van deze waarden en het toepassen van multi-pass strategieën zoals zelfverificatie of Monte Carlo Dropout, gevolgd door post-hoc kalibratietechnieken, de afstemming tussen geschatte vertrouwensgraad en werkelijke nauwkeurigheid aanzienlijk kan verbeteren.

Oorspronkelijke auteurs: Avery Ma, Lorne Schell, Vin Bhaskara, Leila Pishdad

Gepubliceerd 2026-08-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Avery Ma, Lorne Schell, Vin Bhaskara, Leila Pishdad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spannend spelletje trivia speelt met een superintelligente robotvriend. Je stelt een lastige vraag en de robot piept met een antwoord. Maar hier zit de crux: de robot is zo graag behulpzaam dat hij vaak 100% zeker klinkt, zelfs als hij er volledig naast zit. In de wereld van Kunstmatige Intelligentie wordt dit "overconfidence" (overmoed) genoemd. Wetenschappers proberen deze robots te leren om te zeggen: "Ik weet het vrij zeker," of "Ik ben niet zo zeker," zodat wij weten wanneer we ze kunnen vertrouwen. Dit is de uitdaging van confidence estimation (betrouwbaarheidsinschatting): uitzoeken hoe waarschijnlijk het is dat het antwoord van een robot correct is. Om dit te doen, kijken onderzoekers naar de interne "fluisteringen" van de robot—kleine getallen genaamd token probabilities (token-waarschijnlijkheden) die laten zien hoe waarschijnlijk het is dat de robot het volgende woord in een zin kiest. De grote vraag is: kunnen we deze luidruchtige fluisteringen omzetten in een betrouwbare "waarheidsmeter" die ons precies vertelt hoeveel we de robot kunnen vertrouwen?

Een team van onderzoekers besloot dit idee te testen, specifiek met wiskundeproblemen. Ze behandelden de AI als een student die een toets maakt en vroegen zich af: "Als we goed luisteren naar het denkproces van de student, kunnen we dan zien of hij het antwoord goed heeft voordat hij zelfs maar klaar is met schrijven?" Ze vergeleken twee belangrijke manieren van luisteren. De eerste was een "single-pass" luisterbeurt, waarbij ze simpelweg het wiskundeprobleem en het uiteindelijke antwoord dat de robot gaf in één keer analyseerden. De tweede was een "multi-pass" luisterbeurt, waarbij ze de robot vroegen om zijn werk te controleren of hetzelfde probleem meerdere keren door zijn brein te laten lopen met kleine variaties om te zien of hij tot hetzelfde resultaat kwam.

Dit is wat ze ontdekten. Eerst ontdekten ze dat als je alleen luistert naar de allerlaatste woorden van het antwoord (het definitieve getal), de robot ongelooflijk zelfverzekerd klinkt, zelfs als hij het fout heeft. Het is alsof een student "42" aan het einde van een toets schrijft, maar daar door te gokken bij is gekomen. Echter, als je luistert naar de volledige keten van redenering—de stap-voor-stap wiskunde die de robot uitvoerde om daar te komen—kun je subtiele, consistente verschillen tussen goede en foute antwoorden opmerken. Door deze kleine signalen over het hele denkproces heen te middelen, vonden ze een manier om een veel betere "waarheidsmeter" te krijgen zonder dat de robot extra werk hoeft te verrichten.

De onderzoekers probeerden ook wat geavanceerde trucjes uit om betere signalen te krijgen. Eén truc was de robot vragen: "Weet je zeker dat dit klopt?" (een methode genaamd self-verification). Ze ontdekten dat het vragen aan de robot om zijn eigen antwoord vanaf het allereerste begin opnieuw te lezen weliswaar accuraat was, maar erg traag en duur—als het laten herschrijven van een heel essay door een student, alleen maar om één regel te controleren. Maar ze ontdekten een slimme afkorting: in plaats van het hele ding opnieuw te schrijven, konden ze simpelweg de vraag "Klopt dit?" aan het einde van het originele antwoord toevoegen. Deze "in-situ" methode was net zo accuraat, maar bespaarde 88% van de computerinspanning, wat een enorme overwinning was op het gebied van efficiëntie.

Een andere truc was "stochastische passes", waarbij ze de robot vroegen om hetzelfde probleem meerdere keren op te lossen met een klein beetje willekeur (zoals het gooien van een dobbelsteen) om te zien of hij van gedachten zou veranderen. Deze methode, genaamd MC Dropout, was goed in het opvangen van onzekerheid, maar vereiste dat de robot het werk vele malen opnieuw deed, wat rekentechnisch zwaar is. De onderzoekers ontdekten dat hoewel deze methode werkte, het vaak niet de extra kosten waard was in vergelijking met de simpelere "luister naar het hele verhaal"-methode.

Ten slotte testten ze een "kalibratie"-stap, wat lijkt op het aanleren van de robot om zijn zelfvertrouwen-draaiknop aan te passen. Ze gebruikten twee klassieke wiskundige instrumenten (Platt scaling en isotonic regression) om de betrouwbaarheidsscores van de robot bij te sturen, zodat ze beter overeenkwamen met de realiteit. Ze ontdekten dat deze instrumenten wonderen deden, vooral wanneer ze een kleine set oefenopgaven hadden (zo weinig als 50 voorbeelden) om van te leren. Ze merkten echter ook op dat een kalibratie die geleerd was op makkelijke wiskundeproblemen niet altijd goed werkte op moeilijke problemen, en dat een kalibratie die geleerd was op het ene type robot niet altijd goed overkwam op een ander type robot.

Kortom, het onderzoek suggereert dat we de robot niet twee keer zo hard hoeven te laten werken om te weten of hij het goed heeft. Door simpelweg beter op te letten bij het volledige pad van zijn redenering in plaats van alleen bij het eindantwoord, en door een slimme, goedkope manier te gebruiken om hem zichzelf te laten dubbelchecken, kunnen we veel betrouwbaardere waarheidsmeters bouwen. Deze bevindingen suggeren dat we, met de juiste afstemming, AI-systemen veel eerlijker kunnen maken over wat ze wel en wat ze niet weten.

Titel: Van Token-waarschijnlijkheden naar Gecalibreerd Vertrouwen: Een Empirische Studie naar Wiskundige Beantwoording

Probleemstelling
Large Language Models (LLMs) hebben succes geboekt bij complexe, meerstaps-taken, maar worden steeds vaker ingezet in domeinen met een hoog risico waar weten wanneer men een output moet vertrouwen even cruciaal is als de output zelf. Hoewel LLM's tijdens inferentie token-waarschijnlijkheden genereren, zijn deze ruwe signalen vaak overmoedig en slecht gekalibreerd voor het bepalen van de juistheid van een voltooid antwoord. Dit komt doordat modellen getraind zijn om de volgende-token-voorspelling te optimaliseren in plaats van de waarschijnlijkheid in te schatten dat een voltooid antwoord correct is. Het paper onderzoekt of deze direct beschikbare token-waarschijnlijkheden kunnen worden getransformeerd tot goed gekalibreerde vertrouwensschattingen voor wiskundige vraagbeantwoording (MQA), een domein met verifieerbare eindantwoorden.

Methodologie
De auteurs voeren een empirische studie uit waarbij de vertrouwensschatters worden gecategoriseerd op basis van het aantal benodigde inferentie-passes:

Single-Pass Schatters: Deze hergebruiken de token-waarschijnlijkheden van de oorspronkelijke generatie zonder aanvullende forward passes. De studie analyseert twee ontwerpkeuzes:
- Token-subset: Het vergelijken van schatters gebaseerd op de volledige gegenereerde sequentie (redeneerpad + antwoord) versus die gebaseerd op enkel de laatste antwoord-tokens.
- Aggregatiemethode: Het vergelijken van het rekenkundig gemiddelde van token-waarschijnlijkheden tegenover de lengte-genormaliseerde gezamenlijke waarschijnlijkheid (meetkundig gemiddelde).
- Vier specifieke schatters worden geïnstantieerd: Sequence Joint (SEQ JOINT), Sequence Average (SEQ AVG), Answer Joint (ANS JOINT) en Answer Average (ANS AVG).
Multi-Pass Schatters: Deze verkrijgen aanvullende signalen via herhaalde forward passes:
- Zelfverificatie ( $p(\text{True})$ ): Het model wordt opnieuw gepromptt om zijn eigen gegenereerde antwoord te beoordelen als "Waar" of "Onwaar". De auteurs evalueren ook een in-situ variant die de verificatievraag direct aan het oorspronkelijke redeneerpad toevoegt, waardoor het opnieuw coderen van de volledige context wordt vermeden.
- Monte Carlo (MC) Dropout: Het model voert meerdere stochastische forward passes uit met dropout ingeschakeld, terwijl het redeneerpad vast blijft staan. Onzekerheid wordt gemeten via de Bayesian Active Learning by Disagreement (BALD) metriek, die de variatie in de voorspellende distributies van antwoord-tokens vastlegt.
Post-Hoc Kalibratie: De studie evalueert twee klassieke methoden om confidence scores af te stemmen op de empirische nauwkeurigheid:
- Isotonic Regression: Een flexibele, niet-parametrische monotone mapping.
- Platt Scaling: Een parametrische globale aanpassing (temperatuur-scaling) toegepast op logits.

Belangrijkste Bijdragen en Bevindingen

Aggregatie op Trajectniveau: Het paper stelt vast dat het aggregeren van waarschijnlijkheden over het volledige redeneerpad (SEQ AVG/JOINT) aanzienlijk meer onderscheidende en beter gekalibreerde vertrouwensschattingen oplevert dan het gebruik van enkel de laatste antwoord-tokens. Hoewel individuele token-waarschijnlijkheden vaak verzadigd zijn, accumuleren kleine maar consistente waarschijnlijkheidsverschillen over het redeneerpad, waardoor correcte van incorrecte generaties onderscheiden kunnen worden.
Efficiëntie van In-Situ Verificatie: De voorgestelde in-situ zelfverificatie methode bereikt een kalibratie die vergelijkbaar is met standaard her-prompting ( $p(\text{True})$ ), maar vermindert de overhead voor het verwerken van tokens met ongeveer 88%. Dit wordt bereikt door de oorspronkelijke generatietoestand te hergebruiken in plaats van de volledige vraag-antwoord combinatie opnieuw te encoderen.
MC Dropout en Distributionele Onzekerheid: MC Dropout legt onzekerheid vast die wordt weerspiegeld in de variatie van de voorspellende distributies, zelfs wanneer het gedecodeerde antwoord ongewijzigd blijft. Echter, deze methode vereist aanzienlijke afstemming (selectie van de dropout-rate) en meerdere stochastische passes (ongeveer 5x overhead) om te stabiliseren, wat het computationeel duur maakt in vergelijking met single-pass methoden.
Effectiviteit van Kalibratie en Datagevoeligheid: Zowel Isotonic Regression als Platt Scaling verminderen de in-domain kalibratiefout aanzienlijk. Isotonic regression is bijzonder effectief en heeft vaak slechts 50 kalibratievoorbeelden nodig om significante verbeteringen te bewerkstelligen.
Asymmetrische Transfer: Kalibratie-mappings worden asymmetrisch getransfereerd tussen datasets en modellen. Mappings geleerd op makkelijkere datasets (bijv. GSM8K) verbeteren over het algemeen de kalibratie op moeilijkere datasets (bijv. GSMHard), maar het omgekeerde leidt vaak tot verslechtering. Bovendien hangt de transfereerbaarheid sterk af van het specifieke model-dataset paar, wat suggereert dat kalibratiedata idealiter overeen moet komen met het doelmodel en het moeilijkheidsniveau.

Betekenis en Beperkingen
Het paper demonstreert dat token-waarschijnlijkheden, wanneer ze correct worden geaggregeerd en gekalibreerd, betrouwbare vertrouwensschattingen kunnen bieden voor wiskundig redeneren zonder dat complexe hulpmodellen of fine-tuning nodig zijn. De bevindingen benadrukken dat de "overmoed" van LLM's geen inherent probleem is, maar een kalibratieprobleem dat kan worden aangepakt door sequentie-niveau aggregatie en eenvoudige post-hoc methoden.

De auteurs merken enkele beperkingen op: de studie is beperkt tot open-weight modellen waar token-waarschijnlijkheden en dropout-controles toegankelijk zijn; het richt zich op MQA met verifieerbare antwoorden in plaats van open gesprekken; en de MC Dropout resultaten leunen op specifieke ontwerpkeuzes (bijv. vaste redeneertrajecten) die mogelijk geen onzekerheid over alternatieve redeneerpaden vangen. Daarnaast kan de afhankelijkheid van regex-gebaseerde antwoordextractie fouten introduceren voor outputs die niet aan de regels voldoen.

Meer zoals dit