🤖 AI

Proper Scoring Rules for Agentic Uncertainty Quantification

Dit artikel introduceert de Trajectory Proper Score (TPS), een strikt proper scoring rule die de volledige voorvoegsel-geconditioneerde succeswaarschijnlijkheidspore voor taalmodelagenten rigoureus opwekt, en zo de beperkingen van bestaande metrieken aanpakt die niet onderscheid kunnen maken tussen rangschikkingsprestaties en probabilistische waarheidsgetrouwheid in de kwantificatie van agentieke onzekerheid.

Oorspronkelijke auteurs: Suresh Raghu, Satwik Pandey, Shashwat Pandey

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Suresh Raghu, Satwik Pandey, Shashwat Pandey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotagent ziet proberen een complex raadsel op te lossen, zoals het navigeren door een doolhof of het beantwoorden van een lastig raadsel. Terwijl de robot werkt, geeft hij niet alleen een eindantwoord; hij praat met zichzelf, doet zetten, controleert zijn werk en zegt af en toe: "Ik denk dat ik dit goed ga krijgen," of "Ik ben niet meer zeker."

Al lang proberen onderzoekers deze robots te beoordelen op hoe goed ze die onzekerheid uitdrukken. Maar dit artikel betoogt dat de huidige beoordelingssystemen lijken op het beoordelen van een kok alleen op basis van of hij de bestelling goed had, zonder te proeven of hij eigenlijk wist hoe goed het eten was.

Hier is de kernidee van het artikel, uiteengezet met eenvoudige analogieën:

1. Het Probleem: De "Rangorde" Beoordelen versus de "Waarheid"

Momenteel kijken de meeste tests voor deze robots naar rangorde.

De Analogie: Stel je een leraar voor die de studiehouding van een leerling beoordeelt. De leraar kijkt naar het cijfer van het eindexamen. Als de leerling die het meest heeft gestudeerd het hoogste cijfer haalt, zegt de leraar: "Geweldig! De studiemethode werkt!"
De Fout: De leraar geeft niet om of de leerling dacht dat hij een 99% kans had om te slagen, terwijl hij eigenlijk maar 50% kans had. De leerling zou enorm overmoedig kunnen zijn geweest maar toch geluk hebben gehad.
Het Punt van het Artikel: Bestaande tests (zoals AUROC of Trajectory ECE) zijn als die leraar. Ze controleren of het vertrouwen van de robot de juiste antwoorden hoger rangschikt dan de verkeerde antwoorden. Maar ze controleren niet of de specifieke cijfers van de robot (bijvoorbeeld "80% kans") daadwerkelijk overeenkomen met de werkelijkheid. Een robot kan een geweldige "rangschikker" zijn maar een verschrikkelijke "waarheidsverteller".

2. De Oplossing: De "Trajectory Proper Score" (TPS)

De auteurs introduceren een nieuw beoordelingssysteem genaamd TPS.

De Analogie: In plaats van alleen naar het eindexamen te kijken, is TPS als een coach die de robot stap-voor-stap observeert. Elke keer dat de robot een zet doet, vraagt de coach: "Je zei dat er een 70% kans op succes was vanaf dit punt. Was dat eerlijk?"
Hoe het werkt: Het artikel maakt gebruik van een wiskundig hulpmiddel genaamd een "Strictly Proper Scoring Rule". Denk hierbij aan een straffensysteem dat alleen werkt als je de waarheid spreekt.
- Als je "90%" zegt en je faalt, krijg je een enorme straf.
- Als je "50%" zegt en je faalt, krijg je een kleine straf.
- De enige manier om de best mogelijke score te krijgen, is door precies te zeggen wat de kansen echt zijn.
Het Resultaat: TPS dwingt de robot om op elke enkele stap van de reis eerlijk te zijn over zijn kansen, niet alleen aan het einde.

3. Het "Gecensureerde" Probleem: Wanneer het Spel Vroegtijdig Stopt

Soms loopt de robot de tijd uit of stuit hij op een limiet voordat hij de taak heeft voltooid. In de oude dagen zouden onderzoekers deze onvoltooide pogingen gewoon weggooien.

De Analogie: Stel je een marathonloper voor die op kilometer 20 instort. Als je alleen de mensen meetelt die de race hebben afgemaakt, mis je de gegevens over de hardlopers die worstelden.
De Oplossing van het Artikel: De auteurs hebben een manier bedacht om deze "onvoltooide" runs eerlijk te beoordelen. Ze maken gebruik van een techniek genaamd "conditional projection".
- Eenvoudige versie: Als de robot vroegtijdig stopt en we niet weten of het was geslaagd, gaat het systeem uit van het ergste geval (het is mislukt) om veilig te zijn.
- Geavanceerde versie: Als we de kansen kunnen schatten dat het zou slagen als het was doorgegaan, gebruikt het systeem die schatting om de onvoltooide run eerlijk te beoordelen.
Waarom dit belangrijk is: Het artikel vond dat bij een winkeltaak (WebShop) bijna de helft van de pogingen werd afgebroken. Als je ze negeert, krijg je een verkeerd beeld van hoe de robot presteert. Toen ze deze "afgebroken" pogingen meenamen, veranderde de beoordeling van de robot aanzienlijk.

4. De Grote Ontdekking: Herkalibratie Verandert Alles

De auteurs voerden experimenten uit waarbij ze de ruwe vertrouwenscijfers van een robot "herkalibreerden" (ze corrigeerden om eerlijker te zijn).

De Analogie: Stel je een weerman voor die altijd "90% kans op regen" zegt. Als het 90% van de tijd regent, is hij een "goede rangschikker" (hij voorspelt regendagen correct). Maar als hij "90%" zegt terwijl het eigenlijk maar een "50%" kans is, is hij een slechte "waarheidsverteller".
Het Resultaat: Toen ze de cijfers van de robot corrigeerden om eerlijker te zijn:
- De oude tests (rangschikking) merkten nauwelijks een verandering. De robot rangschikte de juiste antwoorden nog steeds het beste.
- De nieuwe test (TPS) zag een enorme verbetering. De robot vertelde nu de waarheid over zijn kansen.
Waarom dit belangrijk is: Als je een robot gebruikt om te beslissen of je een mens om hulp moet vragen (een "overdracht"), moet je de echte waarschijnlijkheid weten, niet alleen de rangorde. Als de robot denkt dat hij 90% zeker is maar eigenlijk maar 50% zeker is, vraag je misschien geen hulp terwijl je dat wel zou moeten doen.

Samenvatting

Dit artikel zegt: Stop met het beoordelen van robots alleen op wie ze denken dat er zal winnen. Begin met het beoordelen van hen op of ze de kansen eigenlijk wel kennen.

Ze hebben een nieuw scorebord (TPS) gebouwd dat:

Het vertrouwen van de robot op elke enkele stap controleert.
Eerlijkheid beloont in plaats van gewoon "geluk" of "hoog gerangschikt" zijn.
Om kan gaan met situaties waarin de robot de tijd uitloopt zonder de gegevens weg te gooien.

De experimenten tonen aan dat het gebruik van dit nieuwe scorebord grote fouten blootlegt in hoe robots onzekerheid uitdrukken, fouten die het oude scorebord volledig miste.

Technische Samenvatting: Behoorlijke Scores voor Agente-georiënteerde Kwantificatie van Onzekerheid

Probleemstelling

Taalmodel-agenten opereren steeds vaker via uitgebreide trajecten die observatie, redenering, gebruik van hulpmiddelen en herziening van plannen omvatten. In deze context is onzekerheid niet louter een eigenschap van het uiteindelijke antwoord, maar een dynamisch signaal dat evolueert met de interactiegeschiedenis. Hoewel recent werk is verschoven naar het genereren van onzekerheidssignalen op trajectniveau (bijvoorbeeld stapsgewijze kalibratie, gepropageerde onzekerheid), blijft de evaluatie van deze signalen gebrekkig.

Bestaande evaluatiemetingen, zoals AUROC, AUPRC, Trajectory Expected Calibration Error (T-ECE) en geschaalde Trajectory Brier-scores, verwarren de bruikbaarheid van rangschikking met probabilistische waarheidsgetrouwheid.

Op rang gebaseerde metrieke (AUROC/AUPRC) meten discriminatie maar zijn invariant onder monotoone transformaties van kansen, waardoor ze niet onderscheid kunnen maken tussen goed gekalibreerde kansen en over- of onderverzekerde vervormingen.
Kalibratiemetingen (T-ECE) meten marginale kalibratie per bin, maar zijn "resolutieblind"; ze belonen voorspellingen die gemiddeld correct zijn binnen bins, zelfs als ze binnen die bins geen discriminatiekracht bezitten.
Geschaalde behoorlijke scores (bijvoorbeeld het toepassen van Brier-verlies op een samengevatte trajectsamenvatting) zijn strikt behoorlijk alleen voor de samengevoegde scalair, niet voor de volledige voorvoegsel-geconditioneerde kanssporen.

Het kernprobleem is het ontbreken van een strikt behoorlijke evaluator voor het voorvoegsel-geconditioneerde succes-kansproces ( $q_t = P_\pi(Y=1 | H_t)$ ). Zonder een dergelijke evaluator is het onmogelijk om agenten strikt waarheidsgetrouwe kanssporen te laten onthullen, wat cruciaal is voor downstream-ingrepen zoals uitstel, reflectie of overdracht aan mensen die afhankelijk zijn van de kansschaal en niet alleen van de rangorde.

Methodologie

1. De Traject-Behoorlijke Score (TPS)

De auteurs introduceren de Traject-Behoorlijke Score (TPS), een predictor-agnostische familie van strikt behoorlijke scores voor onzekerheid op trajectniveau.

Definitie: TPS aggregeert een strikt behoorlijke binaire score ( $S_{\alpha,\beta}$ ) over de trajectstappen, gewogen door een door de evaluator gekozen schema ( $w_t$ ):
$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$
waarbij $F_t$ de door de agent gerapporteerde kans is op uiteindelijke succes gegeven geschiedenis $H_t$ , en $Y$ het eindresultaat is.
Strikte Behoorlijkheid: De auteurs bewijzen (Stelling 4.1) dat als de onderliggende binaire score strikt behoorlijk is en de gewichten positief, TPS strikt behoorlijk is voor het volledige voorvoegsel-geconditioneerde proces. Dit betekent dat de verwachte score uniek wordt gemaximaliseerd wanneer de agent op elk moment de ware conditionele kans $q_t$ rapporteert.
Scorefamilie: De methode maakt gebruik van de beta-familie van scores ( $S_{\alpha,\beta}$ ), afgeleid van de Schervish–Buja-drempel-mengconstructie. Deze familie omvat de log-score (limietgeval), de Brier-score ( $\alpha=\beta=1$ ), en staat asymmetrische kostenvorming toe via de parameters $\alpha$ en $\beta$ .

2. Omgaan met Censuur in Trajecten

In praktische benchmarks worden trajecten vaak administratief gecensureerd (bijvoorbeeld door het bereiken van een stappenbegroting) voordat het resultaat $Y$ wordt waargenomen. Het artikel breidt TPS uit naar deze gevallen via conditionele projectie:

Exacte Gereduceerde Score ( $TPS^{cen,exact}$ ): Door de score voor volledige data te projecteren op het waarneembare voorvoegsel, leiden de auteurs een exacte gecensureerde score af die afhankelijk is van de voortzetting-succeskans $q_Z = P_\pi(Y=1 | H_Z)$ op het stoppunt. Deze score is strikt behoorlijk voor het waarneembare voorvoegsel.
Eenvoudige Gecensureerde Benadering ( $TPS^{cen,simple}$ ): Wanneer $q_Z$ niet wordt geschat, stellen de auteurs een pessimistische operationele benadering voor waarbij $q_Z \approx 0$ . Dit scoort het gecensureerde voorvoegsel effectief alsof de falende tak is opgetreden. De auteurs bewijzen dat dit strikt behoorlijk is voor een pseudo-labeldoel ( $m_t = P_\pi(\Delta=1, Y=1 | H_t)$ ), dat alleen convergeert naar het ware doel als de ontbrekende succesmassa nul is.

3. Theoretische Beperkingen van Bestaande Metrieke

Het artikel demonstreert formeel (Stellingen A en B) waarom gebruikelijke metrieke falen in het onthullen van het volledige spoor:

T-ECE is resolutieblind; een constante voorspelling gelijk aan het bin-gemiddelde kan een fout van nul bereiken, zelfs als het alle variatie binnen de bin verwijdert.
Geschaalde Brier/Log-verlies toegepast op geaggregeerde sporen (bijvoorbeeld $\Phi_{last}, \Phi_{avg}, \Phi_{min}$ ) onthult alleen de samengevoegde scalair, niet het spoor. Voor aggregatoren zoals $\Phi_{avg}$ of $\Phi_{min}$ kan het waarheidsgetrouwe spoor strikt suboptimaal zijn ten opzichte van een niet-waarheidsgetrouw spoor dat de aggregatie manipuleert om te matchen met de optimale scalair.

Belangrijkste Resultaten

1. Het Kwalibratie-Invariantie-Gat

Experimenten op Tau2-Bench onthullen een significante divergentie tussen op rang gebaseerde en behoorlijke score-metrieke.

Recalibratie-effect: Toen verbale zekerheidssignalen werden recalibreerd met Platt-schaling, veranderde de AUROC verwaarloosbaar ( $\Delta/SE \approx 0,3$ ), terwijl de TPS (log-eindpunt) aanzienlijk verbeterde ( $\Delta/SE \approx 43$ ).
Implicatie: Rangmetrieke faalden in het detecteren dat de ruwe stroom ernstig miscalibreerd was (verzadigd rond 0,9–1,0), terwijl TPS de fout op de kansschaal correct identificeerde. De recalibreerde stroom overschreed de referentie op basis van de basisrate nauwelijks in TPS, ondanks vergelijkbare rangschikkingsprestaties.

2. Impact van Censuur

Op WebShop, waar 47% van de trajecten administratief gecensureerd was (door het bereiken van staplimieten), veranderde de evaluatiepopulatie aanzienlijk.

Selectiebias: Evaluatie alleen op volledige trajecten verwierp een structureel moeilijker subset van trajecten (de gecensureerde waren 3x langer).
Scoreverschuiving: Het opnemen van gecensureerde trajecten via de eenvoudige gecensureerde benadering verschuift de gemiddelde TPS met +0,159 nat (95% BI: [+0,133, +0,188]) ten opzichte van evaluatie alleen op volledige trajecten.
Predictor-gevoeligheid: De verschuiving was positief voor onderzekerde predictoren maar negatief voor overzekere (bijvoorbeeld de kans op voltooiingstokens), wat aantoont dat censuur-bewuste scoring het oordeel verandert op basis van het zekerheidsregime.

3. Validatie van Gecensureerde Uitbreidingen

Artificiële Censuur: Op volledige trajecten van StrategyQA, Tau2-Bench en HotpotQA censureerden de auteurs kunstmatig uitkomsten. De gesloten-vorm decompositie van de gecensureerde score kwam overeen met de direct berekende difference tot numerieke precisie, wat de theoretische afleiding valideerde.
Monte Carlo Audit: Op HotpotQA schatten de auteurs $q_Z$ in via Monte Carlo-rollouts. De exacte gereduceerde score verschildde materieel van de eenvoudige $q_Z \approx 0$ benadering, wat bevestigt dat de keuze van de $q_Z$ -schatting de uiteindelijke score beïnvloedt.

Betekenis en Beweringen

Het artikel claimt een fundamenteel raamwerk te vestigen voor strikt behoorlijke evaluatie van agente-georiënteerde onzekerheid. De betekenis ligt in:

Het scheiden van onthulling en rangschikking: Het demonstreert dat rangmetrieke (AUROC) en kalibratiemetingen (ECE) niet strikt het volledige kansspoor onthullen dat vereist is voor probabilistische besluitvorming.
Operationele noodzaak van behoorlijke scores: De empirische resultaten tonen aan dat kans-recalibratie de TPS-verdict drastisch kan veranderen terwijl rangmetrieke ongewijzigd blijven. Dit impliceert dat voor toepassingen die vertrouwen op kansdrempels (uitstel, overdracht), huidige evaluatiepraktijken misleidend kunnen zijn.
Omgaan met real-world beperkingen: Door behoorlijke scoring uit te breiden naar administratief gecensureerde trajecten, biedt het artikel een methode om agenten te evalueren op benchmarks met stappenbegrotingen zonder moeilijke, afgekapte gevallen te verwerpen of ze verkeerd te labelen.

De auteurs handhaven een bescheiden reikwijdte, waarbij ze noteren dat het raamwerk uitgaat van niet-informatieve administratieve censuur en zich richt op binaire eindresultaten. Ze stellen expliciet dat het werk zich richt op de evaluator-zijde behoorlijkheid van onzekerheidssignalen, onderscheiden van de predictor-zijde methoden die worden gebruikt om ze te genereren. Het TPS-raamwerk is agnostisch ten opzichte van de bron van het signaal (verbale zekerheid, token-kansen, etc.) zolang het wordt uitgedrukt als een voorvoegsel-geconditioneerde succeskans.