🤖 machine learning

Always Tell Me The Odds: Fine-grained Conditional Probability Estimation

Dit artikel presenteert een state-of-the-art model dat door middel van menselijke en synthetische data, schaalvergroting en verbeterde supervisie nauwkeurige en fijnmazige kansberekeningen voor proposities onder onzekere omstandigheden mogelijk maakt, waarmee het de beperkingen van huidige taalmodellen op dit gebied overtreft.

Oorspronkelijke auteurs: Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Liaoyaqi Wang, Zhengping Jiang, Anqi Liu, Benjamin Van Durme

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt. Als je hem vraagt: "Gaat het morgen regenen?", zegt hij: "Ja." Maar als je vraagt: "Hoe groot is de kans dat het morgen precies om 14:05 uur regent terwijl ik mijn ijsje eet?", dan raakt hij in de war. Hij zegt ofwel "Ja", ofwel "Nee", of hij geeft een heel vaag antwoord zoals "Misschien".

Hij is slim, maar hij is een alles-of-niets-denker. Hij mist het grijze gebied.

Dit wetenschappelijke paper, "Always Tell Me The Odds", probeert die robot te leren hoe hij echt moet rekenen met onzekerheid. Hier is de uitleg in gewone mensentaal.

De Kern: Van "Ja/Nee" naar de "Grijstinten"

De onderzoekers van de Johns Hopkins University vonden dat huidige AI-modellen (zoals ChatGPT) een probleem hebben met nuance. Ze zijn vaak te zelfverzekerd of geven alleen maar ronde getallen (zoals 50% of 100%). Ze kunnen niet goed zeggen: "De kans is 73,4%."

Het doel van dit onderzoek is om een AI te bouwen die niet alleen een antwoord geeft, maar die ook de precisie van een gokker heeft: een gokker die precies weet hoe groot de kans is dat een paard wint, gebaseerd op de modder op de baan en de snelheid van de wind.

Hoe hebben ze dit aangepakt? (De Metaforen)

Om de AI dit te leren, gebruikten ze drie slimme strategieën:

1. De "Super-Leraar" Methode (Synthetische Data)

Stel je voor dat je een kind wilt leren hoe zwaar een object is. In plaats van alleen maar te zeggen "dit is zwaar", laat je het kind honderd verschillende voorwerpen voelen.
De onderzoekers lieten verschillende AI-modellen samenwerken. Als de ene AI zei "70% kans" en de andere "20% kans", dan kwam er een derde, nog slimmere AI (de "Judge") om te kijken wie van de twee de beste redenen had. Zo maakten ze een enorme berg "oefenmateriaal" met heel nauwkeurige antwoorden.

2. De "Vergelijkingstraining" (Rank Consistency)

Denk aan het proeven van wijn. Het is heel moeilijk om te zeggen: "Deze wijn is precies 7,4 op een schaal van 10." Maar het is heel makkelijk om te zeggen: "Deze wijn is lekkerder dan die andere."
De onderzoekers leerden de AI door hem constant twee scenario's voor te leggen. "Is het waarschijnlijker dat een man koffie drinkt in de ochtend, of dat hij thee drinkt?" Door de AI te dwingen om altijd de juiste volgorde te kiezen, leerde hij de onderliggende kansen beter begrijpen.

3. De "Verfijnde Schaalverdeling" (Expected Label Scoring)

De meeste AI's werken met blokjes (zoals LEGO). Ze kunnen zeggen: "Het zit in het blokje tussen 0 en 0,1." Dat is nog steeds een beetje grof.
De onderzoekers introduceerden een methode waarbij ze de AI niet alleen een blokje geven, maar de AI leren om te kijken naar de verdeling binnen dat blokje. Het is alsof je niet alleen zegt "het is een rode auto", maar je de AI leert om te zien of het een lichtrode Ferrari is of een donkerrode baksteen.

Wat is het resultaat?

De nieuwe AI is een stuk beter geworden in:

Nuance: Hij begrijpt dat de wereld niet zwart-wit is.
Logica: Hij kan beter redeneren in complexe situaties (zoals: "Als A gebeurt, en B is waarschijnlijk, wat is dan de kans op C?").
Menselijkheid: De AI geeft nu antwoorden die veel meer lijken op hoe mensen onzekerheid ervaren. Als mensen het niet met elkaar eens zijn, laat de AI dat ook zien in zijn berekening.

Waarom is dit belangrijk voor jou?

In de toekomst willen we AI gebruiken voor belangrijke beslissingen: in de geneeskunde ("Wat is de kans dat dit medicijn werkt?"), in het recht of in het zelfrijdend verkeer. Een AI die alleen "Ja" of "Nee" zegt, is gevaarlijk. Een AI die zegt: "Ik ben voor 82% zeker, maar er is een risico van 18% vanwege factor X", is een AI die we kunnen vertrouwen.

Kortom: Ze hebben de robot geleerd om niet alleen te praten, maar ook echt te rekenen met de onzekerheid van het leven.

Technische Samenvatting: Always Tell Me The Odds

1. Het Probleem (The Problem)

Hoewel Large Language Models (LLM's) uitblinken in deterministische redeneringstaken, hebben ze grote moeite met het accuraat inschatten van onzekerheid. In de echte wereld is informatie vaak ambigu of incompleet, wat vraagt om conditionele kansberekening ( $P(\text{propositie} \mid \text{context})$ ).

Huidige methoden schieten tekort op drie punten:

Miscalibratie: De logit-waarden van LLM's zijn vaak niet betrouwbaar als kansschatting.
Grove schattingen: Wanneer LLM's worden gevraagd om hun vertrouwen te verbaliseren, neigen ze naar een beperkt aantal discrete waarden (bijv. "75%" of "80%"), in plaats van een fijnmazige (fine-grained) schatting.
Gebrek aan data: Er is een tekort aan hoogwaardige, fijnmazige datasets die de werkelijke probabilistische onzekerheid van menselijke oordelen weerspiegelen.

2. Methodologie (Methodology)

De auteurs stellen een nieuw framework voor om LLM's te trainen als nauwkeurige regressiemodellen voor kansberekening. Hun aanpak rust op drie pijlers:

A. Synthetische Data Creatie (LLM-as-a-Judge & Ensemble):
Om het tekort aan data op te lossen, gebruiken ze een geavanceerde pipeline:

Reasoning-Augmented Prompting: Meerdere LLM's genereren zowel een redenering als een kansscore.
Agreement-Based Filtering: Als de scores van verschillende modellen sterk uiteenlopen (hoge discrepantie), wordt de instantie gemarkeerd.
LLM-as-a-Judge: Een krachtigere LLM beoordeelt de kwaliteit van de redeneerpaden en wijst een betrouwbaarheidsscore toe aan elke schatting. Deze scores worden gebruikt om een gewogen distributie van kansen te vormen.

B. Decoder-based Regression (Expected Label Scoring Rule):
In plaats van simpelweg een getal te voorspellen, trainen ze het model om een distributie over discrete "bins" (segmenten tussen 0 en 1) te voorspellen.

Ze zetten de doelwaarde om in een Gaussische distributie en kwantiseren deze naar de bins.
Door de expected label scoring rule te gebruiken, kan het model via de token-distributie een zeer nauwkeurige, continue schatting geven, wat de beperkingen van grove binning omzeilt.

C. Diverse Trainingsobjectieven:
Het model wordt getraind met een gecombineerde verliesfunctie ( $L$ ):

Direct Loss: KL-divergentie om de voorspelde distributie te laten matchen met de (synthetische of menselijke) labels.
Rank Consistency Training: Een pairwise margin loss die het model dwingt om de juiste volgorde aan te houden (bijv. als propositie A waarschijnlijker is dan B, moet de score van A ook hoger zijn).

3. Belangrijkste Bijdragen (Key Contributions)

Nieuwe Trainingstactiek: Een methode om decoder-only LLM's effectief te gebruiken voor fijnmazige numerieke regressie via token-distributies.
Synthetische Pipeline: Een robuuste methode om hoogwaardige probabilistische labels te genereren door redenering te combineren met een "judge"-mechanisme.
Evaluatie-suite: Een uitgebreid testkader dat verder gaat dan alleen label-matching, inclusief taken voor plausibiliteitsrangschikking en structurele probabilistische redenering (zoals Maieutic en Bayesian inference).

4. Resultaten (Results)

De resultaten tonen aan dat de voorgestelde modellen de huidige stand van de techniek aanzienlijk overtreffen:

Schaalbaarheid: Hoe groter het model, hoe beter de prestaties. De modellen presteren beter dan zowel oudere encoder-modellen (zoals RoBERTa) als zero-shot prompting van krachtige modellen zoals GPT-4o.
Generalisatie: Door het gebruik van synthetische data presteren de modellen veel beter op onbekende domeinen (bijv. medische teksten of blogs).
Besluitvorming: De modellen verbeteren de nauwkeurigheid van complexe redeneersystemen (zoals de BIRD- en Maieutic-frameworks) die afhankelijk zijn van lokale kansschattingen om tot een conclusie te komen.
Menselijke Alignement: De voorspelde distributies van het model vertonen een hoge correlatie met menselijke onenigheid; wanneer mensen het oneens zijn, vertoont het model een multi-modale distributie.

5. Betekenis (Significance)

Dit onderzoek is cruciaal voor de ontwikkeling van betrouwbare AI. Door LLM's te leren niet alleen een antwoord te geven, maar ook de exacte mate van onzekerheid te kwantificeren, kunnen ze veiliger worden ingezet in kritieke toepassingen zoals medische diagnostiek, juridische analyse en complexe besluitvorming. Het legt de basis voor systemen die kunnen opereren in een wereld die inherent onzeker en probabilistisch is.