💬 NLP

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

Het artikel introduceert UnpredictaBench, een nieuwe benchmark en metriek (KS@N) die ontworpen is om het vermogen van grote taalmodellen om accuraat te samplen uit ware onderliggende distributies te evalueren, waarbij wordt onthuld dat huidige modellen aanzienlijk moeite hebben met distributionele willekeur ondanks hun groeiende gebruik in simulaties.

Oorspronkelijke auteurs: Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok inhuurt om een maaltijd te koken voor een feestje. Je wilt niet zomaar één heerlijk gerecht; je wilt een buffet dat het hele menu perfect vertegenwoordigt. Als het menu zegt "50% pasta, 30% salade, 20% soep", dan verwacht je dat het buffet ongeveer diezelfde verhoudingen heeft.

UNPREDICTABENCH is een test om te zien of Large Language Models (LLM's) als die chef-kok kunnen optreden. De onderzoekers wilden weten: Kunnen deze AI-modellen willekeurige uitkomsten genereren die echt overeenkomen met het "recept" (de statistische verdeling) dat ze krijgen gegeven?

Hier is de uitsplitsing van het paper met behulp van eenvoudige analogieën:

1. Het Probleem: De "Veilige" Chef

De auteurs merkten op dat AI-modellen weliswaar geweldig zijn in redeneren, maar vreselijk zijn in het zijn van echt willekeurig.

Het Probleat: Wanneer een AI wordt gevraagd een willekeurige gebeurtenis te simuleren (zoals het gooien van een dobbelsteen of het simuleren van een beurscrash), neigt de AI naar "saaiheid" of "veiligheid". In plaats van zijn antwoorden te verspreiden om de echte wereldse chaos te evenaren, stort het in tot één enkel, voorspelbaar antwoord.
De Analogie: Stel je voor dat je een AI vraagt om 100 muntworpen te simuleren. Een echte munt zou je ongeveer 50 keer kop en 50 keer munt geven, verspreid over de tijd. De AI geeft je echter misschien 50 keer achter elkaar kop, of zegt simpelweg "Kop" bij elke worp omdat hij denkt dat dat het "meest logische" antwoord is. Het slaagt er niet in de onvoorspelbaarheid van de echte wereld te vangen.

2. De Test: UNPREDICTABENCH

Om dit op te lossen, bouwden de onderzoekers een enorme test genaamd UNPREDICTABENCH.

De Opzet: Ze creëerden 448 verschillende uitdagingen. Sommige waren eenvoudige wiskundige problemen (zoals "Geef me een getal uit een klokcurve"), sommige waren codepuzzels, en andere waren realistische scenario's (zoals "Wat gebeurt er als twee auto's tegelijkertijd bij een verkeerslicht aankomen?").
Het Doel: Ze vroegen de AI om voor elk probleem 100 samples te genereren.
De Scorekaart (KS@100): Ze gebruikten een statistische liniaal genaamd de Kolmogorov-Smirnov-test (denk aan dit als een "Vorm-Matcher").
- Als de 100 antwoorden van de AI leken op de perfecte, echte wereldse vorm, kreeg het model een hoge score.
- Als de antwoorden van de AI bij elkaar geclusterd waren of als een platte lijn eruitzagen, kreeg het een lage score.
- Het Resultaat: De hoogste score die een model ook maar bereikte, was slechts ongeveer 32%. Dit betekent dat zelfs de slimste AI meer dan twee derde van de tijd faalt in het nabootsen van echte willekeur.

3. De Bevindingen: Wie faalde en waarom?

De onderzoekers testten veel verschillende modellen, van kleine open-source modellen tot enorme, dure bedrijfsmodellen.

De "Instorting": De meeste modellen leden aan "mode collapse". Stel je een DJ voor die een mix van rock, jazz en pop moet afspelen. In plaats daarvan speelt hij steeds hetzelfde rocknummer af omdat hij denkt dat dit het "beste" nummer is. De AI doet dit met getallen; hij kiest één "aannemelijk" getal en blijft daarbij.
Grootte Maakt Niet Uit: Grotere modellen waren niet noodzakelijkerwijs beter. Sommige enorme modellen presteerden slechter dan kleine modellen.
Redeneren Hielp Niet: De onderzoekers probeerden de AI te vragen om "harder na te denken" voordat hij antwoord gaf. Het hielp een beetje, maar het loste het kernprobleem niet op. De AI kon nog steeds geen echt willekeurige spreiding van getallen genereren.
Instruction Tuning Maakte het Slechter: Modellen die werden bijgestuurd (fine-tuned) om "behulpzaam" en "veilig" te zijn, werden juist slechter in het zijn van willekeurig. "Behulpzaam" zijn lijkt de AI de drang te geven om een enkel, zelfverzekerd antwoord te geven in plaats van een rommelig, willekeurig antwoord.

4. De Metafoor: De Gebroken Dobbelsteen

Beschouw een LLM als een magische dobbelsteenwerper.

Wat we willen: Een eerlijke dobbelsteen die over een bepaalde tijd even vaak op 1, 2, 3, 4, 5 en 6 landt.
Wat de AI doet: De AI gooit de dobbelsteen, ziet een "3", en besluit: "3 is een heel redelijk getal. Ik zal weer een 3 gooien." En weer. En weer. En weer.
De Gevolgen: Als je deze AI gebruikt om een ziekte-uitbraak of een economische crash te simuleren, zullen je voorspellingen fout zijn, omdat de AI niet de chaos van de gebeurtenis simuleert, maar zijn eigen zelfvertrouwen in een enkele uitkomst.

5. De Conclusie

Het paper concludeert dat huidige AI-modellen niet klaar zijn om mensen te vervangen in simulaties die echte willekeur vereisen (zoals economische modellering of wetenschappelijke experimenten). Ze zijn te "deterministisch" (voorspelbaar).

De onderzoekers hebben deze benchmark gecreëerd om ons precies te laten zien waar de AI tekortschiet. Totdat we deze modellen kunnen leren om echt onvoorspelbaar te zijn en hun antwoorden te verspreiden zoals een echt willekeurig proces dat doet, kunnen we hen niet vertrouwen voor het simuleren van complexe, chaotische systemen.

Kortom: De AI is een geweldige verhalenverteller, maar een slechte gokker. Hij kent de regels van het spel, maar hij kan het spel niet echt willekeurig spelen.

Technische Samenvatting: UNPREDICTABENCH

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet als proxies voor menselijk gedrag en stochastische systemen in toepassingen zoals economische simulaties, epidemiologische modellering en multi-agent omgevingen. Hoewel LLM's het vermogen vertonen om over waarschijnlijkheidsverdelingen te redeneren en kansen te schatten, is er een kritieke kloof in hun vermogen om samples te genereren die de onderliggende doelverdelingen getrouw weerspiegelen. Huidige modellen vertonen vaak een neiging tot "instorting" naar een enkel plausibel antwoord of een smal bereik van outputs, waardoor ze de werkelijke onvoorspelbaarheid en variantie die inherent is aan echte stochastische processen niet kunnen vatten. Bestaand werk gericht op het verbeteren van de outputdiversiteit is onvoldoende voor deze simulatietaken, die samples vereisen die gekalibreerd zijn aan een specifieke doelverdeling in plaats van louter gevarieerde outputs. Er is een gebrek aan systematische evaluatie om te bepalen of LLM's onzekere uitkomsten kunnen produceren die statistisch consistent zijn met grondwaarheidsverdelingen.

Methodologie

Om dit gat te dichten, introduceren de auteurs UNPREDICTABENCH, een benchmark ontworpen om de distributionele willekeur van LLM's te evalueren.

Constructie van de Benchmark

De benchmark bestaat uit 448 testinstanties afgeleid van 40 doelwaarschijnlijkheidsverdelingen (variërend van unimodaal tot multimodaal, discreet tot continu). De taken zijn gecategoriseerd in zeven typen om het distributionele begrip over diverse representaties heen te toetsen:

Tekst Expliciet: De verdeling en parameters worden expliciet benoemd; het model moet een sample genereren.
Tekst Impliciet: Een scenario uit de echte wereld wordt beschreven zonder de verdeling te benoemen; het model moet het stochastische proces afleiden en samplen.
Code Expliciet: Het model voorspelt de output van een Python-programma dat direct samples trekt uit een verdeling (bijv. via NumPy).
Code Impliciet: Het model voorspelt de output van een programma waarbij de doelverdeling wordt geïnduceerd door transformaties (bijv. ratio's van gamma-variabelen) zonder expliciete benoeming.
Multimodaal: Samplen uit mengsels van twee of meer componentverdelingen.
Shuffling: Het genereren van een uniforme willekeurige permutatie van een lijst (gecodeerd via Lehmer-codes voor evaluatie).
Real-World Scenario's: Handmatig samengestelde taken die inherent onzekere omgevingen betreffen (bijv. race conditions, MCMC-dynamiek, netwerksimulaties).

Evaluatiemetriek: KS@N

De primaire evaluatiemetriek is KS@N, die de distributionele getrouwheid kwantificeert met behulp van de Kolmogorov-Smirnov (KS) statistische toets.

Procedure: Voor een gegeven probleem genereert het model $N$ onafhankelijke samples (meestal $N=100$ ). Deze worden vergeleken met een referentieset van $M=10.000$ samples getrokken uit de grondwaarheidsverdeling.
Berekening: Een twee-steekproef KS-test wordt uitgevoerd om een p-waarde te verkrijgen. Als de p-waarde een strikte drempelwaarde ( $p_{threshold} = 0.0001$ ) overschrijdt, worden de samples van het model niet verworpen als inconsistent met de grondwaarheid.
Score: KS@N is het deel van de problemen waarbij de samples van het model niet worden verworpen. Een hogere score duidt op een betere distributionele kalibratie.
Complementaire Metrieken: De studie rapporteert ook de Debiased Wasserstein-1 Afstand (WDZ) om staartgedrag en locatieverschuivingen te vangen, en de Jensen–Shannon Divergentie (JSD) om mismatches in dichtheidsvorm te meten.

Belangrijkste Resultaten

De auteurs hebben een diverse set open-weight en propriëtaire modellen geëvalueerd (waaronder GPT-4o/5.4, Claude Sonnet, Llama 3, Qwen, Nemotron en DeepSeek).

Algemene Prestaties: Geen enkel model behaalde een KS@100-score boven de 40%. Het best presterende model, Nemotron-3 Super 120B, behaalde 32,64%, terwijl veel frontier-modellen (bijv. GPT-5.4, Claude Sonnet 4.6) onder de 15% scoorden. De meeste modellen clusterden tussen de 0% en 20%.
Foutmodi: Modellen falen op twee manieren: (1) het ontbreken van een interne representatie van de doelverdeling, of (2) het begrijpen van de ruwe vorm maar vervolgens instorten naar een smal outputbereik (mode collapse).
Taakmoeilijkheid:
- Shuffling en Code-taken waren het meest uitdagend, waarbij geen enkel model de 40% overschreed en verschillende sterke presteerders naar 0% instortten.
- Real-World taken leverden de hoogste individuele scores op voor sommige modellen (bijv. Llama-3.2-1B bereikte 59,09%), waarschijnlijk door nauwere effectieve outputbereiken in die specifieke scenario's.
- Multimodale verdelingen bleken aanzienlijk moeilijker voor modellen met sterke deterministische neigingen, wat vaak leidde tot totale instorting.
Impact van Interventies:
- Redeneren: Het inschakelen van reasoning tokens verbeterde de uiteindelijke outputprestaties voor sommige modellen, maar onthulde ook dat anderen "meer weten dan ze zeggen", aangezien hun reasoning tokens een breder scala aan kandidaten bevatten dan hun uiteindelijke outputs.
- Instruction Tuning: Instruction tuning bood slechts marginale voordelen en verminderde in sommige gevallen de outputdiversiteit actief vergeleken met base-modellen.
- Temperatuur: Hogere temperaturen (bijv. $T=1.2$ ) verbeterden de KS@100 over het algemeen door diversiteit te vergroten, hoewel zwakkere modellen soms leden onder toegenomen afwijkingen in de staarten.
- List Prompting: Het vragen aan modellen om lijsten van samples te genereren (bijv. 10 tegelijk) verbeterde de globale dekking voor capabele modellen, maar schaadde de prestaties van anderen (bijv. Llama-3.2-1B).

Betekenis en Claims

Het artikel positioneert UNPREDICTABENCH als een noodzakelijke eerste stap naar het gebruik van LLM's als betrouwbare stand-ins voor complexe stochastische systemen.

Statistische Fundering: In tegen tegenstelling tot "LLM-as-a-judge" evaluaties, biedt UNPREDICTABENCH een statistisch gefundeerde metriek (KS@N) die de distributionele getrouwheid direct meet tegen bekende grondwaarheden.
Correlatie met Nut: De benchmark correleert sterk met nut-metrieken uit creativiteitsbenchmarks (NoveltyBench, CREATE), wat suggereert dat distributionele getrouwheid een echt aspect van modelkwaliteit vangt dat relevant is voor creatieve en diverse generatie.
Huidige Beperkingen: De auteurs benadrukken dat zelfs eenvoudige distributionele simulatie een aanzienlijke uitdaging blijft voor huidige modellen. De grote kloof tussen de huidige prestaties en de theoretische bovengrens (Random Machine) geeft aan dat LLM's nog niet klaar zijn voor high-stakes simulatietaken die een getrouwe willekeur vereisen.
Toekomstige Roadmap: De benchmark biedt een sjabloon voor toekomstig werk, met een schaalbare moeilijkheidsgraad (via het verhogen van $N$ ) en een verenigd testbed voor het onderzoeken van willekeur, onzekerheidskalibratie en de effecten van trainingsdoelstellingen (bijv. RLHF) op stochastisch gedrag.

Het artikel concludeert dat hoewel LLM's kunnen redeneren over willekeur, hun vermogen om deze te produceren fundamenteel gebrekkig blijft, wat verder onderzoek naar modelarchitecturen en trainingsstrategieën noodzakelijk maakt die outputdiversiteit behouden zonder de kalibratie op te offeren.