🤖 AI

Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations

Dit artikel introduceert **optstop**, een Bayesiaans adaptief stopkader dat steekproefbudgetten dynamisch toewijst op basis van onzekerheid in plaats van vaste aantallen, waardoor LLM-evaluaties de computationele kosten met 57%–97% kunnen verlagen terwijl equivalente conclusies worden behouden.

Oorspronkelijke auteurs: Toby D. Pilditch

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Toby D. Pilditch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, onderzoek je een superintelligent robotbrein genaamd een Large Language Model (LLM). Deze robots zijn geweldig; ze kunnen verhalen schrijven, wiskundeproblemen oplossen en zelfs code schrijven. Maar om te weten of ze echt slim zijn of gewoon aan het gokken zijn, moeten mensen ze testen op duizenden verschillende vragen. Dit wordt "evaluatie" genoemd.

Het probleem is dat testen ongelooflijk duur en traag is. Elke keer dat je de robot een vraag stelt, kost het geld en tijd om een antwoord te krijgen. Traditioneel hebben wetenschappers een "brute force"-methode gebruikt: ze stellen de robot exact dezelfde vraag 10 keer, dan 10 keer voor de volgende vraag, enzovoort, totdat ze een vast aantal antwoorden hebben voor alles. Het is alsof je een vriend vraagt: "Houd je van pizza?" 100 keer, alleen om er absoluut zeker van te zijn dat hij ervan houdt, zelfs nadat hij met 100% vertrouwen na de eerste drie keer al "Ja" heeft gezegd. Dit verspilt een enorme hoeveelheid middelen.

De tekst die je nu gaat lezen, introduceert een nieuwe, slimmere manier om dit detectivewerk te doen. Het maakt gebruik van een wiskundige truc genaamd "Bayesiaanse inferentie" (wat gewoon een chique manier is om te zeggen: "je gok bijsturen terwijl je nieuwe aanwijzingen krijgt") om precies uit te rekenen wanneer je moet stoppen met vragen stellen. In plaats van een vast aantal, vraagt het: "Weten we het antwoord al goed genoeg?" Als het antwoord ja is, stopt het onmiddellijk. Als het antwoord nog steeds vaag is, gaat het door. Dit bespaart tijd, geld en energie, waardoor we meer modellen en moeilijkere vragen kunnen testen zonder de bank te breken.

Het "Stopteken" voor Robotbreinen

Maak kennis met optstop. Denk aan optstop als een zeer slimme, zeer geduldige verkeersregelaar voor het testen van AI.

Op dit moment, wanneer wetenschappers AI-modellen testen, volgen ze meestal een rigide regelboek: "Test elke enkele vraag exact 10 keer." Het maakt niet uit of de AI de eerste 10 vragen direct goed heeft, of dat de AI worstelt en ze fout heeft. Het regelboek zegt: "Ga door, je moet 10 pogingen doen." Dit is als een chef die een soep proeft en besluit om precies 10 keer te roeren, zelfs als de soep na één roer al perfect is, of als de pan leeg is. Het is inefficiënt.

De auteur van dit artikel, Toby D. Pilditch, stelde een simpele vraag: Waarom stoppen we niet wanneer we het antwoord al weten?

Ze bouwden een nieuw systeem genaamd optstop dat testen behandelt als een spelletje "Warm of Koud". Terwijl de AI vragen beantwoordt, houdt het systeem de "onzekerheid" in de gaten.

Als de AI een wiskundeprobleem oplost en het 10 keer achter elkaar goed heeft, zegt het systeem: "Oké, we zijn voor 99% zeker dat hij wiskunde kent. Laten we stoppen met het testen van dit specifieke probleem en verdergaan."
Als de AI een lastige veiligheidsvraag beantwoordt en het 5 keer fout heeft maar één keer goed, zegt het systeem: "Wacht, dat ene 'goede' antwoord is belangrijk! We zijn het nog niet zeker. Blijf dit een beetje testen."

Dit gaat niet alleen over het besparen van een paar minuten. De paper laat zien dat door deze "stop wanneer je zeker bent"-methode te gebruiken, ze het aantal benodigde tests in hun experimenten met 57% tot 97% konden verminderen. Dat is alsof je een race van 100 mijl voltooit in 30 mijl, omdat je besefte dat je de finishlijn al bereikt had.

Hoe het werkt: De Drielagen Taart

Om te begrijpen waarom optstop zo goed is, stel je het testproces voor als een drielagen taart:

De onderste laag (De Items): Dit zijn de individuele vragen. Sommige zijn makkelijk (de AI krijgt ze elke keer goed), en sommige zijn moeilijk (de AI worstelt ermee).
De middelste laag (De Taken): Dit zijn groepen vragen, zoals "Wiskunde" of "Schrijven".
De bovenste laag (Het Model): Dit is de AI zelf.

Oude methoden behandelden elke vraag hetzelfde. optstop kijkt naar de hele taart. Het realiseert zich dat als de AI geweldig is in "Makkelijke Wiskunde", het niet nodig is om elke enkele makkelijke wiskundevraag 10 keer te testen. Het kan vroegtijdig stoppen bij de makkelijke vragen en zijn energie besteden aan de moeilijke vragen waar de AI in de war is.

Het systeem gebruikt een speciale vorm van wiskunde (hiërarchische Bayesiaanse inferentie) om twee dingen tegelijk bij te houden:

Precisie: Hoe zeker zijn we? Als de "betrouwbaarheidsinterval" (een chique manier om de reeks mogelijke antwoorden aan te duiden) nauw genoeg wordt, stoppen we.
Stabiliteit: Begint het antwoord te stabiliseren? Als de antwoorden van de AI niet veel meer veranderen, stoppen we.

Het "Conservatieve" Veiligheidsnet

Er is één lastig deel. Wat als de AI echt, echt slecht is in iets? Stel je een AI voor die slechts 1 op de 100 vragen goed heeft. Als je te vroeg stopt met testen, denk je misschien dat hij 0% goed heeft, terwijl hij het in werkelijkheid wel kan, maar zelden.

Om dit op te lossen, heeft optstop een "conservatisme"-instelling. Als de AI slecht presteert, wordt het systeem extra voorzichtig. Het zegt: "Hé, we zouden een zeldzaam succes kunnen missen! Laten we zelfs wat nauwkeuriger blijven testen, ook al zien de cijfers er slecht uit." Het is als een ouder die het huiswerk van een kind controleert: als het kind alles goed heeft, stop je met controleren. Maar als ze alles fout hebben, controleer je juist méér zorgvuldig om te zien of ze niet gewoon een slechte dag hadden of een klein detail hebben gemist.

De Resultaten: Een Grote Overwinning voor Efficiëntie

De auteur testte dit idee met een groot experiment. Ze namen 200 verschillende vragen en haalden deze door 10 rondes van testen (10 "epochs"). Ze vergeleken de oude "doe alles 10 keer"-methode met de nieuwe optstop-methode.

Dit is wat ze vonden:

Enorme Besparingen: In hun tests sloeg optstop tussen de 57% en 97% van de geplande tests over. In sommige gevallen hoefden ze slechts een fractie van de tests uit te voeren om hetzelfde resultaat te krijgen.
Dezelfde Nauwkeurigheid: Zelfs hoewel ze eerder stopten, was de uiteindelijke score die ze aan de AI gaven bijna identiek aan de score die ze hadden gekregen als ze alle tests hadden uitgevoerd. Het verschil was zo klein (minder dan 0,01 op een schaal van 0 tot 1) dat het er niet toe deed.
Verschillende Scores, Verschillende Besparingen: Het systeem bespaarde de meeste tijd op continue scores (zoals een cijfer van 0 tot 100) en de minste op eenvoudige "Goed/Fout"-scores, maar het bespaarde in alle gevallen tijd.

Waarom dit Belangrijk is

Dit is niet alleen een wiskundige truc; het is een game-changer voor AI-veiligheid. Op dit moment is het testen van AI zo duur dat labs slechts een paar modellen of een paar soorten problemen kunnen testen. Als we de testingtijd met de helft of meer kunnen verminderen, kunnen we meer modellen testen, meer gevaarlijke scenario's en complexere taken.

De paper bewijst dat we geen energie hoeven te verspillen aan vragen die we al beantwoord hebben. Door de data ons te laten vertellen wanneer we moeten stoppen, kunnen we AI-testen sneller, goedkoper en gerichter maken op de zaken die er echt toe doen. Het is het verschil tussen blind een spijker in een plank slaan tot deze breekt, en een hamer gebruiken die precies weet wanneer de spijker erin zit.

Kortom, optstop leert ons dat weten wanneer je moet stoppen net zo belangrijk is als weten hoe je moet beginnen. En voor de toekomst van AI is dat een les die we dringend moeten leren.

Technische Samenvatting: Weten wanneer te stoppen: Bayesiaans optimaal stoppen voor LLM-evaluaties

1. Probleemstelling

Huidige praktijken voor de evaluatie van Large Language Models (LLM's) vertrouwen voornamelijk op vaste steekproefbudgetten, waarbij elk benchmark-item een vooraf bepaald aantal keren wordt getest, ongeacht de precisie van de resulterende prestatieschattingen. Deze "hoogste-getal-is-het-beste"-benadering verspilt vaak aanzienlijke computationele middelen aan items waar de schattingen al precies zijn, terwijl het mogelijk onvoldoende middelen toewijst aan scenario's met een hoge variantie of zeldzame gebeurtenissen.

De kernvraag van de methodologie die wordt geadresseerd, is of de huidige praktijken systematisch verkeerd gekalibreerd zijn, wat leidt tot ofwel verspilde rekenkracht, ofwel voortijdige beëindiging voordat betrouwbare conclusies kunnen worden getrokken. Bestaande adaptieve strategieën, zoals die gebaseerd op Item Response Theory (IRT), vereisen doorgaans vooraf gekalibreerde itembanken en beperken vaak de breedte van de evaluatie door alleen de meest informatieve items te selecteren. Bovendien schieten standaard frequentistische benaderingen (bijv. betrouwbaarheidsintervallen gebaseerd op steekproefgemiddelden) vaak tekort in evaluatiecontexten die worden gekenmerkt door ijle, niet-continue of hiërarchisch geneste data.

2. Methodologie: Het optstop-framework

Het paper introduceert optstop, een precisie-gebaseerd adaptief stop-framework dat LLM-evaluatie behandelt als een sequentieel meetprobleem. Het framework is geïmplementeerd als een Python-bibliotheek die compatibel is met het inspect_ai evaluatie-ecosysteem en kan werken in zowel live- als retrospectieve modi.

Kernprincipes

Precisie-gebaseerd stoppen: Het primaire stopcriterium is de breedte van het posterieure geloofwaardigheidsinterval (Credible Interval, CI) voor een prestatieparameter. Steekproeftrekking voor een specifiek item of groep stopt wanneer de CI-breedte ( $W$ ) onder een door de gebruiker gespecificeerde drempelwaarde ( $\delta$ ) valt. Een secundair "stabilisatie"-criterium fungeert als een fallback, waarbij detecteert wanneer verdere gegevensverzameling een afnemend rendement oplevert door de helling van de reductie in CI-breedte te monitoren.
Hiërarchische Bayesiaanse Inferentie: Het framework modelleert expliciet de geneste structuur van evaluatiedata (responses $\to$ items $\to$ groeperingen). Het maakt gebruik van partial pooling om informatie te delen tussen items binnen een groepering, wat stabiele schattingen biedt, zelfs wanneer individuele items op verschillende momenten stoppen.
Asymmetrische Conservatisme: Om het risico op voortijdige beëindiging te adresseren voordat zeldzame maar cruciale successen zijn waargenomen (bijv. een model dat slechts in 1% van de pogingen slaagt), past het framework een asymmetrische aanpassing toe. Wanneer de geschatte prestatie onder een lage drempelwaarde valt (standaard 1%), wordt de effectieve CI-breedte opgeblazen en worden de stabilisatiedrempels aangescherpt, waardoor het stopproces wordt vertraagd om de observatie van zeldzame successen mogelijk te maken.

Inferentiepaden

Het framework ondersteunt drie verschillende inferentiepaden die zijn afgestemd op verschillende scoretypes:

Binair (0/1): Gebruikt een logit-normaal hiërarchisch model op groeperingsniveau en een adaptief Beta-model op itemniveau. De estimand is de populatiegemiddelde succeskans.
Ordinaal (Geordende Categorieën): Gebruikt een hiërarchisch geordend logistisch (cumulatief link) model met een Dirichlet-Multinomial fallback. Het hanteert een hybride stopcriterium: Pad 1 vereist een smalle modale CI en lage entropie (gepiekte distributie); Pad 2 wordt getriggerd als de entropie CI-breedte convergeert (diffuse distributie).
Continu (Begrensd): Gebruikt een hiërarchisch logit-normaal model dat opereert op item-niveau samenvattende statistieken (gemiddelden) in plaats van individuele observaties, wat aanzienlijke computationele versnellingen oplevert.

Groepering en Routing

Groeperingen zijn door de gebruiker gedefinieerde partities (bijv. Model $\times$ Taak) die onafhankelijke inferentiestaten behouden. Het framework routeert data naar het juiste pad op basis van configuratie (bijv. patronen in taamnamen of instellingen voor score-aggregatie) zonder dat daarvoor vooraf gekalibreerde itemparameters nodig zijn.

3. Belangrijkste Bijdragen

Adaptief stoppen zonder pre-kalibratie: In tegen tegenstelling tot adaptieve testmethoden die een vooraf gekalibreerde itembank vereisen, houdt optstop elk benchmark-item in aanmerking voor sampling, waarbij gestopt wordt zod르게 statistische precisie is bereikt.
Uniform Framework voor Diverse Datatypen: Het biedt een enkel mechanisme voor binaire, ordinale en continue uitkomsten, waarbij de specifieke statistische uitdagingen van elk type worden afgehandeld (bijv. entropie-validatie voor ordinale data).
Veiligheid-georiënteerd Conservatisme: De introductie van een asymmetrisch conservatisme-mechanisme adresseert specifelijk het "pass@k"-probleem, waardoor wordt gewaarborgd dat lage prestatieschattingen niet leiden tot vroege stopzetting voordat zeldzame capaciteiten zijn gedetecteerd.
Live en Retrospectieve Bruikbaarheid: De tool functioneert als een live vroegtijdig stop-protocol tijdens evaluatieruns en als een retrospectief analyse-instrument voor voltooide datasets.

4. Empirische Resultaten

Het framework werd gevalideerd via een $3 \times 3$ matrix-experiment waarbij drie inferentiepaden (binair, ordinaal, continu) werden gekruist met drie prestatieniveaus (laag, midden, hoog). Het experiment maakte gebruik van een 'shadow mode', waarbij alle 2.000 geplande trials per cel werden uitgevoerd terwijl tegelijkertijd werd bijgehouden wanneer aan de stopcriteria zou zijn voldaan.

Efficiëntiewinst: Het framework elimineerde tussen de 57,2% en 97,3% van de geplande trials over de negen validatie-instellingen.
- Continue paden bereikten de hoogste efficiëntie (gemiddeld 95,1%), gevolgd door ordinaal (75,0%) en binair (73,3%).
- Extreme prestatieniveaus (nabij de vloer of het plafond) leverden grotere besparingen op dan gemiddelde niveaus vanwege snellere posterieure convergentie.
Scoregetrouwheid: Ondanks de enorme reductie in trials, bleven de getrunceerde schattingen nauw aansluiten bij de resultaten van volledige runs. De gemiddelde absolute score-deviatie over alle cellen was 0,006 op een genormaliseerde schaal van [0, 1]. De grootste enkele cel-deviatie (0,022) bleef binnen de precisiedrempel ( $\delta = 0,05$ ).
Statistische Equivalentie: Bayesiaanse equivalentietesten (HDI + ROPE) bevestigden dat de truncatie verwaarloosbare systematische bias introduceert. Een hiërarchische meta-analyse van het truncatie-effect over alle cellen leverde een gemiddeld verschil op van $\hat{\mu} = +0,0003$ met een 97% HDI van $[-0,002, +0,003]$ , volledig gelegen binnen de regio van praktische equivalentie (ROPE).
Behoud van Rangschikking: In de ordinale en continue kolommen bleven de relatieve prestatierangschikkingen van modellen onder verschillende condities (bijv. variërende max_tokens) behouden in zowel de volledige runs als de getrunceerde condities.

5. Betekenis en Claims

Het paper claimt dat optstop de LLM-evaluatie transformeert van een fixed-budget oefening naar een gerichte strategie voor herallocatie van middelen. Door compute toe te wijzen op basis van onzekerheid in plaats van vaste herhalingsaantallen, stelt het framework gebruikers in staat om:

Kosten te Verlagen: De computationele en financiële last van uitgebreide evaluaties aanzienlijk verminderen.
Duurzaamheid te Verbeteren: De ecologische voetafdruk van evaluatiecampagnes verkleinen.
Rigor te Verbeteren: Middelen te richten op de grenzen van capaciteiten en scenario's met zeldzame gebeurtenissen waar de onzekerheid het hoogst is, in plaats van inspanning te verspillen aan goed gekarakteriseerde model-taakcombinaties.

De auteur benadrukt dat de geldigheid van het framework rust op de uitwisselbaarheid (exchangeability) van observaties binnen groeperingen en de gerandomiseerde presentatievolgorde van items. Hoewel de huidige validatie verschillende paden en benchmarks beslaat, merkt de auteur bescheiden op dat bredere replicatie over verschillende evaluatiecontexten en schalen de vertrouwen in de generaliseerbaarheid van het framework verder zou versterken. De aanpak wordt gepresenteerd niet enkel als een optimalisatie, maar als een integraal onderdeel van evaluatieregimes die zowel rigoureus als duurzaam willen zijn.