On Randomness in Agentic Evals
Deze paper toont aan dat de variabiliteit in agente-evaluaties vaak leidt tot onbetrouwbare prestatieschattingen en pleit daarom voor het uitvoeren van meerdere runs en het gebruik van statistische methoden om echte vooruitgang van evaluatieruis te onderscheiden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🎲 De Gok in de Wereld van Slimme Robots
Stel je voor dat je een nieuwe, super slimme robot (een "AI-agent") hebt gebouwd. Deze robot kan complexe taken uitvoeren, zoals het repareren van softwarefouten in een groot computerprogramma. Je wilt weten: Is deze robot echt beter dan de vorige versie?
Om dit te testen, laten onderzoekers de robot vaak maar één keer een taak uitvoeren. Als hij het goed doet, zeggen ze: "Ja, hij is geslaagd!" en rapporteren ze een score.
Dit nieuwe onderzoek van ICLR 2026 zegt echter: "Stop met gokken! Dat is niet genoeg."
De onderzoekers hebben bewezen dat het laten werken van zo'n robot een beetje lijkt op het gooien met een dobbelsteen, zelfs als je denkt dat je de dobbelsteen perfect kunt controleren.
🌪️ De "Vlinder-effect" in de Robot
De kern van het probleem is toeval.
Stel je voor dat je twee robots dezelfde opdracht geeft: "Ga een kapotte deur in een huis repareren."
- Robot A begint met de gedachte: "Ik ga eerst naar de keuken kijken."
- Robot B begint met de gedachte: "Ik ga eerst naar de zolder kijken."
Zelfs als je de robots exact dezelfde instructies geeft, kunnen ze in de eerste seconde een heel klein verschil maken in hun "gedachtegang". Dit lijkt niets voor, maar in de wereld van AI is dit als een vlinder die zijn vleugels slaat aan de ene kant van de wereld, en een storm veroorzaakt aan de andere kant.
- Omdat de robot zijn volgende stap baseert op zijn vorige stap, leidt dat ene kleine verschil al snel tot een compleet andere route.
- Robot A loopt misschien de verkeerde gang in en breekt een vaas.
- Robot B vindt de sleutel en repareert de deur.
Het onderzoek toont aan dat deze robots al binnen de eerste 1% van hun "gedachten" (de eerste paar woorden die ze genereren) uit elkaar lopen. En dat kleine verschil bepaalt of ze slagen of falen.
📉 De "Eén-keer" Valstrik
Vroeger dachten mensen: "Als ik de robot één keer laat werken en hij slaagt, is hij goed."
Het onderzoek laat zien dat dit gevaarlijk is.
- Het loterij-effect: Stel je hebt een robot die gemiddeld 30% van de taken goed doet. Als je die robot maar één keer test, heb je misschien geluk en doet hij het goed (31%). Of je hebt pech en hij faalt (29%).
- De valse hoop: Als een bedrijf zegt: "Onze nieuwe robot is 3% beter!", kan het zijn dat ze gewoon geluk hadden met die ene test. Het is alsof je een munt opgooit en zegt: "Kijk, hij landt op kop, dus mijn munt is magisch!" terwijl het gewoon toeval was.
De onderzoekers hebben 60.000 keer gekeken hoe deze robots werkten. Ze ontdekten dat de scores van één enkele test kunnen variëren met wel 6 punten. Dat is enorm! Een verbetering van 3 punten die in de krant staat, is vaak gewoon ruis, geen echte vooruitgang.
🎢 De "Bergbaan" van Toeval
Om dit te visualiseren, gebruiken de onderzoekers twee concepten:
- De Optimistische Bergbaan (Pass@k): Als je de robot 5 keer dezelfde taak laat doen, is de kans groot dat hij er minstens één keer in slaagt. Dit is de beste mogelijke score. Het is alsof je 5 keer een munt opgooit; de kans dat je minstens één keer kop krijgt, is groot.
- De Pessimistische Bergbaan (Pass^k): Als je de robot 5 keer laat werken, is de kans klein dat hij elke keer sluit. Dit is de slechtste mogelijke score. Het is alsof je 5 keer op rij kop moet gooien; dat is heel moeilijk.
Het onderzoek laat zien dat er een groot gat zit tussen deze twee scores. Soms is de "beste" score 25% hoger dan de "slechtste" score. Dit betekent dat het succes van de robot vaak meer te maken heeft met geluk dan met zijn echte intelligentie.
💡 Wat moeten we nu doen? (De Oplossing)
De onderzoekers geven drie simpele adviezen om de waarheid te vinden:
- Meer dan één keer proberen: Laat de robot niet één keer, maar vele keren (bijvoorbeeld 10 of 30 keer) dezelfde taak doen. Neem dan het gemiddelde. Net zoals je niet zegt dat een speler goed is omdat hij één keer een doelpunt scoort, maar omdat hij dat consistent doet.
- Gebruik de statistieken: Bereken hoeveel keer je moet testen om zeker te weten dat een verbetering echt is. Als je een klein verschil wilt zien, moet je veel vaker testen.
- Kijk naar het hele plaatje: Rapporteer niet alleen de gemiddelde score, maar ook de "beste" en "slechtste" scenario's. Zo weten mensen of de robot betrouwbaar is of dat hij alleen werkt als hij geluk heeft.
🏁 Conclusie
Kortom: AI is niet altijd voorspelbaar. Zelfs als je alles exact hetzelfde instelt, kan een klein beetje toeval de uitkomst volledig veranderen.
Als we willen weten of AI echt vooruitgang boekt, moeten we stoppen met het tellen van één enkele succesvolle poging. We moeten kijken naar het grote plaatje, veel vaker testen en erkennen dat toeval een groot deel van het spel is. Anders bouwen we onze toekomst op een basis van geluk, in plaats van echte wetenschap.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.