🤖 AI

Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

Dit artikel betoogt dat huidige leaderboards met geaggregeerde scores er niet in slagen de prestaties van LLM-agenten in de echte wereld te voorspellen vanwege hun onvermogen om diverse implementatiedimensies te vatten, en stelt in plaats daarvan een raamwerk voor voor voorspellende validiteit dat de rangorde-stabiliteit over out-of-distribution instellingen prioriteert via een nieuw twaalf-traps meetapparaat.

Oorspronkelijke auteurs: Dhaval C. Patel, Kaoutar El Maghraoui, Shuxin Lin, Yusheng Li, Tianjun Feng, Chun-Yi Tsai, Yihan Sun, Wei Alexander Xin, Akshat Bhandari, Tanisha Rathod, Aaron Fan, Sanskruti Vijay Shejwal, Tomas Pasi

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhaval C. Patel, Kaoutar El Maghraoui, Shuxin Lin, Yusheng Li, Tianjun Feng, Chun-Yi Tsai, Yihan Sun, Wei Alexander Xin, Akshat Bhandari, Tanisha Rathod, Aaron Fan, Sanskruti Vijay Shejwal, Tomas Pasiecznik, Sagar Chethan Kumar, Tanmay Agarwal, Rohith Kanathur, Sam Colman, Amaan Sheikh, Dev Bahl, Ann Li, Krish Veera, Alimurtaza Mustafa Merchant, Shambhawi Baswaraj Bhure, Sajal Kumar Goyla, Chengrui Li, Kirthana Natarajan, Rui Li, Thomas Ajai, Rujing Li, Vivek G. Iyer, Sanjaii Vijayakumar, Yitong Bai, Ayal Yakobe, Darief Maes, Yassine Jebbouri, Tianyang Xu, Thai Quoc On, Vera Mazeeva, Winston Li, Yuval Shemla, Yeshitha Bhuvanesh, Rushin Bhatt, Siddharth Chethan Gowda, Alisha Vinod, Caroline Cahill, Shriya Aishani Rachakonda, Yunfeng Chen, Aryaman Agrawal, Aman Upganlawar, Mao Le Jonathan Ang, Yubin Sally Go, Madhav Rajkondawar, Yang-Jung Chen, Trisha Maturi, Ananya Kapoor, Andrew Li, Shrey Arora, Mana Abbaszadeh, Shen Li, Charles Xu, Byeolah Kwon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de beste monteur probeert aan te nemen voor een vloot complexe industriële machines (zoals gigantische airconditioners of transformatoren voor het elektriciteitsnet). Momenteel gebruikt de industrie een Leaderboard om te bepalen wie te nemen: dit is een ranglijst die elke monteur een enkel cijfer geeft, bijvoorbeeld "85 van de 100".

Dit papier betoogt dat dit enkele cijfer een valstrik is. Het vertelt je wie er "goed" is op een specifieke test, maar het vertelt je niet wie er daadwerkelijk zal slagen wanneer het echte, rommelige, onvoorspelbare werk begint.

Hier is de uiteenzetting van het argument van het papier met behulp van eenvoudige analogieën:

1. Het Probleen: De "Eén-Getal" Valstrik

Nu worden AI-agenten (de "monteurs") gerangschikt op basis van een geaggregeerde score.

De Analogie: Stel je voor dat twee monteurs een test doen.
- Monteur A is een genie in plannen, maar doet er 10 uur over om klaar te zijn en kost een fortuin aan brandstof.
- Monteur B is gemiddeld in plannen, maar is binnen 10 minuten klaar en verbruikt heel weinig brandstof.
- Als de test alleen een enkele "Geslaagd/Gezakt"-score geeft, kunnen ze allebei een "A" krijgen.
De Realiteit: In de echte wereld kun je de dure monteur die 10 uur nodig heeft niet betalen. De enkele score verbergt de kosten, de snelheid en de stijl van het werk. Het behandelt zeer verschillende benaderingen alsof ze hetzelfde zijn.

2. Het Bewijs: De Verrassing van het "Verborgen Examen"

De auteurs keken naar een enorme competitie met 149 teams.

De Opzet: Teams bouwden AI-agenten om industriële problemen op te lossen. Ze werden gerangschikt op een "Public Leaderboard" (zoals een oefenexamen).
De Twist: Toen de teams de "Hidden Exam" (de echte implementatietest) maakten, stort de ranglijst in elkaar.
- Voor de "Planning"-track kwam de publieke rangorde enigszins overeen met de verborgen rangorde.
- Voor de "Execution"-track (het daadwerkelijk uitvoeren van het werk), was de correlatie negatief. Het team dat het best leek op het publieke leaderboard, presteerde in de echte wereld juist slechter.
De Les: Een hoge score op een statische test voorspelt niet hoe een agent een nieuwe, onbekende situatie zal afhandelen. Het is als een student die de antwoorden op een oefentoets voor wiskunde uit het hoofd leert, maar faalt wanneer de getallen slechts iets anders zijn.

3. De Fout: De "Zelf-Graderende" Rechter

De meeste leaderboards gebruiken een AI om het werk van de AI te beoordelen (wat "LLM-as-a-Judge" wordt genoemd).

De Analogie: Stel je een leraar voor die de essays van zijn eigen studenten beoordeelt, maar de leraar is ook een AI die elke week van mening verandert. Als de "stemming" (de prompt) van de leraar verandert, veranderen de cijfers, zelfs als het werk van de student hetzelfde blijft.
Het Risico: Het leaderboard eindigt met het meten van de vooroordelen van de rechter in plaats van de werkelijke vaardigheid van de agent. Het papier suggereert dat we een "Regelgebaseerde Scheidsrechter" (zoals een strikte checklist) nodig hebben om het werk te verifiëren, in plaats van simpelweg een andere AI die een gokje doet.

4. De Oplossing: De "12-Lagen" Inspectie

De auteurs stellen voor om te stoppen met de "Eén-Getal" rangschikking en te beginnen met een 12-Lagen Inspectie.
In plaats van te vragen "Wat is de score?", vragen ze: "Hoe gedraagt het zich op deze 12 specifieke manieren?"
Denk hierbij aan een Auto-inspectie in plaats van een snelheidstest. Je wilt niet alleen weten hoe snel een auto gaat; je moet ook weten:

Succes: Heeft het het probleem opgelost?
Hygiëne: Is het de juiste gereedschappen gebruikt zonder ze te breken?
Planning: Heeft het nagedacht voordat er gehandeld werd?
Kosten: Was het te duur?
Foutmodi: Hoe gaat het kapot als er dingen misgaan?
Infrastructuur: Draait het snel op echte hardware?
Multi-turn: Kan het een gesprek aan dat 5 minuten duurt, en niet slechts 5 seconden?
Redeneren: Denkt het hard na wanneer dat nodig is, of raadt het gewoon?
Kennis: Zoekt het de handleiding op, of vertrouwt het op het geheugen?
Bewijs: Kan het zijn antwoord bewijzen met feiten, in plaats van met gissingen?
(En zo verder over 12 dimensies).

5. Het Nieuwe Doel: "Voorspellende Validiteit"

Het papier stelt een nieuwe manier voor om agenten te rangschikken, genaamd Voorspellende Validiteit.

Oude Manier: Rangschik op basis van de gemiddelde score op de test die je zojuist hebt afgelegd.
Nieuwe Manier: Rangschik op basis van hoe goed jouw testscore de prestatie op een andere test voorspelt.
De Analogie: Als je een piloot wilt inhuren, kijk dan niet alleen naar zijn score in een simulator met rustig weer. Kijk naar hoe goed zijn simulatorscore de bekwaamheid voorspelt om te vliegen in een storm. Als de correlatie laag is, is het leaderboard nutteloos.

Samenvatting

Het papier is een waarschuwing aan de AI-gemeenschap: Vertrouw niet op het enkele-getal leaderboard. Het is een "statische momentopname" die faalt wanneer de echte wereld verandert.

In plaats daarvan moeten we:

Meer dimensies meten (snelheid, kosten, veiligheid, redeneren).
Testen op stabiliteit (houdt de rangorde stand wanneer de test verandert?).
Onafhankelijke scheidsrechters gebruiken (regels, niet alleen andere AI's) om het werk te beoordelen.

De auteurs geven toe dat ze het definitieve "bewijs"-experiment nog niet hebben uitgevoerd, maar ze hebben wel bewijs verzameld uit 14 verschillende studies die aantonen dat het huidige systeem kapot is en dat een nieuwe, meer gelaagde aanpak noodzakelijk is om AI nuttig te maken in de echte wereld.

Titel: Voorbij Statische Leaderboards: Voorspellende Validiteit voor de Evaluatie van LLM-agenten

Probleemstelling
De evaluatie van Large Language Model (LLM) agenten is de beperkingen van statische, geaggregeerde score-leaderboards ontgroeid. Hoewel agenten vandaag de dag complexe taken uitvoeren die planning, tool-calling, multi-turn artefact-hergebruik en inter-agent coördinatie omvatten, worden ze momenteel gerankt op basis van enkelvoudige of geaggregeerde metrieken die afstammen van single-shot benchmarks. De auteurs stellen dat deze aanpak de dimensies die relevant zijn voor ingezette agenten systematisch onderspecificeert, wat leidt tot "rangorde-instabiliteit". Empirisch bewijs uit een recente 149-team competitie (Patel et al., 2026) toont aan dat rangordes afgeleid van publieke leaderboards vaak niet overdraagbaar zijn naar verborgen, out-of-distribution (OOD) evaluatiesets. Zo was de Spearman-correlatie tussen publieke en verborgen rangordes statistisch niet te onderscheiden van nul ( $\rho = -0.13$ ) op het executietraject, wat aangeeft dat hoge in-sample scores niet betrouwbaar presteren in out-of-sample scenario's. Bovendien introduceert de afhankelijkheid van "LLM-as-Judge" scoring reflexiviteit, waarbij het leaderboard de biases van het beoordelende model meet in plaats van de werkelijke capaciteit van het systeem, en een gebrek aan een anker vertoont tegen "judge drift".

Methodologie
Dit artikel is een position paper die gebaseerd is op synthese in plaats van nieuwe gecontroleerde experimenten. De methodologie omvat:

Aggregatie van Bewijs: De auteurs consolideren bevindingen van zeven bestaande agent-benchmarks (waaronder AssetOpsBench, MCP-Bench, TaskBench en Exgentic) en veertien parallelle implementatiestudies uitgevoerd binnen het AssetOpsBench-framework.
Architecturale Sensitiviteitsanalyse: De veertien studies, uitgevoerd door onafhankelijke teams, modificeerden specifieke architecturale variabelen (bijv. redeneermodi, retrieval-strategieën, orchestratiepatronen, infrastructuur) terwijl andere constant werden gehouden. De auteurs beschouwen de convergentie van bevindingen over deze diverse implementaties als bewijs van "convergente architecturale sensitiviteit".
Synthese van Dimensies: De auteurs mappen de bevindingen van deze studies en benchmarks naar een voorgestelde "twaalftraps meetapparaat". Dit apparaat is ontworpen om orthogonale dimensies bloot te leggen die huidige leaderboards in enkelvoudige scores reduceren.
Voorgesteld Rangorde-criterium: Het artikel stelt voor om de rangorde-c criterion te verschuiven van "in-sample gemiddelde" naar "voorspellende validiteit", gedefinieerd als de correlatie tussen in-sample rang en out-of-sample rang.

Belangrijkste Bijdragen
Het artikel levert vijf primaire bijdragen:

Een Twaalftraps Meetapparaat: Een synthese van evaluatiedimensies georganiseerd in twee categorieën:
- Kerncapaciteit-tiers (T1–T7): Succesratio's, tool-call hygiëne, planningskwaliteit, capaciteitsassen, kostenefficiëntie-Pareto, faalmodus-taxonomieën en reproduceerbaarheid.
- Deployment Extensie-tiers (T8–T12): Deployment-infrastructuur (latentie-decompositie, protocol overhead), multi-turn dialoog (artefact-hergebruik), redeneermodus-adaptiviteit, kennisaugmentatie (retrieval-strategieën) en bewijsvoering-grounding (judge-onafhankelijke verificatie).
Een Positioneel Argument: De bewering dat geaggregeerde score-leaderboards de complexiteit van ingezette agenten niet kunnen vatten, en dat het vakgebied een twaalftraps apparaat vereist dat gerankt wordt op voorspellende validiteit.
Drie Falsifieerbare OOD-criteria: Concrete criteria om de positie te testen:
- Criterium A (Held-out): Milde distributieverschuiving via gestratificeerde splitsingen.
- Criterium B (Cross-subset): Matige verschuiving (bijv. rangschikking op HVAC chillers versus hydraulische pompen).
- Criterium C (Adversarieel): Sterke verschuiving via semantische parafrasering, hernoeming van identifiers, tijdvenster-verschuiving en distractor-injectie.
Een Schema voor Voorspellende-Validiteit: Een voorgestelde samengestelde score $PV(c) = \alpha \bar{Y}_c - \beta \sigma_{Y_{c,OOD}} - \gamma IQR(Y_c)$ die een balans vindt tussen gemiddelde prestaties, out-of-sample betrouwbaarheid en variantie.
Een Pre-geregistreerd Pilotontwerp: Een roadmap voor een empirische studie om de positie te valideren, inclusief specifieke drempelwaarden voor falsificatie (bijv. als de in-sample naar OOD rangorde-correlatie $\rho \ge 0.85$ , dan wordt de positie weerlegd).

Resultaten en Bewijs
Het artikel presenteert geen nieuwe experimentele resultaten, maar synthetiseert convergente bewijslast uit de veertien implementatiestudies en zeven benchmarks om de claims te ondersteunen:

Rangorde-instabiliteit: Analyse van de CODS-2025 competitie laat zien dat publieke-naar-verborgen rangorde-correlaties vaak zwak of afwezig zijn, met name in de executietrajecten.
Dimensionale Collaps: De synthese onthult dat huidige benchmarks rapporteren over maximaal vier of vijf van de voorgestelde twaalf tiers. Zo missen single-turn benchmarks bijvoorbeeld de dynamiek van multi-turn artefact-hergebruik, en verbergen geaggregeerde scores de trade-offs tussen redeneerkwaliteit en latentie.
Convergente Bevindingen: Onafhankelijke teams identificeerden dezelfde knelpunten en faalmodi, ondanks verschillende startarchitecturen. Voorbeelden zijn:
- Redeneermodi: Het inschakelen van "extended thinking" verbeterde de helderheid met 31 procentpunt, maar verhoogde de latentie met 21,5% — een trade-off die onzichtbaar is voor geaggregeerde scores.
- Retrieval-strategieën: Agentic multi-hop retrieval bereikte ~90% nauwkeurigheid, maar met een 4,5x–10x token-inflatie vergeleken met single-pass RAG (50–68% nauwkeurigheid).
- Infrastructuur: De MCP-stdio subprocess overhead werd geïdentificeerd als een dominante latentie-ondergrens (tot 5–6 seconden per call) in meerdere studies, waardoor protocol overhead werd verward met redeneerkracht.
- Judge Reflexiviteit: De inter-rater betrouwbaarheid van LLM-as-judge ( $\alpha = 0.61$ ) bleek lager te zijn dan de mens-mens betrouwbaarheid ( $\alpha \in [0.74, 0.82]$ ), wat de noodzaak benadrukt voor judge-onafhankelijke ankers zoals regelgebaseerde pipelines of DAG oracles.

Betekenis en Claims
Het artikel stelt dat het huidige paradigma van "geaggregeerde score-leaderboards" onvoldoende is om beslissingen over deployment te sturen, omdat het niet in staat is om out-of-distribution prestaties te voorspellen. De betekenis van dit werk ligt in:

Operationalisering van Voorspellende Validiteit: Het voorstellen van een concreet, falsifieerbaar kader voor het rangschikken van agenten op basis van hun vermogen om te generaliseren, in plaats van hun vermogen om een specifieke benchmarkset te overfitten.
Blootleggen van Verborgen Dimensies: Het aantonen dat de "meetruimte" van ingezette agenten ongeveer twaalf-dimensionaal en orthogonaal is, terwijl huidige leaderboards deze reduceren tot enkelvoudige metrieken.
Verschuiving van het Vakgebied: Het bewegen van de gemeenschap naar een "design science" van interactieve evaluatie die vereist dat configuraties (architectuur, redeneermodus, retrieval-strategie) worden gedeclareerd, resultaten gelaagd worden gepresenteerd en judge-onafhankelijke verificatie wordt toegepast.

De auteurs zijn expliciet over de beperkingen van het artikel: het is een synthese en position paper, geen empirische validatie. De claim van voorspellende validiteit is een hypothese die wordt ondersteund door convergente architecturale sensitiviteit, maar vereist de gecontroleerde gerandomiseerde trial die zij in hun onderzoeksagenda beschrijven om bevestigd te worden. Zij erkennen dat het twaalf-tiers apparaat momenteel als orthogonaal wordt geponeerd, maar nog niet empirisch op onafhankelijkheid is getest.