💬 NLP

Towards More Standardized AI Evaluation: From Models to Agents

Dit paper betoogt dat evaluatie in het tijdperk van AI-agenten moet evolueren van statische benchmarks naar een continue meetdiscipline die vertrouwen, iteratie en governance in niet-deterministische systemen mogelijk maakt.

Oorspronkelijke auteurs: Ali El Filali, Inès Bedar

Gepubliceerd 2026-02-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali El Filali, Inès Bedar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Van Vaste Vragen naar Levensechte Testen: Waarom onze AI-toetsen niet meer werken

Stel je voor dat je een vliegtuig bouwt. In het verleden keken we alleen of het vliegtuig een keer van de grond kwam. Als het eenmaal vloog, dachten we: "Goed zo, het werkt!" Maar vandaag bouwen we geen simpele vliegtuigen meer; we bouwen autonome robots die zelf beslissingen nemen, gereedschappen gebruiken en reageren op veranderingen.

Het probleem is dat we ze nog steeds testen alsof het statische vliegtuigen zijn. Dit artikel zegt: Stop met die oude toetsen. We moeten een nieuw soort "rijbewijs" voor AI bedenken.

Hier zijn de belangrijkste lessen, vertaald naar alledaagse taal:

1. De Verschuiving: Van "Het antwoord" naar "Het gedrag"

Vroeger was AI als een rekenmachine: je gaf een vraag in, en hij gaf een antwoord. Als het antwoord klopte, was hij goed.
Vandaag is AI een autonome chauffeur. Hij moet niet alleen rijden, maar ook beslissen wanneer hij remt, hoe hij omgaat met een stilstaande bus, en wat hij doet als de GPS uitvalt.

De oude manier: Kijken of de chauffeur op de juiste bestemming aankomt.
De nieuwe manier: Kijken of hij altijd veilig rijdt, ook als het regent, als er een kind op het pad springt, of als hij moe is.
De les: Als een AI-agent één keer een taak goed doet, maar de volgende keer faalt, is hij niet betrouwbaar. Variatie is geen "ruis", het is een waarschuwingssignaal.

2. Evaluatie is geen "Controlepunt" aan het einde, maar de "Stuurinrichting"

Veel bedrijven zien testen als een laatste check voordat ze een product lanceren (alsof je pas naar de garage gaat als de auto al gebouwd is).
Dit artikel zegt: Testen is de stuurinrichting.

Stel je voor dat je een schip bouwt. Je hebt niet alleen een kompas nodig om te zien of je de juiste koers vaart; je hebt een stuur nodig om de koers te corrigeren terwijl je vaart.

Zonder goede testen: Teams wachten tot er een crash is (klachten van gebruikers) en proberen dan te repareren. Dit is traag en gevaarlijk.
Met goede testen: Elke kleine wijziging in de code wordt direct getest. Het is als een proefvlucht die elke dag wordt gedaan. Als de AI iets verandert, zien we direct of het veilig blijft.

3. De Valstrikken van de "Oude Toetsen"

Waarom zijn de huidige toetsen (zoals MMLU of leaderboard-scores) gevaarlijk?

De "IQ-test" valstrik: Veel toetsen lijken op raadsels die niemand in het echte leven oplost. Het is alsof je een kok test door te vragen hoeveel letters er in het woord "soep" zitten, in plaats van of hij een lekkere soep kan koken. Als de AI het raadsel oplost, betekent dat niet dat hij nuttig is.
De "Leerling die uit het boekje leert": AI-modellen zijn slimme plagers. Als ze weten dat er een toets komt, leren ze de antwoorden uit het hoofd in plaats van de vaardigheid te leren. Het is alsof een student de antwoorden op het examen leest voordat hij de les heeft gevolgd. De score is hoog, maar de kennis is nul.
De "Stille Bugs": Soms faalt een AI niet omdat hij dom is, maar omdat de testomgeving slecht is ingesteld. Het is alsof je een auto test op een weg waar de banden van de bandenbanden zijn verwijderd. De auto "faalt", maar de auto is niet het probleem, de test is het probleem.

4. De Nieuwe Wereld: Agents in een Chaos

AI-agenten werken nu in een levende wereld (met bestanden, e-mails, kalenders), niet in een vacuüm.

Vergelijking: Een oude AI was als een bibliotheekbeheerder die alleen boeken kon zoeken. Een nieuwe AI-agent is een assistent die zelf boodschappen doet, afspraken plant en fouten in de administratie oplost.
Het nieuwe probleem: Als je deze assistent test, moet je kijken naar de gehele reis, niet alleen het eindresultaat.
- Voorbeeld: De assistent boekt een vlucht. Hij doet het goed, maar hij heeft 500 e-mails verstuurd en 10 uur nodig gehad. Dat is een "slechte" assistent, ook al was het eindresultaat correct.
- Nieuwe maatstaf: We moeten kijken naar betrouwbaarheid. Kan hij 10 keer op rij dezelfde taak doen zonder te crashen? (Dit noemen ze Passk in het paper: niet "kan hij het een keer?", maar "kan hij het altijd?").

5. De Oplossing: Van "Scoren" naar "Bewaken"

Het paper stelt dat we moeten stoppen met obsessie met hoge scores op leaderboards. In plaats daarvan moeten we:

Testomgevingen bouwen die lijken op de echte wereld: Geen statische vragen, maar chaotische situaties (zoals een telefoon die crasht of een internetverbinding die wegvalt).
Kijken naar de "sporen" (transcripts): Niet alleen kijken of het antwoord klopt, maar hoe de AI erbij kwam. Heeft hij geknoeid? Heeft hij een omweg genomen?
Een "veiligheidsnet" creëren: Testen moet fungeren als een alarm. Als de AI begint te hallucineren of gevaarlijke beslissingen neemt, moet het systeem direct stoppen en een mens waarschuwen.

Conclusie in één zin

We bouwen steeds slimmere robots, maar we testen ze nog met oude linialen. Om te vertrouwen op AI in de echte wereld, moeten we stoppen met kijken naar "hoe slim ze zijn" en beginnen met kijken naar "hoe veilig en betrouwbaar ze zijn in een chaotische wereld".

De boodschap: Het gaat er niet om of de AI het een keer goed doet, maar of hij het altijd goed doet, zonder dat we er constant naar hoeven te kijken.

Titel: Naar Gestandaardiseerde AI-Evaluatie: Van Modellen naar Agenten

Auteurs: Ali El Filali en Inès Bedar (G42 & Independent)
Datum: Februari 2026

1. Het Probleem: De Evaluatiekloof bij Agente Systemen

Het paper identificeert een fundamentele dissonantie tussen de evolutie van AI-systemen en de huidige evaluatiemethoden.

Van Statiek naar Dynamiek: Traditionele AI-evaluatie was gericht op statische modellen (input $\to$ output) met vaste datasets en aggregatemetrieken (zoals nauwkeurigheid of loss). Moderne AI-systemen zijn echter agenten: complexe systemen die redeneren over meerdere stappen, tools gebruiken, met omgevingen interageren, toestand (state) behouden en dynamisch aanpassen.
De "Stille" Falenmodi: Bestaande praktijken, zoals het gebruik van statische benchmarks en aggregatiescores, zijn onvoldoende voor agenten. Ze leiden tot "stille" falenmodi waar systemen hoog scoren op benchmarks maar onbetrouwbaar zijn in de praktijk.
Vertrouwen vs. Theater: De kernvraag verschuift van "Hoe goed is het model?" naar "Kunnen we het systeem vertrouwen om zich onder verandering en schaal te gedragen zoals bedoeld?". Huidige evaluaties worden vaak een "performance theater" in plaats van een discipline voor beheersing en vertrouwen.
Regulatorische Onzekerheid: Hoewel regelgevers (zoals de EU AI Act en NIST) evaluatie verplichten, ontbreekt er een technische definitie van hoe dit moet. Dit legt de last bij de industrie, terwijl de methodologie zelf nog in ontwikkeling is.

2. Methodologie: Een Nieuw Raamwerk voor Evaluatie

Het paper stelt dat evaluatie moet worden herdefinieerd als een kernfunctie van het systeem en geen downstream verificatiestap. De auteurs introduceren een taxonomie en een technische architectuur voor agente evaluatie.

A. Taxonomie van Evaluatiedoelen

Evaluatie wordt opgesplitst in drie distincte doelen die vaak worden verward:

Non-regressietesten (De Bouwer): Vergelijkbaar met unit testing. Het doel is stabiliteit; een daling in score na een update is een signaal van regressie, ongeacht de absolute score.
Leaderboards (De Gebruiker): Vergelijkende analyse voor modelselectie. Deze zijn echter slechts momentopnamen en vatbaar voor verzadiging.
Wetenschappelijke Capabiliteitsmeting: Het meten van abstracte constructen (zoals redeneren), wat methodologisch het meest fragiel is.

B. De Drie Pijlers van Evaluatiemethodologieën

Automatische Benchmarking: Programmatieke scoring (bijv. log-likelihood voor meerkeuzevragen of generatieve evaluatie). Risico: bias ten opzichte van promptstructuur.
Menselijke Evaluatie: Variërend van informele "vibe checks" tot expert annotatie. Hoogste kwaliteit, maar niet schaalbaar voor continue pipelines.
Model-as-a-Judge: Het gebruik van LLM's om andere modellen te evalueren. Schaalbaar maar introduceert recursieve bias en afhankelijkheid van de "rechter".

C. De "Silent Bugs" en Uitdagingen

Het paper identificeert zeven kritieke technische uitdagingen die evaluaties vervalsen:

Natuurlijkheid vs. Nut: Veel benchmarks testen kunstmatige taken (IQ-tests) in plaats van natuurlijke taken die mensen dagelijks doen.
Verzadigingssnelheid: Benchmarks raken binnen maanden verzadigd. Een robuuste benchmark zou moeten starten met een zeer lage succesrate (0-10%) voor frontier-modellen.
De "Error Analysis" Gap: Generieke metrieken (ROUGE, BERTScore) meten lexicaal overlap, niet juistheid of nut. Ze belonen vloeiend maar fout gedrag.
Stille Bugs in Inferentie: Configuratieproblemen (chat-templates, sampling parameters, hardware-indeterminisme) die resultaten verstoren zonder foutmeldingen.
Data Contaminatie: Modellen onthouden testsets in plaats van vaardigheden te leren (Goodhart's Law).
Bias van LLM-judges: Positie-bias, verbositeit-bias en zelf-preferentie.
Betrouwbaarheid vs. Capabiliteit: Een model kan een taak één keer oplossen (capabiliteit) maar faalt consequent bij herhaling (betrouwbaarheid).

D. Architectuur voor Agente Evaluatie

Voor agenten verschuift de complexiteit van de prompt naar de harness (omgeving). Een robuuste evaluatiepijplijn vereist:

De Harness: De infrastructuur die de agent uitvoert; deze moet zelf deel uitmaken van de test.
De Transcriptie (Trace): Het volledige logboek van redenering, tool-aanroepen en tussenliggende staten, niet alleen het eindresultaat.
De Uitkomst: Verificatie van de daadwerkelijke verandering in de omgeving (bijv. is het bestand gewijzigd?), niet wat de agent zegt dat hij heeft gedaan.
Hybride Graders: Een combinatie van deterministische code-based graders (voor state-verificatie), probabilistische model-based graders (voor nuance) en menselijke graders (voor kalibratie).

3. Belangrijkste Resultaten en Concepten

Pass@k vs. Passk:
- Pass@k meet capabiliteit (kans op minstens één succes in $k$ pogingen).
- Passk meet betrouwbaarheid (kans dat alle $k$ pogingen slagen). Voor autonome agenten is Passk de cruciale metriek voor productieklaarheid. Een model met 70% succes per poging heeft een Pass3 van slechts 34,3%, wat onacceptabel is voor autonome systemen.
Levenscyclus van Evaluatie: Evaluaties moeten evolueren van "capabiliteitstesten" (moeilijke taken, lage pass-rate) naar "regressiebewaking" (bijna 100% pass-rate vereist) naarmate het systeem rijpt.
Omgevingen als Evaluatie-instrument: Static datasets (zoals MMLU) zijn onvoldoende. Nieuwe benchmarks zoals GAIA2 (simulatie van een smartphone-ecosysteem) en TextQuests (interactieve fictie voor lange context) testen agenten in "rommelige", statische werelden met tool-fouten, tijdsredenering en state-beheer.
Efficiëntie als Metriek: Een betere agent is niet alleen nauwkeuriger, maar bereikt het doel met minder tokens, minder tool-aanroepen en lagere latentie (Pareto-frontier van prestatie vs. kosten).

4. Bijdragen van het Paper

Conceptuele Verschuiving: Het definiëren van evaluatie als een controle- en governance-functie in plaats van een prestatie-indicator. Het is het mechanisme dat vertrouwen mogelijk maakt in niet-deterministische systemen.
Technische Diagnose: Een uitgebreide lijst van "stille" fouten in evaluatiepijplijnen (van tokenizer-bugs tot gedeelde state in testomgevingen) die vaak worden over het hoofd gezien.
Methodologische Standaardisatie: Het voorstellen van een gestructureerde aanpak voor agente evaluatie (Harness $\to$ Transcript $\to$ Outcome $\to$ Grader) en het onderscheid tussen Pass@k en Passk.
Regulatorisch Inzicht: De analyse dat regelgevers evaluatie verplichten maar de technische invulling overlaten, wat leidt tot een noodzaak voor industriestandaarden die governance en techniek integreren.
Toekomstvisie: Het benadrukken dat de voortgang van AI nu minder afhangt van architecturale doorbraken, maar van het vermogen om gedrag te meten, te begrenzen en te modereren.

5. Betekenis en Conclusie

Dit paper is van cruciaal belang voor de toekomst van AI-deployments in hoog-risico omgevingen. Het stelt dat de huidige "evaluatiekloof" (waar de ontwikkeling van agenten sneller gaat dan onze meetinstrumenten) de grootste belemmering is voor vertrouwen en schaalbaarheid.

De kernboodschap is dat we moeten stoppen met het optimaliseren van scores die makkelijk te produceren zijn maar weinig realiteitswaarde hebben. In plaats daarvan moeten we evaluatie behandelen als een eerste klas meet- en controle-discipline. Dit vereist rigoureuze engineering, continue onderhoud van test suites, en het erkennen van evaluatie als een instrument voor governance. Zonder deze verschuiving blijven autonome systemen onbetrouwbaar en is hun inzet in kritieke scenario's niet verantwoord. Het paper pleit ook voor een meer inclusieve aanpak, waarbij multilinguale benchmarks worden ontwikkeld om te voorkomen dat agente autonomie alleen robuust is in het Engels.