The Evaluation Trap: Benchmark Design as Theoretical Commitment

Dit artikel introduceert "Epistematica", een meta-evaluatieve methodologie voor het auditen van AI-benchmarks om bloot te leggen hoe ononderzochte theoretische aannames zelfversterkende evaluatiedruppels creëren die structurele beperkingen verdoezelen, en demonstreert de toepassing ervan door een recent voorstel te bekritiseren dat onbedoeld het paradigma dat het wil herzien, juist verankert.

De kern

Het Grote Idee: De Kaart Wordt het Territorium

Stel je voor dat je probeert een robot te leren hoe je een "geweldige kok" wordt. Om dit te doen, maak je een test: de robot moet binnen een minuut 100 uien hakken.

Als de robot deze test haalt, zeggen we: "Geweldig! Het is een meesterkok!" Maar hier zit het probleem: de robot heeft niet echt leren koken. Het heeft alleen geleerd om uien heel snel te hakken, omdat dat het enige was wat je van het vroeg. Het weet misschien niet hoe je water kookt, een soep kruidt of veilig met een mes omgaat.

Het paper stelt dat AI-benchmarks (tests) precies dit doen. Ze meten niet alleen wat AI kan doen; ze beslissen stiekem wat "doen" betekent. Na verloop van tijd wordt de test zo krachtig dat de AI stopt met proberen een "slimme kok" te zijn en gewoon een "super-uienhaker" wordt. De test creëert een nepversie van intelligentie die er echt uitziet, maar in feite hol is.

De auteur noemt dit de "Evaluation Trap" (Evaluatieval).

---

Hoe de Val Werkt: Drie Sluwe Mechanismen

Het paper legt uit dat deze val plaatsvindt via drie specifieke trucs:

1. De "Transfer"-Aanname (De Kortsluiting)

De Analogie: Stel je voor dat een student de antwoorden van een specifieke oefententamen wiskunde uit het hoofd leert. Wanneer ze het echte examen doen, halen ze een perfect cijfer. We denken dan: "Wow, ze zijn een wiskundegenie!"
De Realiteit: Ze weten alleen hoe ze die specifieke test moeten oplossen. Ze begrijpen wiskunde niet echt.
In het Paper: AI-onderzoekers gaan ervan uit dat als een systeem een benchmark haalt, het de algemene "capaciteit" (zoals redeneren of leren) bezit. Maar het paper zegt dat dit een sprong in het diepe is. De test bewijst alleen dat de AI goed is in de test, niet dat het de echte vaardigheid bezit.

2. Het "Circularity"-Probleem (De Zelfvervullende Profetie)

The Analogy: Imagine a video game where the goal is to explore a vast, open world. The game designers track progress by counting gold coins collected along the way. Players quickly realize that coins are how the game measures success, so they start optimizing for coins, running the same routes, hitting the same spawn points. The designers respond by adding more coins, harder coin challenges, coin leaderboards. Eventually, the entire game gets built around coin collection.

The Reality: Nobody decided the game was about coins. But because coins were how progress was tracked, the game slowly became about coins. A player who spent hours genuinely exploring but collected few coins wouldn't even register as having played well. The original goal of exploration became invisible to the system measuring it.

In the Paper: This is what happens to AI capability concepts. The benchmark doesn't just fail to track the real goal; it gradually replaces it. The field stops pursuing the capability and starts pursuing benchmark performance, not because anyone chose that, but because the measurement made everything else invisible.

3. "Behavioral Approximation" (Het Kunstfruit)

De Analogie: Je ziet een plastic appel op een tafel. Het ziet er rood, glanzend en rond uit. Je zou kunnen denken: "Dat is een appel." Maar als je erin bijt, is het hard plastic. Het lijkt op een appel, maar het gedraagt zich niet als een (het rot niet, het smaakt niet zoet).
De Realiteit: De plastic appel is een "gedragsbenadering". Het nabootst de buitenkant maar mist de binnenkant.
In het Paper: Huidige AI-systemen zijn als plastic appels. Ze produceren antwoorden die lijken op menselijk redeneren, maar ze doen alleen statistische trucs (het raden van het volgende woord op basis van patronen) in plaats van daadwerkelijk te "denken". Omdat de tests alleen kijken naar het eindantwoord (de rode schil), kunnen ze het verschil niet zien tussen een echte appel en plastic.

---

De Oplossing: "Epistematics" (De Detectivemethode)

De auteur stelt een nieuwe manier voor om deze tests te controleren, genaamd Epistematics. Denk hierbij aan een "detectivekit" voor AI-tests.

In plaats van alleen naar de score te kijken, stelt Epistematics vier vragen voordat de test zelfs maar wordt gebouwd:

1. Wat is de claim? (Bijvoorbeeld: "Deze AI kan zelfstandig leren.")
2. Welke theorie zit erachter? (Bijvoorbeeld: "Echt leren vereist het maken van fouten en deze in real-time corrigeren, zoals een baby.")
3. Wat moet de machine doen om dit te bewijzen? (Bijvoorbeeld: "Het moet interageren met een rommelige, veranderende wereld, niet alleen met een schone database.")
4. Pakt de test het verschil echt? (Bijvoorbeeld: "Als we de AI een plastic appel geven, zal de test hem dan laten zakken? Of laat de test de plastic appel slagen omdat het rood is?")

Als de test het verschil niet kan zien tussen een "echte" slimme AI en een "nep" slimme AI die de test alleen maar uit het hoofd heeft geleerd, is de test kapot.

---

De Casestudy: De "Autonome Leraar"

Het paper test deze detectivemethode op een beroemd nieuw voorstel voor AI genaamd "Autonoom Leren" (van Dupoux et al.).

• De Claim: De onderzoekers zeggen dat ze een AI hebben gebouwd die zelfstandig kan leren, net als een menselijk kind, zonder dat mensen het voortdurend moeten begeleiden.
• De Val: De auteur gebruikt Epistematics om aan te tonen dat hoewel het idee geweldig klinkt, de test die ze hebben ontworpen nog steeds het oude, kapotte type is.
  • Ze beweren dat de AI leert van "interactie met de echte wereld", maar ze testen het op "statische datasets" (zoals een fotoalbum).
  • Ze beweren dat de AI "feedbackloops" heeft (leren van fouten), maar ze testen het door te tellen hoeveel pogingen het kost om een score te halen, en negeren hoe het heeft geleerd.
• Het Resultaat: De nieuwe AI is gewoon een betere "uienhaker". Het lijkt alsof het leert, maar het doet alleen dezelfde oude statistische trucs in een nieuw doosje. De test slaagde er niet in het verschil te zien, omdat de test was ontworpen om het verschil te negeren.

---

De Kernboodschap

Het paper concludeert dat we in een kringloop zitten. We blijven betere tests bouwen, maar die tests meten alleen hoe goed AI de test kan halen, niet of het eigenlijk slimmer wordt.

Om de val te doorbreken, moeten we stoppen met vragen: "Haalde het de test?" en beginnen met vragen: "Meet deze test eigenlijk het ding dat we zeggen dat het meet?"

We moeten tests ontwerpen die het verschil kunnen zien tussen een echte appel (ware intelligentie) en een plastic appel (gedragsbenadering). Als we dat niet doen, blijven we AI bouwen die er briljant uitziet op papier, maar in feite gewoon een zeer goede nabootser is.

Technische samenvatting

Technische Samenvatting: De Evaluatietrap en Epistematica

Probleem: De Evaluatietrap
Het artikel betoogt dat AI-benchmarks geen neutrale meetinstrumenten zijn, maar actieve agenten die onderzoeksrichtingen vormgeven door impliciete theoretische aannames te operationaliseren. Wanneer deze aannames ononderzocht blijven, creëren ze een "evaluatietrap". In deze dynamiek stabiliseren benchmarks het dominante paradigma door de definitie van vooruitgang te verengen. Na verloop van tijd reorganiseert het evaluatiekader het concept van capaciteit zelf: architecturen en definities worden geselecteerd op "benchmarkleesbaarheid", totdat evaluatie ophoudt een onafhankelijk object te volgen. In plaats daarvan produceert het een versie van het doel dat uitsluitend wordt gedefinieerd door zijn eigen operationele aannames.

Deze trap werkt via drie onderling afhankelijke mechanismen:

1. De Aannames van Transferabiliteit: Het ononderzochte geloof dat prestaties op een specifieke benchmark inzicht geven in een bredere capaciteit. Deze aanname verbergt de kloof tussen wat een benchmark meet en wat een capaciteit theoretisch vereist, waardoor optimalisatie gericht wordt op de operationalisering van de benchmark in plaats van op de capaciteit zelf.
2. Het Circulariteitsprobleem: In tegenstelling tot de Wet van Goodhart (waarbij een proxy afwijkt van een stabiel doel), is dit een "terugkoppelingseffect" waarbij de daad van evaluatie deelneemt aan de conceptuele en technische constitutie van het doel. Naarmate kaders stabiliseren, herschikken ze wat als de capaciteit telt, waardoor systemen worden geproduceerd die aan criteria voldoen terwijl ze die criteria als de capaciteit zelf stabiliseren.
3. Gedragsbenadering: Dit is het structurele resultaat van de trap. Systemen die zijn geoptimaliseerd tegen goed gestructureerde proxies, leren te slagen onder de voorwaarden die de proxies definiëren, en produceren outputs die lijken op een echt capabel systeem zonder de noodzakelijke mechanismen te instantiëren. Dit creëert een "structureel plafond" waarbij het veld doodlopende wegen behandelt als technische hindernissen, niet in staat om te herkennen dat zijn meest ambitieuze capaciteiten buiten bereik blijven omdat het evaluatiekader de kloof tussen beweerde en geïnstancierde capaciteit niet kan detecteren.

Methodologie: Epistematica
Om dit aan te pakken, introduceert het artikel Epistematica, een meta-evaluatieve methodologie die evaluatiecriteria direct afleidt van technische capaciteitsclaims en controleert of voorgestelde benchmarks de beweerde capaciteit kunnen onderscheiden van proxy-gedrag. De procedure bestaat uit vier stappen:

1. Specificeer de Capaciteitsclaim: Definieer de capaciteit zoals deze wordt gebruikt in technisch en publiek discours.
2. Extraher Theoretische Aannames: Identificeer de theoretische verbintenissen die definiëren wat de capaciteit vereist (bijvoorbeeld specifieke mechanismen, omgevingskoppelingen).
3. Deriveer Eisen: Bepaal de architecturale en omgevingsvereisten die door die aannames worden noodzakelijk gemaakt.
4. Test Discriminerende Validiteit: Beoordeel of voorgestelde evaluatiecriteria het doel kunnen onderscheiden van eenvoudigere proxy-gedragingen. Een benchmark faalt deze test als een systeem dat het doelmechanisme mist, toch aan de criteria kan voldoen, of als een systeem dat het mechanisme bezit, er niet uniek door kan worden geïdentificeerd.

De output van deze procedure is geen nieuwe benchmark, maar "hanteerbare ontwerpinput": discriminerende evaluatiecriteria, voorspelde faalmodi en kandidaat-benchmarkspecificaties.

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen aan de evaluatiewetenschap:

1. Een Geformaliseerde Auditprocedure: Een reproduceerbare methode voor het diagnosticeren van incoherentie tussen capaciteit en evaluatie. Het behandelt capaciteitsdefinities als theoretische verbintenissen die moeten worden gespecificeerd voordat er wordt geëvalueerd, waardoor de afleiding van claim tot criterium expliciet wordt gemaakt.
2. Een Taxonomie van Faalmodi: Een specifieke set van kenmerken die het circulariteitsprobleem aangeven, waaronder:
   • Proxy-vervanging: Het meten van taakconvergentie in plaats van de beoogde capaciteit.
   • Architecturale Onderscheidbaarheid: Het niet detecteren van structurele afwezigheden (bijvoorbeeld gebrek aan realtime feedback) omdat de metric alleen uitkomsten bijhoudt.
   • Contextblindheid: Het niet variëren van context, waardoor het niet mogelijk is om contextgevoelige competentie te onderscheiden van taakspecifieke optimalisatie.
   • Criteriumlek: Het toestaan dat statistische pariteit mechanistische verschillen maskeert.
   • Benaderingsplafond: Het niet detecteren van falen op het punt waar slecht gestructureerde capaciteiten zouden worden vereist.
3. Ontwerpcriteria voor Capaciteit-Evaluatie Coherentie: Een set voorwaarden voor het construeren van benchmarks die de capaciteiten die ze beweren te meten, kunnen detecteren, aangetoond via een uitgevoerde audit.

Resultaten: Casusanalyse van Dupoux et al. [2026]
De methodologie wordt aangetoond via een uitgevoerde audit van Dupoux et al. [2026], een voorstel voor "autonoom leren" dat bedoeld is om het dominante AI-paradigma te herzien. De audit onthult een kritieke instabiliteit:

• De Claim: De auteurs stellen een A/B/M-architectuur voor (Observatie, Actie, Meta-control) om zelfgestuurd, feedback-gekoppeld leren te bereiken, gebaseerd op tradities zoals cybernetica, gesitueerde cognitie en ecologische psychologie.
• De Incoherentie: Hoewel het voorstel de structurele problemen van het veld diagnoseert, reproduceren de evaluatiecriteria juist de aannames die het probeert te overwinnen. De auteurs operationaliseren "autonoom leren" met behulp van distributieve prestatie-metrics (bijvoorbeeld trials tot criterium, uren blootstelling) en architecturen (bijvoorbeeld gradient descent over opgeslagen ervaring) die incompatibel zijn met de geciteerde theoretische tradities (bijvoorbeeld realtime foutcorrectie, gemedieerde activiteit, actieve perceptuele koppeling).
• Het Resultaat: De voorgestelde evaluatie kan niet onderscheiden tussen een systeem dat autonoom leren echt instantieert en een systeem dat gedragsmatig benaderend is. Door een slecht gestructureerde capaciteit te behandelen als een goed gestructureerde proxy, verankert het kader de beperking die het probeert te overwinnen in een vorm die de evaluatie niet kan detecteren. De audit toont aan dat de evaluatiecriteria van het voorstel de test voor discriminerende validiteit niet doorstaan, omdat ze systemen toestaan te slagen via statistische regulariteiten terwijl ze de afwezigheid van de vereiste mechanismen (bijvoorbeeld realtime omgevingskoppeling) maskeren.

Betekenis en Reikwijdte
Het artikel stelt dat Epistematica een diagnostische methode biedt om te bepalen of benchmarksucces betekent wat het beweert te betekenen. De betekenis ligt in het verschuiven van de focus van post-hoc benchmarkanalyse naar de voorafgaande afleiding van evaluatievoorwaarden. Het betoogt dat het onvermogen van het veld om structurele grenzen te overstijgen niet louter een technische hindernis is, maar een methodologisch falen waarbij evaluatiekaders de kloof tussen beweerde en geïnstancierde capaciteit niet kunnen detecteren.

Het artikel is bescheiden in zijn reikwijdte: Epistematica vervangt geen empirische benchmarkvalidatie, noch eist het de opgeven van bestaande benchmarks. In plaats daarvan biedt het een procedure om de coherentie tussen capaciteitsclaims en evaluatiecriteria te auditeren. De procedure is domein-generiek, maar vereist dat capaciteitsclaims worden gespecificeerd op het niveau van mechanisme in plaats van gedrag. De gepresenteerde faalmodi en ontwerpcriteria zijn specifiek voor het geval van autonoom leren, maar de procedure voor het genereren ervan is bedoeld om systematisch te worden toegepast op andere AI-capaciteitsclaims (bijvoorbeeld redeneren, wereldmodelleren) om structurele blinde vlekken in het veld bloot te leggen.