💬 NLP

CapBencher: Give Your LLM Benchmark a Built-in Alarm for Test-Set Overfitting

CapBencher is een nieuw benchmarkingframework dat overfitting op de testset tegengaat en evaluatie-gaming detecteert door meerdere logisch correcte antwoorden te publiceren om grondwaarheid-labels te verhullen, waardoor een theoretisch nauwkeurigheidplafond wordt vastgesteld dat elk model dat dit overschrijdt, wijst op datalekken.

Oorspronkelijke auteurs: Takashi Ishida, Thanawat Lodkaew, Ikko Yamane

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Takashi Ishida, Thanawat Lodkaew, Ikko Yamane

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die jarenlang de moeilijkste wiskundetoets ter wereld heeft gemaakt. Je wilt zien hoe slim je studenten (de AI-modellen) door de jaren heen worden. Maar er is een groot probleem: als je de toets én het antwoordmodel op internet publiceert, kunnen de studenten simpelweg de antwoorden uit het hoofd leren in plaats van daadwerkelijk de wiskunde te leren. Ze kunnen zelfs valsspelen door de docent om hints te vragen totdat ze het juiste cijfer halen. Dit wordt "overfitting" of "data contaminatie" genoemd, en het verpest de test.

Normaal gesproken proberen docenten de antwoorden te verbergen door de toets in een afgesloten kamer te bewaren en alleen de antwoorden van de studenten toe te laten voor het nakijken. Maar slimme studenten kunnen nog steeds valsspelen door de docent te vragen: "Heb ik vraag 5 goed?" en hun antwoorden aan te passen op basis van de feedback.

CapBencher is een nieuwe, slimme manier om de toets te publiceren die dit valsspelen voorkomt zonder de vragen te verbergen. Hier is hoe het werkt, met behulp van een eenvoudige analogie:

De "Gerandomiseerde Antwoord" Truc

Stel je hebt een wiskundevraag: "Wat is 3 keer 6?"
Het echte antwoord is 18.

In een normale toets publiceer je de vraag en het antwoord "18". Als een student dit uit het hoofd leert, krijgt hij het goed.

Met CapBencher verandert de docent de regels voordat de toets wordt gepubliceerd. De docent zegt tegen de studenten:

"Los de som op, maar voordat je je definitieve antwoord opschrijft, moet je willekeurig 1 optellen of 1 aftrekken van je resultaat."

Dus, als de student de juiste wiskunde berekent (18), moet hij een muntje opgooien:

Kop: Schrijf 19 op.
Munt: Schrijf 17 op.

De gepubliceerde toets bevat nu de vraag en een lijst met mogelijke "correcte" antwoorden (17 of 19), maar niemand weet welk specifiek antwoord de student op de dag van de test kreeg.

Het "Plafond" (Het Alarmsysteem)

Dit is waar de magie gebeurt. Omdat het antwoord gerandomiseerd is, kan zelfs een genie die de wiskunde perfect beheerst niet een 10-score halen op de toets. Ze kunnen slechts ongeveer 50% goed hebben (omdat ze een kans van 50/50 hebben om het juiste gerandomiseerde getal te kiezen).

Dit papier noemt dit de "Bayes Nauwkeurigheid" of het Plafond. Dit is de absolute maximale score die iemand zou kunnen halen als hij de wiskunde eerlijk oplost.

Het Alarm:

Normale Student: Scoort rond de 50% (of minder, als ze niet zo goed zijn in wiskunde).
Valsspelende Student: Als een student stiekem de specifieke gerandomiseerde antwoorden heeft uit het hoofd geleerd (bijv. hij weet dat de docent voor deze vraag altijd "19" koos), zal hij hoger dan 50% scoren.

Als een student boven het plafond scoort, gaat het alarm af! Het is een statistische zekerheid dat ze niet alleen de wiskunde hebben opgelost; ze moeten de specifieke testgegevens uit het hoofd hebben geleerd. Het is alsof een student 100% scoort op een toets waarbij de docent de antwoorden telkens willekeurig heeft veranderd.

Waarom dit beter is dan andere methoden

Het paper vergelijkt CapBencher met andere manieren om valsspelen te ontdekken:

De "Canary" Methode: Dit is alsof je een geheim woord in de instructies van de toets verbergt. Als een student dat woord herhaalt, ben je hem betrapt. Maar een slimme bedrieger kan dat geheime woord gewoon verwijderen voordat hij de rest uit het hoofd leert. CapBencher heeft deze zwakte niet; het "valsspelen" zit ingebouwd in de score zelf.
In de hersenen kijken: Sommige methoden vereisen dat je in de interne code van de AI kijkt om te zien of hij zenuwachtig is. CapBencher werkt zelfs als de AI een "black box" is (je kunt niet zien hoe hij denkt). Je hoeft alleen naar de definitieve score te kijken.

Meet het nog steeds intelligentie?

Je zou je kunnen afvragen: "Als de antwoorden willekeurig zijn, hoe weten we dan wie echt slimmer is?"

Het paper laat zien dat slimme modellen nog steeds hoger scoren dan domme modellen, zelfs met de randomisatie.

Als Model A beter is in wiskunde dan Model B, zal Model A nog steeds een hogere score halen op de gerandomiseerde test.
Het paper bewijst wiskundig dat je de "gerandomiseerde score" kunt nemen en de "echte score" kunt berekenen. Het is alsof je weet dat een student 45% heeft gehaald op een toets waarbij de antwoorden werden gehusseld, en je de echte score kunt schatten die hij op een normale toets zou hebben gekregen.

De Kern van het Verhaal

CapBencher is een manier om AI-benchmarks te publiceren die fungeert als een ingebouwde leugendetector.

Het verlaagt de maximale score door een beetje willekeur aan de antwoorden toe te voegen.
Het houdt de echte antwoorden verborgen.
Als een AI hoger scoort dan de maximale mogelijke score, is dat een luid, onmiskenbaar signaal dat de AI de testgegevens heeft uit het hoofd geleerd en vals speelt.

Dit stelt onderzoekers in staat om hun moeilijke testen openlijk op internet te publiceren zonder de angst dat toekomstige AI-modellen simpelweg de antwoorden uit het hoofd leren en hun intelligentie veinzen.

Technische Samenvatting: CapBencher

Probleemstelling

De publicatie van benchmarks voor Large Language Models (LLM's), met name de vrijgave van grondwaarheid-antwoorden (ground-truth answers), vormt een aanzienlijk risico op datacontaminatie en overfitting op de testset. Wanneer benchmarks publiek zijn, kunnen modellen er onbedoeld op getraind worden, of kunnen ontwikkelaars doelbewust leaderboards "gamen" door iteratief privé-evaluatieservers te bevragen om hun modellen te overfitten. Hoewel het geheimhouden van benchmarks en het gebruik van een "submit-and-evaluate"-protocol een veelvoorkomende mitigatie is, voorkomt dit overfitting door herhaalde queries (leaderboard hacking) niet en biedt het geen robuuste methode om te detecteren of een model de testdata al heeft gezien. Bestaande detectiemethoden vereisen vaak toegang tot model-internals (log-waarschijnlijkheden) of specifieke benchmarktekst (canary strings), wat ze ongeschikt maakt voor black-box modellen of scenario's waarin de benchmarktekst zelf verborgen moet blijven.

Methodologie: CapBencher

De auteurs stellen CapBencher voor, een protocol voor het publiceren van benchmarks dat de grondwaarheid-antwoorden maskeert terwijl de mogelijkheid om modellen te evalueren en te rangschikken behouden blijft. De kern van het mechanisme is het opzettelijk verlagen van de Bayes-accuratesse (de theoretische maximale accuratesse die haalbaar is met een optimale beslisregel) van de benchmark.

Kernmechanisme

In plaats van één enkel correct antwoord te onthullen, bereidt CapBencher een verzameling van meerdere logisch correcte antwoorden, $F(x)$ , voor voor elke vraag $x$ . De benchmark selecteert vervolgens willekeurig één gerealiseerd antwoord $Y' \in F(x)$ om als oplossing te dienen.

Obfuscatie-strategie: Het ware antwoord wordt verborgen. Bijvoorbeeld, in een taak met een direct antwoord zoals "Wat is 3 keer 6?", kan de instructie zijn: "Tel willekeurig 1 op of trek 1 af van je oplossing." Het ware antwoord is 18, maar het gerealiseerde antwoord $Y'$ wordt willekeurig gekozen uit $\{17, 19\}$ . Als alle vragen op deze manier gerandomiseerd worden, daalt de Bayes-accuratesse naar 50%.
Disclosure-Allowed Strategie: In gevallen waar het onthullen van het ware antwoord acceptabel is (bijvoorbeeld om een privé-leaderboard te onderhouden), injecteert de methode nog steeds willekeur om contaminatie detecteerbaar te maken. Bijvoorbeeld door een willekeurig woord (bijv. "appel" of "oranje") aan het correcte antwoord toe te voegen.

Statistische Detectie

De vermindering in Bayes-accuratesse creëert een statistisch "plafond". Als de prestaties van een model op de gecapte benchmark aanzienlijk boven dit plafond uitstijgen, dient dit als een sterk signaal van datacontaminatie (memoratie van de specifieke gerandomiseerde antwoorden).

Binomiale Toets: De auteurs stellen een eenzijdige binomiale toets voor om te bepalen of de geobserveerde accuratesse statistisch significant hoger is dan de bekende Bayes-accuratesse $\alpha$ . De nulhypothese gaat ervan uit dat de prestaties van het model gelijk aan of lager dan $\alpha$ zijn.
Onbevooroordeelde Schatting: Ondanks de ruis die door de randomisatie wordt geïntroduceerd, leidt het artikel een onbevooroordeelde estimator af om de oorspronkelijke accuratesse-score te reconstrueren vanuit de gecapte score. De relatie tussen gecapte en oorspronkelijke scores wordt getoond als een toenemende affine mapping onder specifieke aannames (uniforme verschuivingen, onafhankelijkheid en willekeurige permutaties van opties).

Belangrijkste Bijdragen

Nieuw Benchmark-protocol: Een methode om benchmarks te publiceren die de grondwaarheid-antwoorden maskeert door de Bayes-accuratesse te cappen, waardoor modellen zelfs als ze de onderliggende problemen oplossen, geen perfecte scores kunnen behalen.
Ingebouwde Contaminatie-alarm: Een statistisch kader (met behulp van binomiale toetsen) dat testset-overfitting en datalekken detecteert zonder dat toegang nodig is tot model-internals of de oorspronkelijke benchmarktekst.
Theoretische Garanties: Het artikel biedt theoretische bewijzen die aantonen dat:
- De gecapte score een affine transformatie is van de oorspronkelijke score, waarbij de rangschikking van modellen behouden blijft.
- Er een onbevooroordeelde estimator bestaat om de oorspronkelijke accuratesse te reconstrueren.
- De binomiale toets de uniform meest krachtige toets is voor het detecteren van contaminatie in deze context.
Empirische Validatie: Uitgebreide experimenten over diverse benchmarks (MMLU, GSM8K, GPQA, HumanEval, etc.), modelfamilies (Llama, Qwen, DeepSeek) en trainingsmethodologieën (pretraining, continual pretraining, model merging).

Resultaten

Voortgang Bijhouden: CapBencher volgt de verbeteringen van LLM's succesvol. De correlatie tussen gecapte en oorspronkelijke accuratesse-rangschikkingen is hoog (Kendall's $\tau \approx 0,92$ over benchmarks), wat aantoont dat de methode de voortgang van modellen niet maskeert.
Detectie van Contaminatie: De methode detecteert datacontaminatie betrouwbaar. In experimenten waarbij modellen continu werden pre-trained op gecapte benchmarkdata, overtrof hun accuratesse consequent de Bayes-accuratesse-plafond (bijv. 50%), waardoor het alarm van de binomiale toets werd getriggerd.
Robuustheid:
- Diepe Contaminatie: De methode detecteert contaminatie zelfs wanneer modellen getraind zijn op geherformuleerde of vertaalde versies van de data (cross-linguale contaminatie), hoewel detectie moeilijker is wanneer redenering vereist is in niet-trainings-talen.
- Reverse Engineering: Experimenten toonden aan dat zelfs met toegang tot het gerandomiseerde antwoord en de randomisatie-regel, modellen moeite hadden om de oorspronkelijke grondwaarheid betrouwbaar te reconstrueren (reverse engineeren). In veel gevallen faalden modellen om de randomisatie-instructie te volgen of konden ze het oorspronkelijke antwoord niet afleiden, wat suggereert dat de "zwakke aanwijzing" die door de methode wordt gelekt, onvoldoende is voor geavanceerde aanvallen.
- Vergelijking met Baselines: CapBencher presteerde beter dan state-of-the-art baselines zoals Min-k% en canary string methoden. In tegenstelling tot Min-k% vereist het geen model-logits (werkt met black-box modellen) en vertrouwt het niet op asymptotische benaderingen. In tegenstelling tot canary strings is het veerkrachtig tegen het verwijderen van specifieke strings.

Betekenis en Claims

Het artikel positioneert CapBencher als een stap naar duurzamere en betrouwbaardere LLM-evaluatie. Door de Bayes-accuratesse te verlagen, kunnen makers van benchmarks vragen publiceren terwijl ze elke statistisch significante prestatie boven de cap omzetten in een "black-box signaal" van lekken.

De auteurs claimen dat deze aanpak:

De Evaluatie-integriteit Behoudt: Het maakt open evaluatie van LLM's mogelijk zonder de grondwaarheid-antwoorden volledig prijs te geven.
Overfitting Detecteert: Het biedt een geprincipeerde, statistische methode om testset-overfitting en leaderboard hacking te detecteren, zelfs in privé-evaluatie settings waar herhaalde queries worden uitgevoerd.
Model-Agnostisch Is: Het werkt met black-box modellen en vereist geen toegang tot interne modeltoestanden.

Het artikel erkent beperkingen en merkt op dat de methode steunt op de aanname dat modellen de gerandomiseerde antwoorden niet perfect zullen reverse engineeren. Hoewel huidige frontier-modellen de gelekte signalen niet betrouwbaar konden exploiteren, merken de auteurs op dat sterkere toekomstige modellen dat wel zouden kunnen, wat wijst op toekomstig werk aan sterkere obfuscatie-strategieën en cryptografische extensies (bijv. zero-knowledge proofs). De methode introduceert ook een trade-off: een lagere Bayes-accuratesse (strakkere caps) maakt contaminatie gemakkelijker te detecteren, maar verhoogt de variantie van de accuratesse-estimator, wat het potentieel moeilijker maakt om zeer vergelijkbare modellen van elkaar te onderscheiden.