🤖 machine learning

How Hard is it to Rig a Benchmark? A Social Choice Analysis of Leaderboard Robustness

Dit artikel past de theorie van computationele sociale keuze toe om aan te tonen dat het manipuleren van machine learning-leiderschapslijsten door middel van benchmark-specifiek trainen een NP-moeilijk probleem is, terwijl het "robustheid op instance-niveau" introduceert en evalueert om aan te tonen dat de gemiddelde winstpercentage-maatstaf aanzienlijk beter bestand is tegen manipulatie dan het rekenkundig gemiddelde, de mediaan of scores op basis van meerderheid bij paarwijze vergelijkingen.

Oorspronkelijke auteurs: Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen

Gepubliceerd 2026-05-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Polina Gordienko, Georg Schollmeyer, Frauke Kreuter, Christoph Jansen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, hoog-risico kookwedstrijd voor waarbij honderd chefs (AI-modellen) worden beoordeeld op hoe goed ze 50 verschillende gerechten (taken zoals wiskundeproblemen, logische raadsels of taalvertaling) kunnen bereiden. Aan het einde wordt een "Leaderboard" gepubliceerd, waarin de chefs van beste naar slechtst worden gerangschikt. Dit leaderboard bepaalt wie wordt aangenomen, wie financiering krijgt en wie als de "beste" ter wereld wordt beschouwd.

Dit artikel stelt een simpele maar beangstigende vraag: Hoe makkelijk is het om te valsspelen om bovenaan dit leaderboard te komen?

De auteurs behandelen de wedstrijd als een politieke verkiezing. In deze analogie:

De Chefs zijn de kandidaten.
De Gerechten (Taken) zijn de kiezers.
De Leaderboard-regel is het stemstelsel (bijvoorbeeld: "Wie heeft de meeste gerechten gewonnen?" versus "Wie had de beste gemiddelde score?").

De Valstrik: "Benchmark-specifiek Trainen"

Normaal gesproken oefenen chefs met hun eigen geheime ingrediënten. Maar wat als een chef in het geheim een kopie krijgt van de eigenlijke examenvragen (de benchmark-taken) en daar specifiek op traint voordat de wedstrijd begint?

In de echte wereld heet dit "data-contaminatie" of "trainen op de testset". Het artikel noemt dit Benchmark-specifiek Trainen. Het is als een student die de exacte vragen van een eindexamen uit het hoofd leert voordat hij het aflegt. Het artikel gaat uit van het ergste scenario: de chef kan elk gerecht dat hij kiest om op te oefenen perfect beheersen.

De Kernvraag: Hoe moeilijk is het om het spel te manipuleren?

De auteurs wilden weten: Als een chef wil winnen, hoeveel gerechten moet hij dan uit het hoofd leren en op oefenen om een #1-positie te garanderen?

Ze noemen dit getal de "Robuustheid" van het leaderboard.

Lage Robuustheid: Je hoeft maar 2 of 3 gerechten uit het hoofd te leren om te winnen. Het systeem is fragiel en makkelijk te manipuleren.
Hoge Robuustheid: Je moet 40 of 50 gerechten uit het hoofd leren. Het systeem is stevig en moeilijk te manipuleren.

De Vier Stemsystemen (Aggregatieregels)

Het artikel testte vier verschillende manieren om de winnaar te berekenen, net als verschillende manieren om stemmen te tellen bij een verkiezing:

Het Aritmetisch Gemiddelde (Het Gemiddelde): Dit is de meest gebruikelijke methode. Je telt alle scores op en deelt door het aantal gerechten.
- De Analogie: Als je op één makkelijk gerecht een 100 haalt en op de rest een 0, is je gemiddelde laag. Maar als je op slechts een paar gerechten een 90 haalt, kan dit je gemiddelde aanzienlijk omhoog trekken.
- Het Resultaat: Zeer Makkelijk te Manipuleren. Een chef hoeft maar een klein handjevol gerechten te beheersen (ongeveer 13 van de 24 in één test) om naar de top te springen. Eén of twee "super-gerechten" kunnen het hele team dragen.
De Mediaan (Het Middelste Kind): Je rangschikt alle scores van laag naar hoog en kiest degene die precies in het midden staat.
- De Analogie: Als je 10 gerechten hebt, is de mediaan de 5e beste score. Het maakt niet uit of je slechtste score een 0 of een 1 was; het maakt alleen uit wat in het midden staat.
- Het Resultaat: Matig Makkelijk te Manipuleren. Net als bij het gemiddelde moet je ongeveer 12 gerechten beheersen om te winnen. Het is iets moeilijker dan het gemiddelde, maar niet veel.
Paarsgewijze Meerderheid (De Kop-om-Kop Wedstrijd): Voor elk paar chefs tel je hoeveel gerechten Chef A beter heeft dan Chef B. Als Chef A meer dan de helft van de gerechten wint tegen Chef B, wint Chef A die confrontatie.
- De Analogie: Het is als een round-robin-toernooi. Je moet je rivaal in meer dan de helft van de categorieën verslaan.
- Het Resultaat: Matig Makkelijk te Manipuleren. Je moet ongeveer 12 gerechten winnen om iedereen anders te verslaan.
Gemiddelde Winstpercentage (Het "Wie Versloeg Wie"-Gemiddelde): Dit is de meest complexe methode. Voor elk afzonderlijk gerecht bereken je welk percentage van alle andere chefs je verslaat. Vervolgens bereken je het gemiddelde van die percentages.
- De Analogie: Stel je voor dat je op elk enkel gerecht tegen 1.000 andere chefs speelt. Om een hoge score te behalen, moet je niet alleen "goed" zijn; je moet beter zijn dan de meeste van de menigte op bijna elk enkel gerecht.
- Het Resultaat: Extreem Moeilijk te Manipuleren. Om onder dit systeem te winnen, moest een chef 22 van de 24 gerechten (92%) beheersen in één test en 44,5 van de 57 onderwerpen (78%) in een andere.
- Waarom? Omdat als je maar een paar gerechten beheerst, je die andere chefs misschien op die gerechten verslaat, maar op de gerechten waar je niet op hebt geoefend, zul je waarschijnlijk tegen bijna iedereen verliezen, wat je "winstpercentage" naar beneden trekt. Om te winnen moet je consequent beter zijn dan iedereen, over de hele linie.

De Belangrijkste Conclusie

Het artikel concludeert dat de manier waarop we de stemmen tellen, belangrijker is dan we denken.

Als we het Gemiddelde (Aritmetisch Gemiddelde) gebruiken, is het leaderboard als een kaartenhuis. Een ontwikkelaar kan de resultaten manipuleren door in het geheim op slechts een paar specifieke taken te oefenen. Het creëert een "illusie van vooruitgang" waarbij een model er geweldig uitziet omdat het de test uit het hoofd heeft geleerd, niet omdat het daadwerkelijk slim is.
Als we Gemiddeld Winstpercentage gebruiken, is het leaderboard als een fort. Om het te manipuleren, zou een ontwikkelaar bijna het hele examen uit het hoofd moeten leren. Dit maakt het veel moeilijker om succes te vervalsen.

De "En dan?"

De auteurs ontdekten dat de huidige populaire leaderboards (zoals MMLU en BIG-Bench) vaak het Gemiddelde gebruiken, wat ze zeer kwetsbaar maakt voor valsspelen. Als ze echter zouden overstappen op Gemiddeld Winstpercentage, zou het ongelooflijk moeilijk zijn voor iemand om het systeem te gamed.

Het artikel vertelt ons niet hoe je moet valsspelen; in plaats daarvan fungeert het als een waarschuwing voor de mensen die deze wedstrijden ontwerpen: "Als je het Gemiddelde gebruikt, nodig je valsspelers uit. Als je een eerlijke race wilt, gebruik dan een systeem dat brede, consistente beheersing vereist, niet slechts een paar gelukstreffer."

Technische Samenvatting: "Hoe moeilijk is het om een benchmark te manipuleren? Een sociale keuzeanalyse van de robuustheid van leaderboards"

Probleemdefinitie
Het artikel behandelt de groeiende prikkel voor "benchmark-gaming", specifiek de strategische opname van benchmarkgegevens in modeltraining om leaderboard-rangschikkingen kunstmatig op te blazen. Hoewel datacontaminatie en datalekken goed gedocumenteerde verschijnselen zijn, betogen de auteurs dat de omvang van manipulatie moeilijk te verifiëren is vanwege proprietaire trainingsdata in gesloten bronmodellen. In plaats van zich te richten op detectie, onderzoekt het artikel de robuustheid van benchmarks tegen dergelijke manipulatie bij constructie. De kernvraag is: gegeven een vaste reeks datasets en een set concurrerende modellen, hoeveel taken moet een ontwikkelaar opnemen in de training van een doelmodel om te garanderen dat het doelmodel de best gerangschikte entiteit wordt?

Methodologie: Sociale Keuze en Computatiele Complexiteit
De auteurs formaliseren multi-task benchmarking als een sociale keuze-probleem, waarbij datasets worden behandeld als "kiezers" en modellen als "kandidaten". Binnen dit kader wordt benchmark-specifieke training geïdentificeerd als een vorm van verkiezingsmanipulatie, die specifiek overeenkomt met shift-bribery met alles-of-niets prijzen. In deze analogie betaalt een externe agent (de modelontwikkelaar) een kosten om een voorkeurskandidaat (het doelmodel) omhoog te verschuiven in de rangschikkingen van specifieke kiezers (datasets).

Het artikel maakt gebruik van computationele sociale keuze om de moeilijkheid van deze manipulatie te analyseren:

Complexiteitsanalyse: De auteurs bewijzen dat voor elke ordinale benchmark-operator het probleem van het selecteren van de optimale subset van datasets om op te trainen, equivalent is aan shift-bribery. Derhalve demonstreren zij dat het vinden van de goedkoopste manier om een benchmark te riggen NP-moeilijk is onder de Borda-telling en gemiddelde winstpercentage aggregatieregels.
Robuustheid op Instance-niveau: Om de worst-case complexiteitsanalyse aan te vullen, introduceren de auteurs een metriek genaamd robustheid op instance-niveau ( $k_B$ $k_{B}$ ). Dit wordt gedefinieerd als het minimum aantal datasets dat een ontwikkelaar moet opnemen in de training om een specifiek doelmodel tot de top te rangschikken. Zij leiden exacte wiskundige uitdrukkingen af voor $k_B$ $k_{B}$ onder vier veelvoorkomende aggregatieregels:
- Aritmetisch Gemiddelde: De robuustheid wordt bepaald door het "gemiddelde tekort" (het gat tussen het doel en de leider) en de maximaal mogelijke winsten op individuele taken. De optimale strategie is een greedige selectie van taken met de grootste potentiële winsten.
- Mediaan: Robuustheid hangt af van het aantal taken dat nodig is om de mediaanscore van het doelmodel boven de hoogste mediaan van concurrerende modellen te duwen. Alleen taken waarbij het doel een specifieke drempel kan overstijgen, dragen bij aan het verminderen van het tekort.
- Gemiddeld Winstpercentage: Dit vereist het oplossen van een lineair geheelgetallenprogramma (ILP) om de minimale set taken te vinden die gelijktijdig de tekorten in paarwijze winstpercentages tegen alle concurrerende modellen sluit.
- Pairwise Meerderheid: Net als bij gemiddeld winstpercentage, omvat dit een ILP om ervoor te zorgen dat het doelmodel een meerderheid van de paarwijze vergelijkingen tegen alle andere modellen wint.

Experimentele Evaluatie
De auteurs evalueren deze robuustheidsuitdrukkingen op twee grote benchmark suites:

MMLU (Massive Multitask Language Understanding): Geëvalueerd via het HELM-framework, met 22 modellen over 57 vakgebied-datasets.
BIG-Bench Hard (BBH): Geëvalueerd via de Open LLM Leaderboard, met 4.507 modellen over 24 redeneertaken.

Voor elke suite berekenen zij de robuustheid op instance-niveau voor elk model in de set, waarbij zij elk achtereenvolgens als doel behandelen. Zij rapporteren de mediaan-robustheid (het aantal taken dat nodig is om het leaderboard te riggen voor een "typisch" doelmodel) en het fraction van modellen dat tot de top kan worden gebracht door te trainen op een klein aantal taken (bijvoorbeeld $K \le 5$ ).

Belangrijkste Resultaten
De empirische analyse onthult aanzienlijke verschillen in robuustheid tussen aggregatieregels:

Gemiddeld Winstpercentage is het Meest Robuust: In beide suites is de regel voor gemiddeld winstpercentage consequent het moeilijkst te manipuleren.
- Op BBH is de mediaan-robustheid voor gemiddeld winstpercentage 22 taken (92%), wat betekent dat een typisch doelmodel bijna op de volledige suite moet worden getraind om bovenaan het leaderboard te staan. Daarentegen vereist het arithmetisch gemiddelde slechts 13 taken (54%), en vereisen mediaan/pairwise meerderheid 12 taken (50%).
- Op MMLU is de mediaan-robustheid voor gemiddeld winstpercentage 44,5 vakgebieden (78%), vergeleken met 16 (28%) voor het arithmetisch gemiddelde.
Kwetsbaarheid van Aritmetisch Gemiddelde: Het arithmetisch gemiddelde is de minst robuuste regel. Een klein aantal taken met hoge winsten kan het leaderboard aanzienlijk veranderen, waardoor een aanzienlijk fraction van modellen met minimale manipulatie naar de top kan worden gebracht.
Statistische Significantie: Gekoppelde Wilcoxon-tekens-rangtests bevestigen dat deze verschillen in robuustheid systematisch zijn over de doelmodellen en niet worden gedreven door uitschieters.
Genormaliseerde Robuustheid: Zelfs na normalisatie voor de hoeveelheid "ruimte voor verbetering" die beschikbaar is voor een model (rekening houdend met het feit dat zwakkere modellen meer potentieel hebben voor winst), blijft gemiddeld winstpercentage de meest robuuste regel.

Betekenis en Aanspraken
Het artikel beweert dat aggregatieregels een primaire determinant zijn van de kwetsbaarheid van benchmarks. De auteurs betogen dat robuustheid tegen benchmark-specifieke training moet worden behandeld als een centraal criterium in benchmarkontwerp.

Trade-offs: Hoewel gemiddeld winstpercentage hoge robuustheid biedt door brede manipulatie over de suite te vereisen, hangt het af van de set modellen die worden vergeleken (gevoeligheid voor de modelpool). Omgekeerd is pairwise meerderheid invariant voor de modelset, maar kan cyclische rangschikkingen veroorzaken (Condorcet-cycli), hoewel de auteurs opmerken dat Condorcet-winnaars bestaan in de top-rangen van de bestudeerde suites.
Implicaties: De resultaten suggereren dat de huidige afhankelijkheid van arithmetisch gemiddelde aggregatie (veelvoorkomend in suites zoals GLUE en SuperGLUE) een lage instapdrempel creëert voor manipulatie. Een verschuiving naar robuustere regels zoals gemiddeld winstpercentage verhoogt de kosten van manipulatie, waarbij ontwikkelaars gedwongen worden om prestaties te verbeteren over een veel bredere set taken om een top-rang te bereiken.
Beperkingen: De auteurs erkennen dat hun manipulatiemodel gunstig is voor de ontwikkelaar (aannemende dat training alleen het doelmodel verbetert en nergens anders prestaties verslechtert). In de praktijk kan datalekken gedeeltelijke of negatieve effecten hebben. Zelfs onder deze sterke aannames dicteert de keuze van de aggregatieregel echter scherp de moeilijkheid van het riggen van de benchmark.

Het artikel concludeert dat hoewel geen enkele aggregatieregel immuun is voor manipulatie (volgens de stelling van Gibbard-Satterthwaite), de computationele en structurele moeilijkheid van manipulatie drastisch varieert, waardoor een kwantitatieve basis wordt geboden voor het ontwerpen van betrouwbaardere leaderboards.