💻 computer science

State-of-the-Art Claims Require State-of-the-Art Evidence

Dit artikel betoogt dat claims over state-of-the-art in AI-onderzoek vaak niet worden onderbouwd door benchmarkbewijs, aangezien geaggregeerde scoreverbeteringen vaak steunen op uitschieters in plaats van op consistente, robuuste superioriteit, wat noodzakelijkerwijs leidt tot eerlijkere en nauwkeurigere rapportage van modelprestaties.

Oorspronkelijke auteurs: YongKyung Oh

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: YongKyung Oh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Klasvoorzitter"-Illusie

Stel je een middelbare school voor waar studenten zich kandidaat stellen voor Klasvoorzitter. Om de winnaar te bepalen, telt de directeur de cijfers van elk vak (Wiskunde, Geschiedenis, Kunst, Gym, Wetenschap) op tot één grote "Totale Score".

In de wereld van Kunstmatige Intelligentie (AI) doen onderzoekers precies hetzelfde. Ze testen hun AI-modellen op veel verschillende taken (zoals het schrijven van code, het beantwoorden van geschiedenisvragen of het herkennen van katten op foto's), tellen de scores op en verklaren het model met de hoogste totaalscore tot de "State-of-the-Art" (SOTA) kampioen.

Het artikel betoogt dat dit een valstrik is. Alleen omdat een student de hoogste totale score heeft, betekent niet dat ze de beste zijn in alles. Ze kunnen een genie zijn in Wiskunde maar slecht in Gym, terwijl een andere student "goed genoeg" is in alles. Het artikel stelt dat het de winnaar van de totaalscore "de beste" noemen, hetzelfde is als een trofee geven aan iemand die alleen won omdat ze perfecte scores haalden in een paar makkelijke vakken, zelfs als ze in de moeilijke vakken zakten.

De Drie Manieren waarop de "Winnaar" een Toevalstreffer Kan Zijn

De auteurs keken naar 10 verschillende AI-"leaderboards" (zoals het schoolbord voor de klasvoorzitter) en ontdekten dat in meer dan de helft van de gevallen de uitgeroepen winnaar niet echt de duidelijke kampioen was. Ze gebruikten drie eenvoudige tests om te controleren of de overwinning echt was of slechts een gelukkig toeval:

1. De "Marge van Overwinning"-test (Grootte)

De Analogie: Stel je twee hardlopers voor. Hardloper A finisht in 10,00 seconden en Hardloper B in 10,01 seconden. Is Hardloper A significant sneller? Of is het verschil slechts een kwestie van wind, een losse veters of een slechte start?
De Bevinding van het Artikel: Vaak is het "winnende" AI-model slechts iets beter dan de nummer twee. Het verschil is zo klein dat het gewoon willekeurige ruis kan zijn. Toch beweren onderzoekers nog steeds dat de winnaar "superieur" is, en negeren ze dat de kloof praktisch onzichtbaar is.

2. De "Consistentie"-test (Winstpercentage)

De Analogie: Stel je een basketballer voor die in één wedstrijd 100 punten scoort, maar in de volgende vijf wedstrijden elke worp mist. Als je hun punten gemiddeld neemt, lijken ze een ster. Maar als je vraagt: "Hebben ze de meeste wedstrijden gewonnen?", is het antwoord nee.
De Bevinding van het Artikel: Veel "winnende" AI-modellen verliezen eigenlijk op meer dan de helft van de specifieke taken waarop ze worden getest. Ze winnen alleen de algemene ranglijst omdat ze op één of twee specifieke taken een enorme score haalden die hun gemiddelde omhoog trok. Ze zijn geen consistente winnaars; het zijn specialisten die geluk hadden met het schema.

3. De "Fragiliteit"-test (Stabiliteit)

De Analogie: Stel je een Jenga-toren voor. Als je er maar één blok uit kunt trekken en de hele toren valt om, is de tooren fragiel.
De Bevinding van het Artikel: Het artikel vond dat voor veel AI-modellen, als je slechts één of twee specifieke testvragen (datasets) van het leaderboard verwijdert, de "winnaar" plotseling naar de laatste plaats zakt. Dit betekent dat hun "kampioensstatus" volledig afhankelijk is van een paar specifieke vragen. Als je de test iets verandert, draait de ranglijst volledig om.

De "Claim-Bewijs-Gat"

De auteurs noemen dit het Claim-Bewijs-Gat.

Het Bewijs: De data toont aan dat een model "eerste is op gemiddelde".
De Claim: Het artikel zegt: "Dit model is de State-of-the-Art (de beste ooit)."

Het artikel betoogt dat "State-of-the-Art" impliceert dat een model robuust, consistent en betekenisvol beter is. Maar het bewijs ondersteunt vaak alleen: "Dit model heeft vandaag de hoogste gemiddelde score op deze specifieke lijst van tests."

Waarom Blijft Dit Gebeuren?

Het artikel suggereert dat dit niet komt omdat onderzoekers slecht zijn in wiskunde. Het is een institutioneel probleem.

De Druk: Conferenties en tijdschriften houden van opwindende koppen. Een artikel getiteld "Ons Model is Eerste op Gemiddelde" klinkt saai. "Ons Model is de Nieuwe State-of-the-Art!" klinkt opwindend en krijgt meer citaties.
De Status Quo: Iedereen doet het, dus niemand stopt. Het is als een spel waar iedereen op een loopband rent; als je stopt om je snelheid te controleren, loop je achter.

De Oplossing: Eerlijk Rapporteren (Geen Nieuwe Experimenten Nodig)

Het goede nieuws is dat we geen nieuwe AI-modellen hoeven te bedenken of dure nieuwe tests hoeven te doen om dit op te lossen. We hoeven alleen maar te veranderen hoe we over de resultaten praten.

In plaats van te zeggen:

"Ons model is de State-of-the-Art!"

Suggereren de auteurs te zeggen:

"Ons model behaalde de hoogste gemiddelde score op deze benchmark, maar het won slechts op 60% van de taken, en zijn voorsprong verdwijnt als we twee specifieke datasets verwijderen."

De Kernboodschap:
Het artikel dringt er bij de AI-gemeenschap op aan om te stoppen met het behandelen van één enkel gemiddeld getal als bewijs van totale superioriteit. Net zoals je een student niet de "slimste van school" zou noemen alleen omdat ze één makkelijk examen haalden, zouden we een AI niet "de beste" moeten noemen alleen omdat het de hoogste gemiddelde score heeft op een wankel leaderboard. We moeten onze gedurfde claims laten matchen met eerlijk, gedetailleerd bewijs.

Technische Samenvatting: Claims op het Standaard van de Kunst Vereisen Bewijs op het Standaard van de Kunst

Probleemstelling

Het artikel identificeert een alomtegenwoordige "claim-bewijskloof" in onderzoek naar Kunstmatige Intelligentie (KI) en Machine Learning (ML). Hoewel claims op het "Standaard van de Kunst" (State-of-the-Art, SOTA) overal voorkomen – ze verschijnen in meer dan 30% van de samenvattingen op grote conferenties – rusten ze doorgaans op minimaal bewijs: een enkel geaggregeerd gemiddeld score over meerdere taken of datasets. De auteurs betogen dat het claimen dat een model "SOTA" is, impliciet robuuste superioriteit suggereert (betekenisvolle verbetering, consistentie over taken en stabiliteit onder verstoring), terwijl het standaardbewijs (superioriteit van de gemiddelde score) slechts aantoont dat een model gemiddeld eerste staat.

Het kernprobleem is dat geaggregeerde scores kritieke faalmodi verbergen. Een model kan een hogere gemiddelde score behalen door marginale winsten op enkele uitbijter-datasets, terwijl het ondermaats presteert op de meerderheid van de taken, of zijn rangschikking kan kwetsbaar zijn voor kleine veranderingen in de samenstelling van de dataset. Ondanks de brede bewustwording van de kwetsbaarheid van benchmarks (bijvoorbeeld gevoeligheid voor prompt-opmaak, selectiebias in datasets en verschuivingen in verdeling), blijft de gemeenschap taal gebruiken die voorbehouden is aan robuuste superioriteit om resultaten te beschrijven die slechts worden ondersteund door punt-schattingen.

Methodologie

De auteurs stellen een diagnostisch kader voor om te toetsen of waargenomen rangschikkingen de impliciete aannames van SOTA-claims ondersteunen. Zij stellen geen nieuwe statistische tests voor, maar passen drie goed gevestigde concepten uit de statistiek toe op bestaande benchmarkgegevens:

Grootte (Effectgrootte): Met behulp van Cohens d meten de auteurs of het prestatieverschil tussen twee modellen betekenisvol is ten opzichte van de variantie over taken. Een drempelwaarde van $\tau_d = 0,2$ (klein effect) wordt gebruikt om te bepalen of de verbetering onderscheidbaar is van ruis.
Consistentie (Winstpercentage): De auteurs berekenen het fractie van taken waarbij de "winnaar" (het model met de hogere gemiddelde score) de concurrent daadwerkelijk verslaat. Een drempelwaarde van $\tau_w = 0,6$ wordt gebruikt om te toetsen of het model op een meerderheid van de taken wint, in plaats van slechts gemiddeld.
Stabiliteit (Breakdown Point): Met behulp van het concept van de breakdown point uit robuuste statistiek bepalen de auteurs het minimumaandeel datasets dat moet worden verwijderd om de rangschikking om te keren. Een drempelwaarde van $\tau_b = 0,2$ geeft aan of de rangschikking berust op een klein subset van gunstige datasets.

De Kwetsbaarheidsgraad wordt gedefinieerd als het aandeel paarsgewijze vergelijkingen waarbij de winnaar op basis van de gemiddelde score faalt in ten minste één van deze drie elementaire tests.

De studie analyseert tien publieke leaderboards over zes domeinen (NLP/LLM, Spraak, Visueel-Taal, Video, Tabulair en Tijdreeksen), waarbij paarsgewijze vergelijkingen worden gereconstrueerd voor de top 20 modellen in elk domein.

Belangrijkste Resultaten

De empirische analyse onthult dat de claim-bewijskloof alomtegenwoordig is over domeinen heen:

Hoge Kwetsbaarheidsgraden: Bij meer dan 1.000 paarsgewijze vergelijkingen mist een aanzienlijk deel van de vergelijkingen tussen top-modellen ondersteuning voor ten minste één aangenomen eigenschap van superioriteit. De algehele kwetsbaarheidsgraad varieert van ongeveer 39% (HELM MMLU) tot meer dan 74% (TSFM-Bench met MSE-maatstaf).
Distincte Faalmodi: De drie diagnostische middelen vangen verschillende faalmodi. In tabulaire benchmarks wordt kwetsbaarheid bijvoorbeeld vaak gedreven door consistentieproblemen (winstpercentages < 60%), terwijl bij tijdreeksvoorspelling stabiliteit de primaire bottleneck is (breakdown points zijn laag).
Concentratie bij Top-modellen: Kwetsbaarheid is het meest uitgesproken onder de top 10 modellen, precies daar waar SOTA-claims het meest geconcentreerd zijn. Naarmate de analyse wordt uitgebreid om lager gerangschikte modellen te omvatten (bijvoorbeeld de top 60), neemt de kwetsbaarheidsgraad af, wat suggereert dat verschillen tussen toppresteerders minder robuust zijn dan verschillen tussen top-tier en midden-tier modellen.
Robuustheid ten opzichte van Drempels: De bevindingen zijn robuust voor de keuze van drempels. Zelfs wanneer drempels worden versoepeld (bijvoorbeeld het verlagen van het winstpercentage-drempel naar 0,5), blijft de algehele kwetsbaarheidsgraad hoog (boven 35% in alle gevallen).
Aantal Taken Lost het Probleem niet Op: Subsampling-experimenten op HELM MMLU tonen aan dat het verhogen van het aantal taken de instabiliteit niet oplost als de taken vergelijkbare kenmerken delen of als de benchmark heterogene signalen aggregeert.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Identificatie van de Kloof: De auteurs definiëren en toetsen expliciet de impliciete aannames achter SOTA-claims (grootte, consistentie, stabiliteit), en tonen aan dat superioriteit van de gemiddelde score deze eigenschappen niet garandeert.
Empirisch Bewijs van Alomtegenwoordigheid: Door elementaire statistische diagnostische middelen toe te passen op tien diverse publieke leaderboards, kwantificeert het artikel dat meer dan de helft van de vergelijkingen tussen top-modellen faalt in ten minste één test, wat bevestigt dat de kloof een structureel kenmerk is van huidige benchmarkpraktijken in plaats van een anomalie.
Institutionele Diagnose: Het artikel betoogt dat het dichten van deze kloof institutionele normen vereist in plaats van nieuwe experimenten. Aangezien de diagnostische middelen geen extra gegevens of rekenkracht vereisen, wordt het aanhouden van het probleem toegeschreven aan institutionele barrières (publicatiedruk, gebrek aan gestandaardiseerde rapportage-normen) in plaats van technische beperkingen.

Betekenis en Claims

De betekenis van het artikel ligt in zijn oproep tot eerlijke rapportage en claim-calibratie. De auteurs betogen dat de gemeenschap al beschikt over de tools om deze problemen te diagnosticeren (bijvoorbeeld betrouwbaarheidsintervallen, winstpercentages, effectgroottes), zoals blijkt uit zeldzame voorbeelden zoals Chatbot Arena en FEV-Bench.

Het artikel claimt niet dat gemiddelde scores nutteloos zijn voor praktische besluitvorming, noch eist het dat modellen specifieke statistische tests moeten doorstaan om te worden gepubliceerd. In plaats daarvan betoogt het dat:

Taal moet overeenkomen met bewijs: Auteurs moeten brede "SOTA"-claims vermijden wanneer het bewijs beperkt is. Zinnen zoals "bereikt de laagste gemiddelde fout" of "staat eerste op deze benchmark" zijn accurater wanneer het model niet consequent of robuust wint.
Institutionele verandering is noodzakelijk: Individuele auteurs kunnen het evenwicht niet alleen verschuiven. Het artikel roept op tot richtlijnen op het niveau van de publicatie-venue (vergelijkbaar met CONSORT in de klinische geneeskunde) die auteurs aanmoedigen om onzekerheid te rapporteren (bijvoorbeeld winstpercentages, effectgroottes) en reviewers ertoe aanzetten te verifiëren dat de claim-taal overeenkomt met de gerapporteerde statistieken.
Transparantie boven nieuwigheid: Het doel is niet om grotere benchmarks te creëren, maar om de beperkingen van bestaande resultaten nauwkeurig te rapporteren, waardoor preciezere en interpreteerbaardere vergelijkingen tussen modellen mogelijk worden.

Tot slot stelt het artikel dat "buitengewone claims buitengewoon bewijs vereisen", en dat de ML-gemeenschap momenteel buitengewone claims (SOTA) doet op basis van gewone, kwetsbare bewijzen. De oplossing ligt in het afstemmen van de claim-taal op de daadwerkelijke sterkte van de onderliggende gegevens.