💬 NLP

Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences

Deze studie onthult de 'benchmarkillusie', waarbij grote taalmodellen met vergelijkbare prestaties op benchmarks toch fundamenteel van mening verschillen, wat leidt tot aanzienlijke en soms omkerende variaties in wetenschappelijke resultaten wanneer deze modellen worden ingezet voor data-analyse.

Oorspronkelijke auteurs: Eddie Yang, Dashun Wang

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eddie Yang, Dashun Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Benchmark-illusie": Waarom twee slimme AI's niet altijd hetzelfde denken

Stel je voor dat je twee zeer getrainde kokken hebt, Kok A en Kok B. Ze hebben allebei een prestigieuze kookwedstrijd gewonnen en kregen een perfecte score van 10/10. De jury zei: "Beiden zijn meesterkoks, ze kunnen elk gerecht perfect maken."

Op basis van die score zou je denken dat je ze kunt uitwisselen. Als je Kok A vraagt om een taart te bakken en Kok B om een taart te bakken, zou je verwachten dat ze bijna identieke taarten maken.

Maar wat als je ontdekt dat ze helemaal andere recepten volgen?

Kok A maakt een taart die zoet is, maar een beetje droog.
Kok B maakt een taart die vochtig is, maar een beetje te zout.

Beide taarten zijn "goed" (score 10/10), maar ze smaken totaal anders. Als je nu een wetenschapper bent die de smaak van taarten bestudeert om te zien of suiker gezond is, en je gebruikt per ongeluk Kok A in het ene experiment en Kok B in het andere, krijg je totaal verschillende conclusies.

Dit is precies wat het paper "Benchmark Illusion" van Eddie Yang en Dashun Wang laat zien, maar dan met Artificial Intelligence (AI) in plaats van koks.

1. De Valstrik: De "Benchmark-illusie"

In de wereld van AI worden grote taalmodellen (zoals de slimme chatbots die we kennen) getest op zogenoemde benchmarks. Dit zijn moeilijke examens met vragen over logica, wetenschap en geschiedenis.

De illusie: Als twee AI-modellen dezelfde hoge score halen op deze examens, gaan onderzoekers ervan uit dat ze "hetzelfde" zijn. Ze denken: "Ze zijn beide slim, dus het maakt niet uit welke ik gebruik."
De realiteit: Het paper toont aan dat dit een valstrik is. Zelfs als twee AI's 90% van de examenvragen goed beantwoorden, zijn ze het vaak niet eens over welke vragen ze goed hebben. Ze maken andere fouten.
- AI A denkt dat antwoord X correct is.
- AI B denkt dat antwoord Y correct is.
- Beide hebben een hoge score, maar hun "denkproces" is fundamenteel anders.

2. Waarom is dit gevaarlijk voor de wetenschap?

Wetenschappers gebruiken AI steeds vaker om grote hoeveelheden tekst te lezen en te analyseren. Stel je voor dat een onderzoeker duizenden krantenartikelen wil lezen om te zien of politici vaker over "goede" nieuwsberichten praten dan over "slechte" nieuwsberichten.

In plaats van duizenden mensen te laten lezen (wat duur en langzaam is), laten ze een AI dit doen.

Het probleem: Omdat AI's verschillende fouten maken, kan de keuze van de AI de uitkomst van het onderzoek veranderen.
Het voorbeeld uit het paper:
- In een onderzoek over onderwijs (hoe goed kinderen schrijven) veranderde de keuze van de AI de geschatte verbetering van 0,44 naar 0,19. Dat is een verschil van 80%. De conclusie was nog steeds "het werkt", maar hoeveel het werkt, hangt af van welke AI je kiest.
- In een onderzoek over politiek (Rusland en nieuws) werd het nog erger. Met de ene AI concludeerden onderzoekers: "Politici krijgen eer voor goed nieuws." Met een andere AI concludeerden ze: "Nee, politici krijgen de schuld van slecht nieuws."
- Kortom: De keuze van de AI besliste of het antwoord "Ja" of "Nee" was.

3. De Metafoor: De "Grijze" AI's

Stel je voor dat je een groep mensen vraagt om een grijs schilderij te bekijken en te zeggen of het meer naar het witte of het zwarte einde van de schaal neigt.

De ene AI (die 95% goed scoort) kijkt naar de lichte plekken en zegt: "Het is wit."
De andere AI (die ook 95% goed scoort) kijkt naar de donkere plekken en zegt: "Het is zwart."

Beide AI's zijn "slim", maar ze kijken naar een ander deel van het schilderij. Als je als wetenschapper de ene AI kiest, denk je dat het schilderij wit is. Kies je de andere, dan denk je dat het zwart is. Je hebt dezelfde "slimme" tool gebruikt, maar je komt tot tegenstrijdige waarheden.

4. Wat betekent dit voor ons?

De auteurs van het paper waarschuwen dat we niet blindelings moeten vertrouwen op de "leaderboards" (de ranglijsten met de hoogste scores).

Voor onderzoekers: Je moet niet zomaar de "slimste" AI kiezen. Je moet controleren of je resultaten stabiel zijn, ongeacht welke AI je gebruikt. Het kiezen van een AI is net zo belangrijk als het kiezen van je statistische methode.
Voor de toekomst: We hebben nieuwe manieren nodig om AI te testen. Niet alleen: "Hoeveel vragen heeft hij goed?", maar ook: "Maakt hij dezelfde fouten als een andere slimme AI?" en "Is zijn antwoord stabiel?"

Conclusie

De "Benchmark-illusie" is het idee dat een hoge score op een examen betekent dat twee AI's uitwisselbaar zijn. Het paper bewijst dat dit niet waar is.

Het is alsof je twee auto's hebt die allebei 200 km/u kunnen rijden (hoge score), maar de ene rijdt perfect op droog asfalt en de andere op nat asfalt. Als je ze gebruikt voor een race op regenachtige wegen, zal de ene auto winnen en de andere crashen.

Voor de wetenschap is dit cruciaal: als we AI gebruiken om de waarheid te vinden, moeten we beseffen dat de "slimme" tool die we kiezen, zelf al een groot deel van het antwoord bepaalt. We moeten oppassen dat we niet in de val van de illusie trappen.

Probleemstelling: De Benchmark Illusie

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt in wetenschappelijk onderzoek voor taken zoals tekstanalyse, variabele-extractie en het simuleren van respondenten. De huidige praktijk rust op twee aannames:

LLMs presteren indrukwekkend op standaard benchmarks (zoals MMLU-Pro en GPQA).
Zodra een model deze benchmarks "haalt", kan het worden beschouwd als een uitwisselbaar, plug-and-play-component dat gelijkwaardig is aan andere modellen met vergelijkbare scores.

De auteurs betogen dat deze tweede aanname een illusie is. Hoewel modellen vergelijkbare nauwkeurigheidspercentages kunnen halen, vertonen ze diepgaande epistemische divergentie. Ze maken verschillende soorten fouten op verschillende items. Wanneer deze modellen worden gebruikt voor wetenschappelijke data-annotatie, kunnen deze verborgen onenigheden leiden tot fundamenteel verschillende resultaten, waardoor de reproduceerbaarheid van wetenschap in gevaar komt.

Methodologie

De studie combineert kwantitatieve analyse van benchmark-data, theoretische simulaties en empirische heranalyse van bestaande wetenschappelijke studies.

Benchmark Analyse:
- De auteurs analyseerden de onderlinge onenigheid tussen verschillende LLMs op twee toonaangevende redeneringsbenchmarks: MMLU-Pro (12.032 meerkeuzevragen over 14 disciplines) en GPQA (448 expertvragen in biologie, fysica en scheikunde).
- Ze berekenden de paarwijze onenigheidspercentages (hoe vaak twee modellen een ander antwoord gaven op hetzelfde item) voor modellen met vergelijkbare algehele nauwkeurigheid.
Theoretisch Kader (Simulatie):
- Er werd een meetfoutkader (measurement error framework) toegepast om te tonen hoe systematische voorspellingsfouten regressieschattingen kunnen beïnvloeden.
- Een simulatie werd uitgevoerd met $N=10.000$ $N = 10.000$ observaties (gebaseerd op een klinisch scenario met een antibioticum). Drie "annotators" werden gesimuleerd:
  - Annotator 1: Lage prestaties (85% nauwkeurigheid) met willekeurige fouten.
  - Annotator 2: Hoge prestaties (93,6% nauwkeurigheid) met systematische fouten (neigt tot het verkeerd classificeren van positieve gevallen in de behandelgroep).
  - Annotator 3: Hoge prestaties (93,8% nauwkeurigheid) met systematische fouten in de tegenovergestelde richting (verkeerd classificeren van positieve gevallen in de controlegroep).
Empirische Heranalyse:
- Twee gepubliceerde studies werden hergeanalyseerd door de originele menselijke annotaties te vervangen door annotaties van acht verschillende LLMs (zowel open-source als commercieel), terwijl de data, het ontwerp en de code constant werden gehouden.
- Case 1 (Onderwijs): Heranalyse van een gerandomiseerde trial (Kim et al., 2021) over leesvaardigheid, waarbij essays werden gescoord.
- Case 2 (Politieke Wetenschap): Heranalyse van een studie over selectieve attributie in Russische staatsmedia (Rozenas en Stukal, 2019), waarbij nieuwsfragmenten werden geclassificeerd.

Belangrijkste Resultaten

1. Hoge Onenigheid Ondanks Gelijkende Scores

Modellen met vergelijkbare benchmark-scores zijn niet uitwisselbaar.
Op MMLU-Pro varieerde de onenigheid tussen modellen met vergelijkbare scores van 16% tot 66%.
Op GPQA varieerde dit van 17% tot 65%.
Zelfs bij top-modellen (nauwkeurigheid > 60%) bleef de onenigheid significant: 16-38% op MMLU-Pro en 17-32% op GPQA. Dit betekent dat modellen die "7 van de 10 vragen goed" hebben, systematisch verschillende sets van 7 vragen goed hebben.

2. Impact op Statistische Schattingen (Simulatie)

De simulatie toonde aan dat de structuur van fouten belangrijker is dan de algehele nauwkeurigheid.
De twee hoog-nauwkeurige annotators (2 en 3) veroorzaakten grotere vertekeningen (bias) dan de minder nauwkeurige, maar willekeurige annotator (1).
De systematische fouten leidden tot schattingen in tegengestelde richtingen: Annotator 2 onderschatte het behandelingseffect sterk (0,37 vs. ware waarde 1,0), terwijl Annotator 3 het sterk overschatte (1,43).

3. Empirische Gevolgen in Heranalyses

Onderwijsstudie: Hoewel alle LLMs een positief behandelingseffect vonden, varieerde de grootte van dit effect enorm. De geschatte effectgrootte liep uiteen van 0,19 tot 0,35 (ten opzichte van de originele 0,44), een verschil van 84%.
Politieke Wetenschapsstudie: De keuze van het model veranderde de conclusie radicaal. Sommige modellen bevestigden de originele bevinding (officieren krijgen eer voor goed nieuws), terwijl andere modellen (bijv. Gemma-3-27B en Qwen-2.5-72B) het tegenovergestelde resultaat opleverden: dat officieren vaker de schuld krijgen van slecht nieuws. De onenigheid tussen annotators lag hier tussen 29% en 66%.

Belangrijkste Bijdragen

Kwantificering van Epistemische Divergentie: De auteurs tonen aan dat benchmark-nauwkeurigheid geen proxy is voor uitwisselbaarheid. Modellen hebben unieke "foutprofielen" die niet zichtbaar zijn in aggregate scores.
Nieuwe Dimensie van Onderzoeksvrijheid: De keuze van een specifiek LLM-model wordt geïdentificeerd als een kritieke "researcher degree of freedom". Net als bij het kiezen van een statistische specificatie, kan de keuze van het model de uitkomst van het onderzoek fundamenteel veranderen, zelfs als alle andere variabelen constant worden gehouden.
Kritiek op Huidige Evaluatie-Regimes: Het artikel stelt dat huidige benchmarks misalign zijn met de behoeften van de wetenschap. Voor wetenschappelijk gebruik is stabiliteit, kalibratie van onzekerheid en het ontbreken van systematische correlatie tussen fouten en onafhankelijke variabelen belangrijker dan alleen gemiddelde nauwkeurigheid.

Significantie en Implicaties

De studie introduceert het concept van de "Benchmark Illusie": het geloof dat gelijke scores gelijkwaardige capaciteiten impliceren. Dit heeft ernstige gevolgen voor de reproduceerbaarheid van wetenschap in het tijdperk van AI.

Voor de Praktijk: Onderzoekers moeten modelkeuze en configuratie behandelen als onderdeel van het onderzoeksontwerp. Sensitiviteitsanalyses met meerdere sterke maar verschillende modellen moeten standaard worden toegepast, vergelijkbaar met robuustheidstests.
Voor de Ontwikkeling van AI: Er is een verschuiving nodig van "menselijke voorkeursalignering" (hulpzaam, onschadelijk, eerlijk) naar "wetenschappelijke alignering". Modellen moeten worden geoptimaliseerd voor stabiliteit, interpreteerbare onzekerheid en foutpatronen die niet systematisch vertekend zijn ten opzichte van onderzoeksvariabelen.
Toekomstige Richting: De auteurs pleiten voor nieuwe evaluatiemethoden die overeenstemming, stabiliteit en inferentiële robuustheid als eerste-orde doelen behandelen, naast nauwkeurigheid.

Kortom, hoewel LLMs enorme potentie hebben om wetenschappelijke ontdekkingen te versnellen, vereist hun integratie een kritische heroverweging van hoe we modellen evalueren en selecteren om de evidentiële basis van de wetenschap niet te ondermijnen.