Are Large Language Models Truly Smarter Than Humans?

Dit paper toont aan dat de schijnbare superioriteit van grote taalmodellen op publieke benchmarks grotendeels het gevolg is van dataverontreiniging, waarbij experimenten aantonen dat deze modellen vaak op de testvragen zijn getraind en hun prestaties aanzienlijk dalen wanneer vragen worden herschreven of indirect worden gesteld.

De kern

Stel je voor dat je een groot examen doet, bijvoorbeeld voor een baan als advocaat of arts. Je krijgt een boek met honderden vragen en antwoorden. Als je die vragen een keer leest en ze uit je hoofd leert, haal je misschien een 10. Maar betekent dat nou dat je echt slim bent? Of dat je echt begrijpt hoe de wereld werkt? Nee, het betekent alleen dat je het boek uit je hoofd hebt geleerd.

Dit is precies wat dit nieuwe onderzoek doet met de "slimste" kunstmatige intelligenties (AI) van vandaag, zoals GPT-4 en DeepSeek. De onderzoekers vragen zich af: Zijn deze AI's echt slimmer dan mensen, of hebben ze gewoon het examenboek gelekt?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De AI's hebben het "antwoordenboekje" gelezen

Vroeger waren examenvragen geheim. Maar nu staan diezelfde vragen (of heel vergelijkbare versies) vaak op het internet, in blogs, in schoolboeken en op forums. Omdat AI's het hele internet hebben gelezen om slim te worden, is de kans groot dat ze de examenvragen al hebben gezien voordat ze de test kregen.

• De Analogie: Stel je voor dat een student voor een wiskundetoets het antwoordboekje van de leraar heeft gestolen. Als hij de toets maakt, haalt hij een 10. Maar als je hem een nieuwe vraag stelt die hij nog niet heeft gezien, faalt hij. De AI's doen precies hetzelfde: ze scoren hoog omdat ze de "oude vragen" kennen, niet omdat ze echt kunnen redeneren.

2. De Drie Experimenten: Hoe hebben ze dit ontdekt?

De onderzoekers hebben drie verschillende manieren gebruikt om te checken of de AI's vals spelen.

Experiment 1: De Google-check (Het spoor van de vragen)

Ze hebben gekeken of de vragen van het beroemde examen (MMLU) online te vinden zijn.

• Wat vonden ze? Veel vragen staan online. Vooral in vakken als Filosofie (66% van de vragen online!) en STEM (wiskunde, natuurkunde, techniek).
• De les: Als een AI een vraag krijgt die 100% identiek is aan iets wat ze al hebben gelezen, is hun "slimme" antwoord eigenlijk gewoon herhaling.

Experiment 2: De Parfumeur-test (Verander de woorden)

Stel je voor dat je een vraag hebt: "Wie was de eerste president van de VS?"
De AI kent het antwoord. Maar wat als je de vraag verandert in: "Wie zat er als eerste op de troon van de nieuwe natie?"

• De test: De onderzoekers veranderden de woorden van de vragen, maar hielden de betekenis hetzelfde.
• Wat vonden ze? De AI's werden veel minder goed! Bij vragen over Recht en Ethiek daalde hun score met bijna 20%.
• De les: De AI's waren niet aan het nadenken; ze waren aan het patroonherkennen. Zodra de "verpakking" van de vraag veranderde, wisten ze het antwoord niet meer. Het was alsof ze de tekst uit hun hoofd hadden geleerd, maar de betekenis niet begrepen.

Experiment 3: De Gedachtenlezer (Wat zit er in hun hoofd?)

Dit was de slimste test. Ze gaven de AI een vraag, maar bedekten een deel van het antwoord met een masker (bijvoorbeeld: "Het antwoord is [MASK]"). Vervolgens vroegen ze de AI om het ontbrekende woord in te vullen.

• De test: Als de AI de vraag echt uit zijn hoofd heeft, kan hij het masker vullen, zelfs als het een fout antwoord is dat hij ooit heeft gezien.
• Wat vonden ze? Bijna 73% van de vragen triggerde een "herinnering" in de AI. Ze konden de antwoorden (en zelfs de foutieve opties) reconstrueren.
• De vreemde uitzondering: De AI genaamd DeepSeek-R1 deed het anders. Hij kon de exacte woorden niet onthouden, maar wel de ideeën van de antwoorden. Hij had de vragen niet letterlijk uit zijn hoofd geleerd, maar had ze "samengevat" in zijn hoofd. Toch faalde hij ook hier op nieuwe vragen.

3. De Grote Conclusie: Wie is er nu echt slim?

De onderzoekers trekken drie belangrijke conclusies:

1. Het examen is besmet: De scores die we zien op de leaderboards (de ranglijsten van slimste AI's) zijn waarschijnlijk te hoog. Ze meten niet alleen intelligentie, maar ook hoe goed de AI's het internet hebben "gelezen".
2. Niet alle vakken zijn even besmet: Vakken als Wetenschap en Techniek (STEM) en Recht zijn het ergst besmet. De AI's hebben hier de meeste "antwoordenboeken" online gevonden.
3. AI's zijn niet zo robuust als we denken: Als je een AI vraagt iets te doen in de echte wereld (waar de vragen niet exact hetzelfde zijn als op het internet), zakken ze vaak door de bodem. Ze zijn goed in het herhalen van wat ze hebben gezien, maar slecht in het toepassen van kennis op nieuwe situaties.

Waarom is dit belangrijk voor jou?

Stel je voor dat je een AI gebruikt om een medisch advies te geven of een juridisch contract te schrijven. Als die AI alleen maar de antwoorden uit zijn "antwoordenboekje" haalt, kan hij gevaarlijke fouten maken als de situatie net iets anders is dan in zijn training.

Kortom: De AI's zijn niet per se "slimmer" dan wij. Ze zijn beter in het uit het hoofd leren van het examen. Net als een student die het antwoordboekje heeft gestolen, scoren ze perfect op de oude vragen, maar falen ze als de leraar een nieuwe, eerlijke toets schrijft.

De boodschap van dit onderzoek is: Wees sceptisch met de hoge scores. Voordat we AI's echt gaan gebruiken voor belangrijke dingen, moeten we ze testen met vragen die ze nog nooit hebben gezien.

Technische samenvatting

Titel

Zijn Large Language Models (LLM's) werkelijk slimmer dan mensen? Benchmarkverontreiniging, oppervlaktepatroon-afhankelijkheid en gedragsmatige memorisatie bij zes frontier-modellen.

1. Het Probleem

Publice leaderboards suggereren dat Large Language Models (LLM's) menselijke experts overtreffen op benchmarks zoals MMLU (Massive Multitask Language Understanding) in domeinen zoals academische kennis, recht en programmeren. Het paper stelt echter dat deze claims fundamenteel gebrekkig zijn omdat de meeste benchmarks volledig publiek zijn. De vragen en antwoorden zijn vaak jarenlang online beschikbaar, wat het risico creëert dat de modellen deze data tijdens hun training hebben "gezien".

Als een model de examenvragen al kent, weerspiegelt een hoge score niet noodzakelijk algemene intelligentie of redeneervermogen, maar eerder een mengsel van memorisatie, patroonvoltooiing en interpolatie binnen een bekende verdeling. Dit leidt tot een overschatting van de werkelijke prestaties en de inzetbaarheid van deze modellen in kritieke domeinen.

2. Methodologie: Een Triangulatie van Drie Experimenten

De auteurs voeren drie complementaire experimenten uit op zes frontier-modellen (GPT-4o, GPT-4o-mini, DeepSeek-R1, DeepSeek-V3, Llama-3.3-70B, Qwen3-235B) om verontreiniging (contamination) te auditen. Het geheel is volledig reproduceerbaar met open API's.

• Experiment 1: Lexicale Verontreinigingsdetectie (Externe Detectie)

  • Doel: Bepalen of MMLU-vragen online beschikbaar zijn in de trainingdata.
  • Methode: Er werden 513 vragen (9 per onderwerp over 57 categorieën) geanalyseerd. Er werd een Tavily-webzoekopdracht uitgevoerd voor de eerste 150 tekens van elke vraag.
  • Criteria: Een vraag werd als verontreinigd gemarkeerd als: (a) >30% overlap van 8-grams met webresultaten, en (b) het correcte antwoord verbatim in de resultaten voorkwam.
  • Metriek: Estimated Performance Gain (EPG) werd berekend om te schatten hoeveel de nauwkeurigheid kunstmatig is verhoogd door verontreiniging.

• Experiment 2: Parafraze en Indirecte Referentie Diagnostiek (Gedragsanalyse)

  • Doel: Testen of modellen afhankelijk zijn van oppervlaktevormen (woordkeuze) in plaats van onderliggende kennis.
  • Methode: 100 vragen uit zes onderwerpen werden omgezet in twee varianten: (a) een parafraze (andere woorden, zelfde betekenis) en (b) een indirecte referentie (onderwerpen beschreven via eigenschappen in plaats van namen).
  • Verwachting: Als een model memoriseert, daalt de nauwkeurigheid bij verandering van de oppervlaktevorm. Als het redeneert, blijft de score stabiel.

• Experiment 3: TS-Guessing Gedragsproef (Interne Gedetectie)

  • Doel: Direct testen of modellen de inhoud van benchmarkvragen intern hebben opgeslagen, zonder externe webdata.
  • Methode: Toepassing van het Testset Slot Guessing (TS-Guessing) protocol op alle 513 vragen.
    • Taak A (Option Mask): Een fout antwoordoptie wordt gemaskeerd; het model moet de originele tekst reconstructeren.
    • Taak B (Word Mask): Een inhoudswoord in de vraag wordt verwijderd; het model moet het woord invullen.
  • Signaal: Een reconstructie boven het willekeurige niveau wijst op interne memorisatie.

3. Belangrijkste Resultaten

• Algemene Verontreiniging (Exp 1):

  • De algehele verontreinigingsgraad is 13,8%.
  • Dit varieert sterk per categorie: STEM (18,1%), Professioneel (12,7%), Sociale Wetenschappen (12,1%) en Geesteswetenschappen (10,3%).
  • Individuele onderwerpen zoals Filosofie (66,7%) en Anatomie (55,6%) tonen extreem hoge verontreiniging.
  • De geschatte prestatieverbetering door verontreiniging (EPG) loopt op tot +0,054 (5,4 procentpunten) voor STEM.

• Gedrag bij Oppervlakteverandering (Exp 2):

  • Bij het wisselen naar indirecte referenties daalt de gemiddelde nauwkeurigheid met 7,0 procentpunten.
  • De grootste dalingen zijn te zien in Recht (-19,8 pp) en Ethiek (-19,8 pp), wat perfect overeenkomt met de hoge verontreiniging in Exp 1.
  • GPT-4o toont weinig gevoeligheid voor oppervlakteverandering, terwijl Llama-3.3 en Qwen3 grote dalingen vertonen.

• Interne Memoratie en Anomalieën (Exp 3):

  • 72,5% van de vragen activeert memorisatiesignalen (TS-Guessing) die ver boven het willekeurige niveau liggen.
  • DeepSeek-R1 Anomalie: Dit model vertoont een uniek patroon:
    • 0% verbatim recall (exacte reconstructie).
    • Maar 76,6% gedeeltelijke reconstructie (conceptuele herkenning zonder exacte tekst).
    • Dit verklaart waarom het in Exp 2 een lage basisscore had maar nauwelijks daalde bij oppervlakteverandering: het heeft de conceptuele structuur gememoriseerd, niet de exacte zinnen. Dit maakt het model kwetsbaar voor echt nieuwe evaluatiematerialen.

• Convergentie:

  • Alle drie de methoden komen tot dezelfde rangschikking van verontreiniging per categorie: STEM > Professioneel > Sociale Wetenschappen > Geesteswetenschappen. Dit bevestigt dat verontreiniging een structureel en niet-uniform fenomeen is.

4. Bijdragen en Significatie

• Methodologische Innovatie: Het paper introduceert een robuust, multi-method auditraamwerk dat externe webdetectie combineert met interne gedragsproeven (TS-Guessing) en parafraze-testen. Dit biedt onafhankelijke convergente bewijzen die door één enkele methode niet kunnen worden geleverd.
• Kritische Bevinding: De huidige "menselijke" of "supermenselijke" scores op benchmarks zijn grotendeels een artefact van verontreiniging. Een aanzienlijk deel van de prestaties (tot 72,5% volgens gedragsproeven) is gebaseerd op het herkennen van memoriseerde content in plaats van transfererend redeneervermogen.
• Implicaties voor Beleid en Praktijk:
  • Juridisch en Medisch: De grote nauwkeurigheidsdalingen in deze domeinen bij oppervlakteverandering wijzen op een groot risico voor hallucinaties en fouten in de praktijk. Modellen die goed scoren op verontreinigde benchmarks, kunnen falen in real-world scenario's waar de exacte vraagstelling anders is.
  • Regulering: Er is een dringende noodzaak aan transparantie. Modelproviders moeten verontreinigingsanalyses publiceren. Regulatoren moeten eisen stellen aan evaluatie op decontaminatie (gebruik van gesloten benchmarks) en robuustheidstesten (parafraze).
• Toekomstvisie: De auteurs pleiten voor het gebruik van privé, decontaminatie-benchmarks en het standaardiseren van gedragsproeven (zoals TS-Guessing) als onderdeel van de evaluatiecyclus voor AI-systemen.

Conclusie: De vraag of LLM's slimmer zijn dan mensen kan met de huidige benchmarkpraktijk niet worden beantwoord. De bewijzen suggereren dat de modellen vaak niet "slimmer" zijn, maar simpelweg de "examenvragen" al hebben gezien. Zonder strikte decontaminatie en nieuwe evaluatiestandaarden zijn claims over menselijke intelligentie in AI niet geloofwaardig.