Mapping Overlaps in Benchmarks through Perplexity in the Wild

Deze paper introduceert 'benchmark-signatures', gebaseerd op de perplexiteit van saliente tokens in natuurlijke corpora, om de overlappende capaciteitsbehoeften van LLM-benchmarks nauwkeuriger te analyseren dan traditionele prestatiecorrelaties, waardoor inzicht wordt verkregen in de complexe relaties tussen kennis, redeneren en andere vaardigheden.

De kern

Stel je voor dat we een enorme bibliotheek hebben vol met testvragen voor kunstmatige intelligentie (AI). Elke vraag is ontworpen om een specifieke vaardigheid te testen, zoals wiskunde, logica, of het begrijpen van een grapje. Maar er is een groot probleem: er zijn er nu zoveel, dat we niet meer weten of ze echt verschillende dingen testen, of dat ze eigenlijk allemaal hetzelfde meten op een andere manier. Het is alsof je dertig verschillende weegschalen hebt om je gewicht te meten, maar ze geven allemaal hetzelfde resultaat omdat ze allemaal op dezelfde manier zijn gebouwd, niet omdat ze allemaal perfect zijn.

De auteurs van dit paper (van de Universiteit van Chicago) hebben een slimme nieuwe manier bedacht om te kijken of deze tests echt uniek zijn of niet. Ze noemen dit "Benchmark Signatures" (proefkaars-vingerafdrukken).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Oppervlakkige" Vergelijking

Normaal gesproken kijken onderzoekers op twee manieren of twee tests hetzelfde zijn:

• De inhoud: Kijken ze naar de woorden? (Bijvoorbeeld: bevatten beide tests veel woorden over "katten"?). Dit is als kijken of twee boeken dezelfde omslag hebben.
• Het resultaat: Kijken ze naar de scores? (Bijvoorbeeld: als een AI goed scoort op Test A, scoort hij dan ook goed op Test B?). Dit is als kijken of een atleet die goed is in hardlopen, ook goed is in zwemmen.

Het probleem is dat deze methoden vaak misleidend zijn. Soms lijken tests heel verschillend, maar meten ze toch hetzelfde. Soms lijken ze op elkaar, maar meten ze totaal verschillende dingen.

2. De Oplossing: De "Vingerafdruk" in de Wildernis

De auteurs zeggen: "Laten we niet kijken naar de testvragen zelf, maar naar wat er in het hoofd van de AI gebeurt voordat hij de test ziet."

Stel je voor dat je een AI hebt die is getraind op een enorme berg internetteksten (nieuws, forums, boeken, code). Deze teksten noemen ze de "Wildernis".

• Als een AI een tekst leest die hij vaak heeft gezien tijdens zijn training, voelt hij zich op zijn gemak. Hij "weet" wat er gaat komen.
• Als hij een tekst leest die hij nog nooit heeft gezien, raakt hij in de war. Hij moet gissen.

De auteurs gebruiken een maatstaf genaamd "Perplexity". Dit is een getal dat aangeeft hoe verbaasd of onzeker de AI is over een bepaald woord in een zin.

• Laag getal: De AI is niet verbaasd (hij kent dit woord uit zijn training).
• Hoog getal: De AI is verbaasd (dit woord komt zelden voor in zijn training).

3. Hoe werkt de "Signature"?

De onderzoekers hebben een slimme truc bedacht:

1. Ze nemen een specifieke test (bijvoorbeeld een wiskundetest).
2. Ze scannen de hele "Wildernis" (miljarden teksten) op zoek naar specifieke woorden of zinsdelen die precies voorspellen hoe goed een AI op die wiskundetest scoort.
3. Als een AI goed is in wiskunde, heeft hij waarschijnlijk veel getallen en wiskundige termen in zijn training gezien. Deze termen zullen voor hem een "laag verbaasdheids-getal" hebben.
4. Deze verzameling van specifieke woorden vormt de Signature (vingerafdruk) van die test.

Het is alsof je probeert te raden wat iemand voor het ontbijt heeft gegeten, niet door naar zijn mond te kijken, maar door te kijken welke sporen hij in de modder achterlaat. De modder (de woorden in de Wildernis) vertelt je alles over zijn maaltijd (de vaardigheid die hij moet testen).

4. Wat hebben ze ontdekt?

Toen ze deze vingerafdrukken vergeleken, zagen ze dingen die ze met de oude methoden niet zagen:

• De "Familiebanden": Tests die lijken op elkaar (bijvoorbeeld verschillende logica-tests) hebben inderdaad vergelijkbare vingerafdrukken.
• De "Valse Vrienden": Soms lijken tests heel verschillend (bijvoorbeeld een test over geschiedenis en een over scheikunde), maar hebben ze bijna identieke vingerafdrukken. Dit betekent dat ze waarschijnlijk niet de kennis testen, maar iets anders, zoals het kunnen volgen van instructies of het herkennen van de vraagvorm (meervoudige keuze vs. ja/nee).
• De "Eenzame Wolf": De test over programmeren (coding) bleek een heel unieke vingerafdruk te hebben. Hij heeft weinig overlap met andere tests. Dit betekent dat programmeren echt een speciale vaardigheid is die losstaat van logisch redeneren of taalbegrip. De AI moet specifieke "code-woorden" hebben gezien om hier goed in te zijn.
• De "Kennis-Val": Alleen tests over feitelijke kennis (zoals geschiedenis of wetenschap) hadden vingerafdrukken die echt leken op de kennis die ze moesten testen. Tests over "logisch redeneren" hadden vingerafdrukken die meer leken op het kunnen lezen van instructies dan op het daadwerkelijke redeneren.

5. Waarom is dit belangrijk?

Stel je voor dat je een sporter wilt testen. Als je alleen kijkt naar hoe snel hij loopt, en je hebt twintig verschillende hardloopbanen, denk je misschien dat je twintig verschillende vaardigheden meet. Maar als je kijkt naar de "vingerafdruk" (de sporen in de modder), zie je dat al die banen eigenlijk hetzelfde zijn: ze testen allemaal alleen maar hardlopen.

Deze paper zegt: "Stop met het maken van nieuwe tests die alleen maar lijken op oude tests."

• Het helpt om te zien welke vaardigheden we nog niet goed testen (zoals het detecteren van ontbrekende informatie).
• Het helpt om te zien dat sommige tests eigenlijk maar één ding meten: het kunnen volgen van de vorm van de vraag, in plaats van de inhoud.

Kortom:
De auteurs hebben een manier bedacht om te kijken onder de motorkap van AI-tests. In plaats van te kijken naar de vraagtekst (de carrosserie) of de score (de snelheid), kijken ze naar de "geur" die de test achterlaat in de training van de AI. Hierdoor kunnen we eindelijk zien welke tests echt uniek zijn en welke slechts een nep-variant zijn van een oude test.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Mapping Overlaps in Benchmarks through Perplexity in the Wild", gepresenteerd in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker geëvalueerd met een explosie aan nieuwe benchmarks. Hoewel deze benchmarks claimen specifieke vaardigheden te meten (zoals redeneren, wiskunde of code), is het onduidelijk of ze werkelijk unieke capaciteiten testen of slechts overlappende vaardigheden meten. Bestaande methoden om benchmark-overlap te analyseren hebben twee grote beperkingen:

1. Semantische overlap: Gebaseerd op tekstuele gelijkenis (via embeddings), wat vaak oppervlakkig is en niet de onderliggende vaardigheden weerspiegelt.
2. Prestatie-correlatie: Gebaseerd op de rangschikking van modellen op verschillende benchmarks. Dit is vaak vertekend door "benchmark-orthogonale" factoren, zoals vraagformaten (meerkeuze vs. waar/onwaar) of verontreiniging van trainingsdata binnen dezelfde benchmark-familie, wat leidt tot hoge correlaties die niets zeggen over de werkelijke overlap in capaciteiten.

Er is behoefte aan een methode die de onderliggende "vingerafdruk" van een benchmark blootlegt, ongeacht de oppervlakkige vorm of de specifieke prestaties van een model.

Methodologie: Benchmark Signatures

De auteurs introduceren het concept van Benchmark Signatures. Een signature is gedefinieerd als een set van opvallende tokens (woorden of symbolen) uit grote, natuurlijke corpora ("in-the-wild"), waarvan de perplexiteit (de mate van verwarring van het model) voorspellend is voor de prestaties van het model op die specifieke benchmark.

De kernidee is dat benchmarks geen vreemde entiteiten zijn die na het trainen worden opgelegd, maar gestructureerde steekproeven van capaciteiten die voortkomen uit de verdeling van natuurlijke taal. Als een benchmark een bepaalde vaardigheid test, zullen de tokens in natuurlijke data die deze vaardigheid reflecteren, een specifieke perplexiteitsverdeling hebben bij modellen die die vaardigheid beheersen.

Het extractieproces (Algorithm 1):

1. Data: Gebruik van een groot "in-the-wild" corpus (RedPajama, ~1 miljard tokens) en 32 verschillende LLMs.
2. Feature Matrix: Berekening van token-level perplexiteit voor elk token in het corpus voor alle 32 modellen.
3. Filtering (Thrush Correlation): Vanwege de ultrahoge dimensionaliteit (miljarden tokens vs. 32 modellen) wordt eerst een screening uitgevoerd. Er wordt een robuuste correlatie (Thrush-correlatie, een variant van Kendall's tau) berekend tussen de perplexiteit van elk token en de prestaties van de modellen op een benchmark. Slechts de top 1% (en bottom 1%) van de tokens met de sterkste correlatie wordt behouden.
4. Selectie (Forward Selection): Op het gefilterde setje tokens wordt een stapsgewijze forward selection uitgevoerd met AIC (Akaike Information Criterion) en lineaire regressie. Dit selecteert een parsimonische set tokens die de variatie in benchmark-prestaties het beste verklaart, terwijl redundantie en overfitting worden geminimaliseerd.
5. Overlap-meting: De overlap tussen twee benchmarks wordt bepaald door de correlatie tussen hun respectievelijke signatures (gemeten via de genormaliseerde perplexiteit van de 32 modellen op deze signatures).

Belangrijkste Bijdragen

1. Een nieuw raamwerk: Een systematische methode om benchmark-relaties te meten op drie niveaus: semantisch, prestatie en signature (gebaseerd op perplexiteit).
2. Robuuste signatuur-extractie: Een pipeline die gebruikmaakt van high-dimensional inference technieken om voorspellende tokens uit natuurlijke data te halen, zonder directe evaluatie op de benchmark zelf.
3. Inzicht in de LLM-capaciteitsruimte: Het onthullen van onverwachte overlappen en scheidslijnen tussen benchmarks die niet zichtbaar zijn met traditionele methoden.

Resultaten

De studie omvatte 32 modellen en 89 benchmarks. De resultaten tonen aan dat signatures een veel scherper onderscheidend vermogen hebben dan semantische of prestatie-analyses:

• Superieure Discriminatie:
  • Semantische overlap blijft beperkt tot een smalle middenrange (0.1–0.4) en onderscheidt geen categorieën.
  • Prestatie-overlap is over het algemeen extreem hoog en vertekend door vraagformaten en benchmark-families (bijv. MMLU-historie correleert sterker met MMLU-chemie dan met een ander geschiedenis-benchmark).
  • Signature-overlap onthult een genuanceerde structuur. Binnen categorieën zoals redeneren en wetenschap is de overlap hoog, terwijl benchmarks in culturele domeinen (humanities) onderling minder overeenkomen.
• Oplossing voor Bias: Signatures zijn robuust tegen "benchmark-orthogonale" factoren. Ze filteren de ruis van vraagformaten (bijv. meerkeuze vs. waar/onwaar) weg, waardoor de echte onderliggende capaciteitsrelaties zichtbaar worden.
• Interconnectie van Vaardigheden:
  • Er is een sterke overlap gevonden tussen wiskunde, logica, instructie-opvolging en taal, wat suggereert dat deze vaardigheden in LLMs sterk verweven zijn.
  • Codering blijkt de meest geïsoleerde functie te zijn, wat suggereert dat succes hier meer afhankelijk is van specifieke code-competentie en minder van algemene vaardigheden.
  • Er is een opvallende overlap tussen kennis- en redeneertaken, terwijl culturele benchmarks minder met elkaar overlappen.
• Kwalitatieve Analyse:
  • Kennis-benchmarks hebben signatures die semantisch overeenkomen met het onderwerp (bijv. tokens gerelateerd aan geneeskunde).
  • Abstracte vaardigheden (zoals logisch redeneren of het detecteren van ontbrekende informatie) hebben signatures die vaak niet semantisch overeenkomen met de taak, maar eerder verwijzen naar proxy-cues (zoals instructie-tokens of syntaxis). Dit suggereert dat LLM's deze taken misschien oplossen via statistische patronen in de data in plaats van via menselijke conceptuele structuren.

Betekenis en Conclusie

Dit paper biedt een fundamenteel nieuw perspectief op de validiteit van LLM-benchmarks. De conclusies zijn:

1. Benchmark Validiteit: Veel benchmarks meten niet wat ze claimen te meten; ze zijn vaak "leaky" en meten in plaats daarvan instructie-opvolging of andere proxy-vaardigheden.
2. Capaciteitsruimte: De ruimte van LLM-vaardigheden is niet een verzameling van losse silo's, maar een complex, verweven netwerk. Signatures bieden een manier om deze "interconnected capacity space" te formaliseren.
3. Toekomstige Richting: De auteurs stellen een "benchmark algebra" voor, waarbij benchmarks kunnen worden ontbonden, gecombineerd en vergeleken om hiaten in de evaluatie te vinden en nieuwe, meer specifieke benchmarks te creëren.

De methode is reproduceerbaar, robuust tegen variaties in trainingsdata (gevalideerd met RedPajama en Dolma) en biedt een diagnostisch toolkit voor de gemeenschap om de ecosysteem van benchmarks te verbeteren. De code en data zijn open-source beschikbaar gesteld.