💬 NLP

Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity

Deze paper introduceert een interpretabel kader op basis van token-perplexiteit om aan te tonen dat grote taalmodellen, ondanks hun succes op benchmarks, vaak op heuristieken vertrouwen in plaats van op de verwachte linguïstische cues.

Oorspronkelijke auteurs: Zoë Prins, Samuele Punzo, Frank Wildenburg, Giovanni Cinà, Sandro Pezzelle

Gepubliceerd 2026-04-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zoë Prins, Samuele Punzo, Frank Wildenburg, Giovanni Cinà, Sandro Pezzelle

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Is de AI echt slim, of is hij gewoon een slimme gokker?

Stel je voor dat je een zeer intelligente, maar soms wat onvoorspelbare robot hebt. Je vraagt hem een moeilijke vraag, en hij geeft het perfecte antwoord. Jij denkt: "Wauw, deze robot begrijpt de taal echt!" Maar wat als de robot het antwoord niet heeft gevonden door na te denken over de betekenis, maar gewoon door een gelukstreffer of een slimme truc?

Dit is precies het probleem waar dit wetenschappelijke artikel over gaat. De onderzoekers van de Universiteit van Amsterdam willen weten: Is de AI "verward" om de juiste reden?

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het probleem: De "Chinese Kamer"

Stel je voor dat je in een kamer zit met een boek met regels. Iemand geeft je een vraag in een taal die je niet kent (bijvoorbeeld Chinees). Je kijkt in je boek, zoekt het juiste antwoord op en geeft het terug. De mensen buiten de kamer denken: "Wow, deze persoon spreekt Chinees!" Maar in werkelijkheid snap je er niets van; je volgt alleen regels.

Dit noemen onderzoekers de "Chinese Kamer". Met grote taalmodellen (zoals ChatGPT) zien we vaak dat ze goede antwoorden geven, maar we weten niet of ze de taal begrijpen of dat ze gewoon heel goed zijn in het raden van het volgende woord op basis van patronen.

2. De nieuwe methode: De "Woord-Perplexiteit"

De onderzoekers hebben een nieuwe manier bedacht om dit te testen. Ze gebruiken een meetlat die perplexiteit heet.

De Analogie van de Gokker:
Stel je voor dat de AI een gokker is die probeert het volgende woord in een zin te voorspellen.
- Als de AI zeker weet welk woord er komt, is zijn "verwarring" (perplexiteit) laag.
- Als de AI niet weet wat er komt, is zijn verwarring hoog.

De onderzoekers kijken nu niet alleen naar het eindantwoord, maar naar elk woord afzonderlijk. Ze kijken of de AI verward raakt op de juiste plekken.

3. Het Experiment: De "Minimale Paren"

Om dit te testen, maken ze twee bijna identieke zinnen, waarbij slechts één of twee woorden verschillen. Dit noemen ze "minimale paren".

Zin A (Goed): "De man met de groene stoel liep naar binnen."
Zin B (Verkeerd/Verward): "De man met de groene stoel die hij had, liep naar binnen." (Hier is de betekenis anders of grammaticaal raar).

Het cruciale woord is hier "stoel" versus "die hij had". Dit zijn de "pivotal tokens" (de sleutelwoorden).

De verwachting:
Als de AI de taal echt begrijpt, zou hij alleen verward moeten raken op die specifieke sleutelwoorden. De rest van de zin zou voor hem even makkelijk moeten zijn als voor een mens.

De realiteit (de verrassing):
De onderzoekers hebben dit getest met vier verschillende AI-modellen. Het resultaat was verrassend:

De AI gaf vaak het juiste antwoord (hij was "slim" genoeg).
MAAR: De AI raakte niet alleen verward op de sleutelwoorden. Hij raakte ook verward op woorden die niets met de betekenis te maken hadden, zoals leestekens (punten) of andere woorden in de zin.

4. Wat betekent dit? De "Truc" van de AI

Het is alsof je een kind vraagt: "Wat is 2 + 2?" en het kind zegt "4".

De juiste manier: Het kind telt op: 1, 2, 3, 4.
De AI-methode: Het kind heeft de uitkomst "4" op een lijstje gezien en zegt dat, zonder echt te rekenen.

De AI gebruikt heuristieken (korte weg-trucjes) in plaats van echte taalregels. Hij kijkt naar de hele zin en maakt een gok, in plaats van te kijken naar het specifieke woord dat de zin veranderde.

5. De conclusie: Waarom is dit belangrijk?

De onderzoekers zeggen: "We moeten ophouden met alleen kijken naar of de AI het juiste antwoord geeft."

Als een AI een test haalt, betekent dat niet per se dat hij de taal begrijpt. Hij kan de test "kraken" met slimme trucs die wij niet zien. Dit is gevaarlijk als we AI gebruiken voor belangrijke dingen (zoals medische diagnoses of juridisch advies), omdat we dan denken dat hij begrijpt wat hij doet, terwijl hij eigenlijk maar gokt.

Samengevat in één zin:
Deze paper laat zien dat AI-modellen vaak het juiste antwoord geven, maar dat ze dat doen door slimme trucs te gebruiken in plaats van door echt te begrijpen waarom een zin goed of fout is. Ze zijn verward om de verkeerde redenen.

De "Gouden Tip" van de onderzoekers

Ze hebben een nieuwe tool gemaakt (een soort "röntgenfoto" voor AI) om te zien waar de AI precies naar kijkt. Als de AI echt slim is, zou hij alleen naar de belangrijke woorden moeten kijken. Als hij naar alles kijkt (ook naar de punten en komma's), dan is hij waarschijnlijk aan het gissen.

Dit helpt ons om betere, eerlijkere en begrijpelijkere AI's te bouwen in de toekomst.

Probleemstelling

Huidige evaluaties van Large Language Models (LLMs) focussen primair op taakprestatie (bijvoorbeeld nauwkeurigheid op benchmarks). Dit benadering heeft twee fundamentele tekortkomingen:

Bevestigingsbias (Confirmation Bias): Als een model een taak correct uitvoert, neigen onderzoekers er vaak toe om aan te nemen dat het model de onderliggende linguïstische mechanismen heeft begrepen. Dit is echter niet gegarandeerd; het model kan de taak oplossen via heuristieken of oppervlakkige patronen zonder echte "begrip" (vergelijkbaar met het Chinese Kamer-argument van Searle).
Gebrek aan interpretatie: Bestaande methoden voor Explainable AI (XAI), zoals feature-attributie (bijv. attention weights of saliency maps), zijn vaak instabiel en kunnen misleidend zijn. Er is behoefte aan een principieel kader om te testen of een model zich gedraagt om de verwachte reden (bijv. het identificeren van specifieke sleutelwoorden die een zin grammaticaal of ambigu maken).

Methodologie

De auteurs introduceren een interpretatiekader gebaseerd op token-level perplexiteit (PPL) om te testen of modellen "verward zijn om de juiste reden".

1. Experimenteel Opzet: Minimale Paren
Het onderzoek maakt gebruik van minimale paren (minimal pairs): twee prompts die identiek zijn, behalve voor één of enkele "pivotal tokens" (sleutelwoorden) die bepalen of een zin grammaticaal correct, ambigu of stereotyperend is.

Voorbeeld: Een zin met "with a green chair" (ambigu) versus "who had a green chair" (niet-ambigu).
De modellen krijgen een prompt met een "correcte" en een "incorrecte" versie van deze paren.

2. Metrieken
In plaats van alleen te kijken naar welke prompt het model kiest (nauwkeurigheid), analyseren de auteurs de verdeling van de perplexiteit op token-niveau. Ze definiëren twee nieuwe metrieken om te kwantificeren in hoeverre de pivotal tokens de totale verschil in perplexiteit ( $\Delta$ PPL) tussen de twee prompts verklaren:

Plain Proportion: Het percentage van het totale $\Delta$ $Δ$ PPL dat wordt veroorzaakt door de som van de absolute PPL-verschillen van de pivotal tokens.
- Formule: $\frac{\sum |\text{PPL}_{\text{pivotal, correct}} - \text{PPL}_{\text{pivotal, incorrect}}|}{\text{Total } \Delta\text{PPL}}$
- Een waarde van 1 betekent dat de pivotal tokens de hele reden zijn voor het verschil.
Normalized Proportion: Deze metriek corrigeert voor de richting van het effect en het aantal tokens. Het berekent het gemiddelde aandeel van de pivotal tokens en trekt hier het mediaan aandeel van alle andere tokens van af.
- Dit geeft aan of pivotal tokens meer of minder bijdragen dan een gemiddeld token, en of ze in de juiste richting werken.

3. Waarom Perplexiteit en geen Surprisal?
De auteurs kiezen voor perplexiteit (PPL) in plaats van surprisal. PPL is de inverse van de waarschijnlijkheid ( $1/p$ ), terwijl surprisal de logaritme daarvan is. Bij zeer lage waarschijnlijkheid (wat vaak voorkomt bij "foute" pivotal tokens in minimale paren) explodeert de PPL-waarde. Surprisal zou deze extreme pieken afvlakken door de logaritmische transformatie, waardoor het signaal van de verwarring minder zichtbaar wordt.

Experimenten en Resultaten

De auteurs testten vier open-weight modellen (Gemma3-4B, Mistral0.3-7B, Llama3.2-3B, Qwen2.5-7B) op vijf taken:

Nonsens-woorden (Sanity Check): Zinnen met verzinselwoorden versus één echt woord.
Stereotypes (CrowS-pairs): Zinnen die stereotypen bevatten versus tegensprekende zinnen.
Anafore-overeenkomst (BLiMP): Grammaticale overeenkomst tussen voornaamwoorden.
Animatie-verificatie (BLiMP): Zinnen met zinvolle versus onzinvolle animatie-eigenschappen.
Ambiguïteit (DUST): Zinnen met referentiële ambiguïteit versus niet-ambiguïteit.

Belangrijkste bevindingen:

Geen volledige correlatie: Er is geen sterke correlatie tussen de taaknauwkeurigheid (accuracy) en de token-level perplexiteit. Modellen kunnen een taak correct uitvoeren (hoge accuracy) zonder dat de pivotal tokens de oorzaak zijn van de perplexiteitsverschillen.
Pivotal tokens verklaren niet alles: Hoewel pivotal tokens consistent een grotere invloed hebben dan andere tokens, verklaren ze nooit de volledige $\Delta$ $Δ$ PPL.
- Bij taken als Animatie en Anafore verklaren de pivotal tokens maximaal ongeveer 50% van het verschil.
- Bij Stereotypes dragen zelfs leestekens (zoals punten) significant bij aan het verschil, wat suggereert dat het model naar bredere context of andere cues kijkt dan alleen het sleutelwoord.
- Alleen bij de Nonsens-taak (waar de taak puur op het ene woord draait) en de DUST-taak (ambiguïteit) benaderen de modellen de ideale situatie, maar zelfs dan is het niet perfect 100%.
Variabiliteit: De manier waarop modellen fijne linguïstische cues coderen, varieert sterk tussen modellen en taken.

Bijdragen

Principieel Interpretatiekader: Een nieuwe methode om te testen of modelgedrag wordt gedreven door de verwachte linguïstische mechanismen, zonder afhankelijk te zijn van instabiele feature-attributie.
Nieuwe Metrieken: Introductie van "Plain" en "Normalized Proportion" om de bijdrage van specifieke tokens aan het modelgedrag kwantitatief te meten, losgekoppeld van de uiteindelijke taaknauwkeurigheid.
Empirisch Bewijs: Het aantonen dat huidige LLMs vaak "op de verkeerde manier" correct zijn; ze lossen taken op via heuristieken die afwijken van de verwachte linguïstische redenering.

Significantie en Conclusie

De studie concludeert dat benchmark-resultaten (nauwkeurigheid) een te optimistische proxy zijn voor linguïstisch inzicht. Het feit dat een model een zin correct classificeert, betekent niet dat het de juiste linguïstische regels heeft toegepast.

De bevindingen onderstrepen de noodzaak van interpretatiemethoden die bevooroordeeldheid minimaliseren en actief testen of modellen vertrouwen op de aangenomen mechanismen. De auteurs waarschuwen dat LLMs vaak "voor de verkeerde redenen" goed presteren, wat implicaties heeft voor het vertrouwen in deze modellen voor kritische toepassingen waar echt begrip vereist is. De code en data zijn openbaar gemaakt om herhaalbaarheid te waarborgen.