💬 NLP

The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer

Dit artikel onthult een "benchmark-illusie" waarbij geprunte grote taalmodellen competent lijken op meerkeuze-evaluaties maar falen in open eind generatie omdat pruning de juiste antwoorden degradeert in plaats van ze te wissen, wat suggereert dat gecomprimeerde modellen getest moeten worden op hun generatieve vermogens in plaats van alleen op hun herkenningsvermogens.

Oorspronkelijke auteurs: Rui Wen, Lu Sun, Jiayang Liu, Zesheng Xu, Tianshuo Cong, Zheng Li

Gepubliceerd 2026-06-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rui Wen, Lu Sun, Jiayang Liu, Zesheng Xu, Tianshuo Cong, Zheng Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, erudiete bibliothecaris hebt (een Large Language Model) die het antwoord op bijna elke vraag weet. Om geld en ruimte te besparen, besluit je de bibliotheek te "snoeien". Je verwijdert een enorme hoeveelheid boeken en planken en houdt alleen de meest essentiële over.

Het wetenschappelijke artikel waar je naar vraagt, onderzoekt wat er gebeurt wanneer je deze gekrompen bibliotheek test.

De "Multiple-Choice Illusie"

Hier is de truc: Wanneer je de bibliothecaris een vraag stelt, kun je hem op twee manieren testen:

De Open Vraag: Je vraagt: "Wie ontdekte de Azoren?" en wacht tot hij het antwoord uit zijn geheugen spreekt.
De Multiple-Choice Test: Je vraagt: "Wie ontdekte de Azoren? A) 1427, B) 1500, C) 1600, D) 1700."

Het artikel vond een verrassende "illusie". Na het snoeien faalt de bibliothecaris vaak bij de Open Vraag. Hij zegt misschien: "Ik denk dat het de 15e eeuw was," wat vaag of onjuist is. Maar als je hem de Multiple-Choice test geeft, behaalt hij een uitstekende score. Hij wijst onmiddellijk naar "1427" en heeft het goed.

Standaard benchmarks (de tests die worden gebruikt om AI te beoordelen) vertrouwen meestal op het multiple-choice formaat. Dit creëert een vals gevoel van veiligheid. De test zegt: "Je bibliotheek is nog steeds perfect!" maar in werkelijkheid heeft de bibliothecaris het vermogen verloren om het antwoord te herinneren zonder hulp. Hij kan het antwoord nog wel herkennen als je het hem laat zien, maar hij kan het niet uit zichzelf produceren.

De "Demotie" vs. "Erasure" Theorie

De auteurs stelden een cruciale vraag: Heeft het snoeien de kennis gewist (de bibliothecaris is het feit volledig vergeten) of heeft het de kennis slechts gedemoteerd (de bibliothecaris weet het nog wel, maar het is niet langer zijn eerste gedachte)?

Ze ontdekten dat het voornamelijk demotie is.

Denk aan de geest van de bibliothecaris als een drukke kamer vol ideeën. Vóór het snoeien stond het juiste antwoord direct bij de voordeur en zwaaide naar je. Na het snoeien is het juiste antwoord nog steeds in de kamer, maar is het naar de derde of vierde rij naar achteren geduwd.

Greedy Decoding (De standaardinstelling): De bibliothecaris kijkt alleen naar de persoon die bij de voordeur staat. Omdat het juiste antwoord nu in rij 3 staat, kiest de bibliothecaris de verkeerde persoon die bij de voordeur staat.
Multiple Choice: Je overhandigt de bibliothecaris een lijst met mensen in de kamer. Zelfs al staat de juiste persoon in rij 3, de bibliothecaris kan die persoon nog steeds op de lijst zien en aanwijzen.

Hoe de "Demotie" te Herstellen

Omdat de kennis niet gewist, maar slechts naar achteren verplaatst is, laat het artikel zien dat je het antwoord vaak weer terugkrijgt met een beetje hulp:

Wider Search (Breder zoeken): In plaats van alleen bij de voordeur te kijken (greedy decoding), als je de bibliothecaris vertelt om naar de top 5 mensen in de kamer te kijken (Beam Search) of een paar gokjes te wagen (Sampling), zal hij het juiste antwoord weer vinden.
Een Kleine Hint: Als je de bibliothecaris één voorbeeld geeft van hoe hij een soortgelijke vraag moet beantwoorden (één "in-context" voorbeeld), helpt dit hem om het juiste antwoord weer naar de voorste rij te duwen.

De Catch

Dit "demotie"-effect komt vaak voor, vooral bij grotere modellen en talen waar het model goed in is. Echter, het artikel merkt op dat bij kleinere modellen of zeer moeilijke talen, het snoeien de kennis soms daadwerkelijk verwijdert (erasure). In die gevallen kan de bibliothecaris het antwoord zelfs niet vinden als je hem de lijst laat zien, omdat het weg is.

De Kern van de Zaak

Het artikel waarschuwt ons om "multiple-choice" scores niet te veel te vertrouwen bij het beoordelen van gecomprimeerde AI-modellen. Een model kan er perfect uitzien op een test waarbij je de antwoorden geeft, maar hopeloos falen wanneer een echte gebruiker een directe vraag stelt. Om te weten of een gecomprimeerd model echt bruikbaar is, moeten we testen wat het zelf kan produceren, en niet alleen wat het kan herkennen wanneer we het antwoord met de antwoordensleutel voor de neus houden.

Technische Samenvatting: De Benchmark-illusie in Geprunte LLM's

Probleemstelling

Grote taalmodellen (LLM's) worden frequent gecomprimeerd via pruning om het geheugengebruik en de inferentiekosten te verlagen. Ontwikkelaars vertrouwen doorgaans op standaard multiple-choice (MC) benchmarks om te valideren dat de prestaties van een model intact blijven na compressie. Dit paper identificeert echter een kritieke "benchmark-illusie": een geprunteerd model kan hoge scores behalen op MC-evaluaties, terwijl het faalt in het genereren van het juiste antwoord in open eind, greedy generation-taken.

De centrale vraag die wordt onderzocht, is of pruning kennis volledig uitwist of het juiste antwoord slechts degradeert, waardoor het moeilijk is om als de top-output te produceren. De auteurs stellen dat standaard MC-benchmarks een evaluatie-blind vlek creëren door de bruikbaarheid van gecomprimeerde modellen te overschatten, omdat ze herkenning testen in plaats van productie.

Methodologie

De studie maakt gebruik van een paired-item diagnostisch kader om het onderscheid te maken tussen het "herkennen" van een antwoord en het "produceren" ervan. De methodologie omvat:

Stress Test Setup: De auteurs maken gebruik van meertalige Question Answering (QA) met de TyDiQA en XQuAD datasets. Ze selecteren vragen waarbij het ongecomprimeerde (dense) model correct antwoord geeft in zowel open generatie als MC-formaten.
Compressie: Modellen (waaronder Qwen3-8B, Mistral-7B-Instruct en Phi-3-mini) worden gepruned met one-shot methoden, specif kindelijk WANDA (hoge sparsiteit) en SparseGPT, zonder hertraining.
Drie-niveau Evaluatie: Dezelfde vragen worden geëvalueerd over drie formaten om de "Generatiekloof" ( $\Delta_{PR}$ $Δ_{P R}$ ) te meten:
- Spontane Generatie: Greedy decoding zonder kandidaten (het moeilijkst).
- Prompted Recognition (Kandidaat-getoond): Het model krijgt het juiste antwoord en afleiders voorgeschoteld en moet het antwoord genereren.
- Multiple-Choice (MC) Scoring: Het model scoort opties via log-likelihood om de beste te selecteren (het makkelijkst).
Diagnostische Metrieken:
- Dissociatiegraad: Het deel van de items dat vóór pruning correct was in beide formaten, maar na pruning "alleen-MC" wordt (correct in MC, fout in generatie).
- Token Rank Analyse: Het inspecteren van de rang van het eerste token van het gouden antwoord in de waarschijnlijkheidsverdeling om te bepalen of het is gewist of slechts gedegradeerd.
- Herstelbaarheid: Testen of bredere decoding-methoden (Beam Search, Nucleus Sampling) of lichte prompting (1-shot in-context voorbeelden) het juiste antwoord kunnen herstellen uit geprunte modellen.

Belangrijkste Bevindingen

1. Het "Alleen-MC" Fenomeen

Pruning breekt vaak de greedy open generatie, terwijl de MC-herkenning intact blijft.

Dissociatie: Bij high-sparsity pruning (bijv. WANDA bij 0.5 sparsiteit) wordt een aanzienlijk deel van de items (variërend van 12% in het Engels tot 50% in het Bengaals) een "alleen-MC" fout. Het model faalt in het genereren van het antwoord, maar selecteert het wel succesvol uit een lijst.
Support Gradiënt: De daling in accuratesse wordt geminimaliseerd naarmate het evaluatieformaat meer ondersteuning voor het antwoord biedt. Open generatie lijdt het grootste verlies (bijv. 8,7 procentpunt), terwijl MC-scoring het minste verlies lijdt (2,7 procentpunt).

2. Degradatie, Niet Uitwissing

Het paper demonstreert dat pruning doorgaans het juiste antwoord degradeert in plaats van het uit te wissen.

Token Ranking: Voor items die na pruning "alleen-MC" worden, behoudt het eerste token van het gouden antwoord een mediane rang van 3,5 in de waarschijnlijkheidsverdeling. Dit is een "near miss" (bijna de top) in plaats van een diepe begraving (bijv. rang 17 of hoger, gezien bij items die het dense model al niet haalde).
Mechanisme: Pruning verschuift de waarschijnlijkheidsmassa nabij de top van de distributie. Het correcte token daalt vaak van rang 1 naar rang 3 of 4, waardoor greedy decoding een concurrent selecteert. Zodra het eerste token fout is, stapelen de fouten zich op.

3. Herstelbaarheid

Omdat de kennis gedegradeerd is in plaats van uitgewist, is deze vaak herstelbaar:

Bredere Decoding: Het gebruik van Beam Search (beam size 5) of Nucleus Sampling (10 samples) herstelt de accuratesse voor geprunte modellen aanzienlijk. Zo stijgt de Swahili-accuratesse van 39% (greedy) naar 74% (10 samples).
Stabiliteit: Hoewel de greedy accuratesse met ~9,1 procentpunt daalt na pruning, daalt de "oracle recoverability" (of het antwoord aanwezig is in de distributie) slechts met ~0,7 procentpunt.
Prompting: Het toevoegen van een enkel in-context voorbeeld helpt ook om de prestatiekloof tussen dense en geprunte modellen te verkleinen.

4. Limieten en Grenzen

De "degradatie"-hypothese is niet universeel toepasbaar.

Modelgrootte: Kleinere Qwen-checkpoints zijn eerder geneigd de onderliggende herkenningscapaciteit zelf te verliezen, in plaats van alleen het antwoord te degraderen.
Taal/Tokenisatie: De herstelpercentages variëren per taal. Talen met lage middelen en complexe tokenisatie (bijv. Bengaals, Telugu) vertonen lagere herstelpercentages (12%) vergeleken met andere (bijv. Swahili met 59%), wat wijst op echt kennisverlies in deze specifieke gevallen.

Bijdragen

Een Nieuw Diagnostisch Instrument: Introductie van een paired-item test die generatie, herkenning en bereikbaarheid vergelijkt om compressie-geïnduceerde fouten bloot te leggen.
Blootleggen van de Benchmark-illusie: Demonstratie dat agressieve pruning vaak de capaciteiten van de greedy generatie vernietigt terwijl de MC-herkenning behouden blijft, wat leidt tot opgeblazen benchmark-scores.
Mechanistische Verklaring: Bewijs dat pruning primair de juiste antwoorden degradeert naar lagere rangen (near misses) in plaats van ze te verwijderen, waardoor ze herstelbaar zijn via bredere decoding of lichte prompting.

Betekenis

Het paper concludeert dat gebehouden benchmark-scores geen gegarandeerd behoud van bruikbaarheid betekenen. Standaard MC-benchmarks creëren een blind vlek door te testen wat een model kan herkennen in plaats van wat het kan produceren. Om de werkelijke bruikbaarheid van gecomprimeerde LLM's accuraat te beoordelen, moet evaluatie prioriteit geven aan open-ended generatie en de capaciteit van het model testen om antwoorden te produceren, niet alleen om ze uit een lijst te selecteren. De "benchmark-illusie" suggereert dat huidige compressietechnieken in praktische implementaties fragieler kunnen zijn dan de leaderboards doen vermoeden.