📊 statistics

When LLMs get significantly worse: A statistical approach to detect model degradations

Dit artikel stelt een statistisch onderbouwd raamwerk voor hypothese-toetsing voor, gebaseerd op de McNemar-toets, om subtiel modelverval veroorzaakt door optimalisatie-gedreven numerieke fouten betrouwbaar te detecteren, deze te onderscheiden van onschadelijke evaluatieruis en tegelijkertijd de rates van vals-positieven te beheersen.

Oorspronkelijke auteurs: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonas Kübler, Kailash Budhathoki, Matthäus Kleindessner, Xiong Zhou, Junming Yin, Ashish Khetan, George Karypis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee identieke tweelingen hebt, Model A (het origineel) en Model B (de geoptimaliseerde versie). Je wilt weten of Model B net zo goed is als Model A, of dat het in het geheim een beetje "dommer" is geworden om geld te besparen en sneller te draaien.

Het artikel stelt dat het simpelweg kijken naar het gemiddelde cijfer van beide tweelingen op een test, hetzelfde is als proberen een fluistering te horen in een orkaan. Omdat moderne computers licht imperfect zijn (door kleine rekenfouten in hoe ze met getallen omgaan), kan zelfs een perfecte optimalisatie ervoor zorgen dat Model B een iets ander antwoord geeft dan Model A op exact dezelfde vraag. Dit creëert "ruis" die het moeilijk maakt om te zeggen of een daling in prestaties echt is of gewoon willekeurige statische interferentie.

Hier is de oplossing van het artikel, opgesplitst in simpele concepten:

1. De "Zij-aan-zij"-detective (McNemar's Test)

De meeste mensen vergelijken modellen door te zeggen: "Model A had 50% goed, en Model B had 49% goed. Is dat een groot probleem?" Het artikel zegt nee. Dat is als het vergelijken van twee muntworpen van verschillende dagen.

In plaats daarvan zeggen de auteurs dat je naar dezelfde vraag moet kijken voor beide modellen tegelijk.

De Analogie: Stel je een rechtszaal voor waar je een specifieke getuige beoordeelt. Je vraagt niet: "Vertelde de getuige meestal de waarheid?" Je vraagt: "Vertelde de getuige op deze specifieke dag een leugen?"
De Methode: Ze kijken naar elke enkele vraag.
- Kreeg Model A het goed en Model B het fout? (Een "degradatie")
- Kreeg Model A het fout en Model B het goed? (Een "verbetering")
- Kregen ze het allebei goed of allebei fout? (Negeer deze; ze helpen ons niet om te beslissen).

Het artikel gebruikt een statistische tool genaamd McNemar's Test (een klassieke methode uit 1947) om alleen de meningsverschillen te tellen. Als Model B significant vaker faalt dan Model A op exact dezelfde vragen, dan is Model B echt gedegradeerd. Als de fouten gewoon willekeurige ruis zijn, zal de test je vertellen om "af te haken".

2. De "Ruis" versus het "Signaal"

Het artikel wijst op een grappig probleem: zelfs als je niets aan het model doet (het gewoon op een andere computer of een andere softwareversie draait), kunnen de antwoorden lichtjes heen en weer flippen door de manier waarop computers met wiskunde omgaan.

De Metafoor: Denk aan een weegschaal die lichtjes wiebelt. Als je er een gewicht van 1 kg op legt, kan het de ene keer 1,01 kg aangeven en de volgende keer 0,99 kg. Je kunt niet zeggen dat het gewicht is veranderd; de weegschaal is gewoon wankel.
Het Inzicht: De auteurs tonen aan dat als je deze "wankelende" flips als onafhankelijke fouten behandelt, je in de war raakt. Maar als je naar het patroon kijkt van wie er wint en wie er verliest op dezelfde vraag, dan heft de wankeling zich op en komt het echte signaal (werkelijke degradatie) duidelijk naar voren.

3. Het "Drie-alarm"-systeem (Aggregatie van Tests)

Wanneer je een model test op veel verschillende onderwerpen (Wiskunde, Geschiedenis, Programmeren, enz.), hoe beslis je dan of het model over het algemeen slecht is? Het artikel stelt drie manieren voor om de resultaten te combineren, alsof je drie verschillende beveiligingswachten hebt:

De "Pool"-wacht: Tel alle fouten van elk onderwerp op. Goed als het model overal een beetje slecht is.
De "Max-daling"-wacht: Kijk alleen naar het enige slechtste onderwerp. Goed als het model geweldig is in alles, maar vreselijk in één specifiek ding (zoals een wiskundig genie dat niet kan spellen).
De "Fisher"-wacht: Een gebalanceerde mix die het bewijs van alle onderwerpen wiskundig combineert.

Het artikel stelt voor om alle drie te gebruiken. Als een van hen het alarm slaat, weet je dat het model waarschijnlijk is gedegradeerd.

4. Het vet snijden (Verkleinen van de dataset)

Het artikel ontdekte dat veel vragen in deze grote tests "te makkelijk" of "te moeilijk" zijn.

De Makkelijke: Beide modellen krijgen ze elke keer goed.
De Moeilijke: Beide modellen krijgen ze elke keer fout.
De "Flip"-zone: Dit zijn de lastige vragen waarbij de modellen het soms goed en soms fout krijgen.

De auteurs beseften dat om te detecteren of een model slechter is geworden, je alleen de vragen uit de "Flip-zone" hoeft te testen. De makkelijke en moeilijke zijn gewoon ruis. Door de vragen te verwijderen die nooit veranderen, konden ze de grootte van de testdataset halveren terwijl ze de degradatie toch bleven opvangen. Het is als een arts die alleen de vitale functies controleert die daadwerkelijk fluctueren, in plaats van de schoengrootte van een patiënt te meten.

5. De Resultaten: Het opvangen van kleine dalingen

De auteurs testten dit op echte Large Language Models (LLM's).

Ze ontdekten dat hun methode met zekerheid een daling in nauwkeurigheid kon detecteren zo klein als 0,3%.
Ze bewezen dat sommige "optimalisaties" (zoals het wijzigen van de hardware of het gebruik van specifieke wiskundige shortcuts) eigenlijk veilig waren (verliesvrij), zelfs al leken de ruwe cijfers iets anders.
Ze ontdekten ook gevallen waarin modellen wel significant slechter werden (zoals bij het gebruik van zeer agressieve compressie), wat oudere, eenvoudigere methoden misten omdat ze afgeleid waren door de statistische ruis.

Samenvattend: Het artikel biedt een rigoureuze, statistische "waarheidsdetector" die ons stopt met paniek over willekeurige computerfouten en ons helpt om te zien wanneer een AI-model daadwerkelijk zijn scherpe randje heeft verloren. Het vertelt ons om te stoppen met kijken naar het gemiddelde cijfer en te beginnen met kijken naar de specifieke gevechten waar de modellen het niet met elkaar eens zijn.

Technische Samenvatting: Wanneer LLM's Aanzienlijk Slechter Presteren

Probleemstelling

De wijdverbreide adoptie van Large Language Models (LLM's) heeft uitgebreid onderzoek aangewakkerd naar inferentie-optimalisatietechnieken, variërend van theoretisch verliesvrije methoden (bijvoorbeeld efficiënte kernels, speculatieve decoding) tot verliesrijke methoden (bijvoorbeeld kwantisatie, sparsiteit). Een kritieke uitdaging op dit gebied is het onderscheid maken tussen echte modeldegradatie en onschadelijke statistische ruis of numerieke fouten.

Zelfs bij temperatuur nul zijn moderne LLM's niet volledig deterministisch vanwege het niet-associatieve karakter van drijvende-kommaberekeningen (bijvoorbeeld $(a+b)+c \neq a+(b+c)$ ) en variaties in hardware of serving-frameworks. Deze factoren zorgen ervoor dat hetzelfde model bij verschillende runs verschillende antwoorden genereert, wat leidt tot "flippen" in binaire nauwkeurigheidscores, zelfs voor theoretisch verliesvrije optimalisaties. Bijgevolg kunnen waargenomen afwijkingen in nauwkeurigheid op benchmarks met een eindige steekproef het gevolg zijn van statistische fluctuaties in plaats van daadwerkelijke verslechtering van het model. Bestaande evaluatiepraktijken vertrouwen vaak op willekeurige drempels (bijvoorbeeld een daling van 2% in nauwkeurigheid of een flip-rate van 5%) of behandelen nauwkeurigheidsinschattingen als onafhankelijk, waardoor ze geen rekening houden met de correlatie die ontstaat doordat zowel het basis- als het geoptimaliseerde model op exact dezelfde dataset worden geëvalueerd. Dit leidt tot zowel vals-positieven (het markeren van verliesvrije optimalisaties) als vals-negatieven (het missen van subtiele degradaties).

Methodologie

Het artikel stelt een statistisch rigoureus hypothese-toetsingskader voor op basis van de McNemar-toets om modeldegradaties te detecteren met gecontroleerde rates van vals-positieven.

1. Statistische Grondslag

In plaats van geaggregeerde nauwkeurigheidsmetrieken te vergelijken, pleiten de auteurs voor het confronteren van modelscores op per-stuk-basis. Zij definiëren een bivariate stochastische variabele die de gezamenlijke uitkomsten van een basismodel $M$ en een geoptimaliseerd model $\tilde{M}$ op een steekproef $x$ vertegenwoordigt. De uitkomsten worden gecategoriseerd in een contingentietabel:

$a$ : Beide modellen falen.
$b$ : Basis slaagt, geoptimaliseerd faalt (degradatie).
$c$ : Basis faalt, geoptimaliseerd slaagt (verbetering).
$d$ : Beide modellen slagen.

De auteurs definiëren de degradatiekans $q_{\downarrow}$ als de conditionele kans dat het basismodel slaagt, gegeven dat de twee modellen het oneens zijn ( $b$ versus $c$ ). Onder de nulhypothese $H_0$ (geen degradatie) geldt $q_{\downarrow} = 0.5$ . Het alternatief $H_A$ is $q_{\downarrow} > 0.5$ .

2. Exacte Eenzijdige McNemar-toets

De voorgestelde toetsingsstatistiek is de empirische degradatiekans $\hat{q}_{\downarrow} = b / (b+c)$ . Aangezien $b$ een binomiale verdeling volgt $Binomial(b+c, q_{\downarrow})$ , maken de auteurs gebruik van een exacte eenzijdige binomiale toets om p-waarden te berekenen. Deze aanpak:

Richt zich uitsluitend op steekproeven waarbij modellen het oneens zijn ( $b+c$ ), aangezien overeenstemmende steekproeven geen signaal geven over de relatieve prestaties.
Vermijdt de overschatting van variantie die optreedt wanneer nauwkeurigheidsinschattingen als onafhankelijk worden behandeld.
Levert exacte p-waarden op in plaats van te vertrouwen op asymptotische benaderingen voor kleine steekproefgroottes.

3. Aggregatie over Taken

Om evaluaties over meerdere benchmarks ( $T$ taken) te hanteren, introduceert het artikel drie aggregatiestrategieën:

Gepoolde Toets: Aggregeert alle $b$ - en $c$ -tellingen over taken tot één enkele contingentietabel. Dit is robuust tegen taaksubgroepering en zeer gevoelig wanneer degradatie homogeen is over taken.
Max Drop-toets: Identificeert de taak met de meest significante gestandaardiseerde degradatiestatistiek ( $z_{max}$ ). Het maakt gebruik van Monte Carlo-simulatie om de nulverdeling af te leiden, waardoor het effectief is voor het detecteren van degradatie in één specifieke taak.
Fisher's Methode: Combineert p-waarden van individuele taken met de statistiek $\chi^2 = -2 \sum \ln(p_i)$ . Dit biedt een balans tussen de gepoolde en max drop-aanpakken.
Gecombineerd Besluit: Het kader markeert degradatie als een van de drie toetsen de nulhypothese verwerpt op significantieniveau $\alpha$ .

4. Dataset-Pruning voor Efficiëntie

De auteurs stellen een methode voor om datasetgroottes te verkleinen voor snellere toetsing. Door het basismodel te draaien bij een eindige temperatuur om voorbeelden te identificeren die "instabiel" zijn (waarschijnlijk om te flippen), suggereren zij om stabiele voorbeelden (die er altijd in slagen of altijd falen) uit de evaluatieset te verwijderen. Dit verhoogt de flip-kans $p_{\updownarrow}$ in de resterende dataset, waardoor het signaal-ruisverhouding toeneemt zonder relevante degradatiesignalen te verliezen.

5. Generalisatie naar Niet-Binaire Scores

Voor taken met niet-binaire metrieken (bijvoorbeeld ROUGE) breidt het artikel het kader uit met permutatietoetsen. Dit houdt in dat het gemiddelde verschil in score wordt berekend en vergeleken met een nulverdeling die wordt gegenereerd door de tekens van de verschillen willekeurig om te draaien, waardoor type-I-foutcontrole wordt gegarandeerd voor elke steekproefgrootte.

Belangrijkste Resultaten

De auteurs hebben hun kader geïmplementeerd bovenop de open-source lm-eval-harness en uitgebreide experimenten uitgevoerd op Llama-3.1 8B, Llama-3.3 70B en Mistral Small-modellen.

Detectie van Subtiele Degradaties: Het kader slaagde erin om empirische nauwkeurigheidsdegradaties zo klein als 0,3% te detecteren (bijvoorbeeld in de KV-FP8-variant van het 70B-model) met hoge statistische zekerheid ( $p < 0.05$ ), terwijl basiscriteria (daling van 2% of flip-rate van 5%) deze niet markeerden.
Validatie van Verliesvrije Optimalisaties: De toetsen identificeerden correct dat theoretisch verliesvrije wijzigingen (bijvoorbeeld opnieuw draaien, verschillende hardware, verschillende inferentie-engines) niet leidden tot statistisch significante degradatie, ondanks het waarnemen van niet-nul flip-rates (1,3%–2,8%) en kleine nauwkeurigheidsfluctuaties.
Analyse van Vals-Positieven: De studie toonde aan dat uitsluitend vertrouwen op flip-kans (zoals voorgesteld door eerder werk) kan leiden tot vals-positieven. Bijvoorbeeld, een model met een flip-rate van 8,71% toonde geen nauwkeurigheidsdegradatie, terwijl de voorgestelde statistische toets deze correct vrijgaf.
Impact van Kwantisatie: Het kader markeerde duidelijk significante degradaties in INT4-gekwantiseerde modellen (w4a16) en een geknipte/distilleerde variant, met p-waarden die effectief nul waren.
Efficiëntie: De dataset-pruning-aanpak verkleinde de MMLU-Pro-steekproefgrootte met bijna 50% terwijl het merendeel van de "flippende" voorbeelden behouden bleef, wat de evaluatie aanzienlijk versnelde zonder detectiekracht op te offeren.

Betekenis en Aanspraken

Het artikel claimt het eerste rigoureuze statistische kader te bieden dat specifiek is ontworpen om LLM-modeldegradaties te detecteren in aanwezigheid van numerieke ruis en onzekerheid bij eindige steekproeven.

Statistische Rigor: Het gaat verder dan heuristische drempels (bijvoorbeeld "daling van 2%") naar een principieel hypothese-toetsingsbenadering die de rate van vals-positieven controleert.
Praktische Nut: De auteurs bieden een publiek beschikbare implementatie die geïntegreerd is met lm-eval, waardoor de gemeenschap deze toetsen kan toepassen op standaardbenchmarks.
Nuancering: Het werk benadrukt dat "flips" een natuurlijk gevolg zijn van drijvende-kommaberekeningen in moderne LLM's en niet inherent indicatief zijn voor degradatie. In plaats daarvan is de richting van de flip (degradatiekans) de kritieke metriek.
Gevoeligheid: Het kader is gevoelig genoeg om degradaties te detecteren die statistisch significant maar praktisch klein zijn (bijvoorbeeld 0,3%), waardoor beter onderbouwde beslissingen mogelijk zijn met betrekking tot modeloptimalisaties.

De auteurs concluderen dat een juiste statistische behandeling van nauwkeurigheid essentieel is voor de betrouwbare beoordeling van geoptimaliseerde LLM's, vooral naarmate het veld verschuift naar mixed-precision en sterk gecomprimeerde modellen waarbij numerieke fouten onvermijdelijk zijn.