💻 computer science

The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs

Dit artikel betoogt dat conventionele metrieken voor nauwkeurigheid en perplexiteit er niet in slagen de gedragsafwijking te vatten die wordt veroorzaakt door post-training kwantisatie in grote taalmodellen, waarbij "correctheidsovereenstemming" wordt geïntroduceerd om te onthullen dat zelfs matige kwantisatie significante structurele vervormingen induceert—met name in query- en key-projecties—die een illusie van equivalentie creëren tussen basis- en gekwantiseerde modellen.

Oorspronkelijke auteurs: Baha Rababah, Cuneyt Gurcan Akcora, Carson K. Leung

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Baha Rababah, Cuneyt Gurcan Akcora, Carson K. Leung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, hyperintelligente robotkok hebt (een Large Language Model) die verhalen kan schrijven, raadsels kan oplossen en ideeën kan bereiden. Stel je nu voor dat je deze robot wilt verkleinen zodat hij in je broekzak past. Om dat te doen, probeer je zijn receptenboek te vereenvoudigen door alle kleine, precieze metingen af te ronden naar hele getallen. Dit proces wordt kwantisatie genoemd.

Lama tijd lang vroegen mensen die controleerden of de robot nog steeds goed functioneerde: "Geeft hij nog steeds het juiste antwoord?" en "Klinkt hij vloeiend?" Ze gebruikten standaardtests zoals nauwkeurigheid (hoe vaak hij het goed heeft) en perplexity (een chique score voor hoe verward de robot klinkt). Als de robot dezelfde score behaalde, namen iedereen aan dat het de exact dezelfde robot was, alleen kleiner.

Maar dit nieuwe paper zegt: Wacht eens even! Dat is een illusie.

De "Lijkt-erop"-valstrik

De auteurs, Baha Rababah, Cuneyt Gurcan Akcora en Carson K. Leung, ontdekten dat een robot weliswaar dezelfde testscore kan behalen als het origineel, maar eigenlijk volkomen andere beslissingen neemt om daar te komen.

Denk aan twee studenten die een wiskundetoets maken.

Student A (Het Origineel): Lost het probleem stap voor stap op en krijgt het juiste antwoord.
Student B (De Gekwantiseerde Versie): Raadt het juiste antwoord door geluk of gebruikt een totaal andere, vreemde methode.

Als je alleen naar het eindcijfer (de score) kijkt, lijken ze identiek. Maar als je kijkt naar hoe ze het hebben opgelost, zijn ze totaal verschillend. Het paper introduceert een nieuwe manier van controleren die Correctness Agreement wordt genoemd. Deze metriek vraagt: "Hadden beide studenten precies dezelfde vragen goed?"

De resultaten? Zelfs wanneer de "cijfers" (nauwkeurigheid) er prima uitzagen, daalde de "overeenkomst" (agreement). De vereenvoudigde robot kreeg vaak het juiste antwoord om de verkeerde redenen, of miste de specifieke vragen die het originele model wel beantwoordde.

Het "Kantelpunt" in het Recept

De onderzoekers testten dit op vier verschillende robotkoks (Llama-3.2-3B, Vicuna-7B, Mistral-7B en Llama-3.1-8B) en probeerden hen te verkleinen van 8-bit naar 2-bit.

Ze ontdekten een "kantelpunt" waar de boel begint te breken:

8-bit naar 5-bit: Het interne receptenboek van de robot blijft grotendeels hetzelfde. De smaken (statistieken) blijven behouden.
4-bit: Dit is waar de problemen beginnen. Het recept begint te vervormen.
3-bit en 2-bit: Dit is de "instortingszone". De interne structuur van de robot raakt verstoord. De "smaken" van de getallen worden vreemd, waarbij sommige te zwaar of juist te licht worden.

De "Gevoelige Delen" van het Brein

Dit is het meest interessante deel: het brein van de robot bestaat niet uit identieke onderdelen. Het paper stelt vast dat sommige delen veel kwetsbaarder zijn dan andere.

Stel je voor dat het brein van de robot vier hoofdteams heeft die samenwerken:

Het Vraag-team (Query/Q)
Het Sleutel-team (Key/K)
Het Waarde-team (Value/V)
Het Output-team (O)

Toen de onderzoekers de robot samenpersten naar lage bits (zoals Q3 K of Q2 K), raakten de Vraag- en Sleutel-teams totaal in de war. Hun interne getallen gingen wild om, veranderden drastisch van vorm en grootte. Maar de Waarde- en Output-teams bleven verrassend kalm en stabiel, zelfs toen de anderen in paniek waren.

Dit betekent dat als je een robot wilt verkleinen zonder hem te breken, je niet alles gelijkmatig kunt samendrukken. Je moet voorzichtig zijn met de Vraag- en Sleutel-teams, want die zijn het meest gevoelig voor het worden samengeperst.

De Leugen van de "Vloeiende Stem"

Een van de grootste verrassingen ging over perplexity. Dit is een score die meet hoe "vloeiend" of "verward" de robot klinkt. Het paper vond dat een robot een zeer vloeiende stem kan hebben (lage perplexity), zelfs wanneer zijn interne brein volledig verstoord is en hij andere beslissingen neemt dan het origineel.

Het is alsof iemand perfect duidelijk spreekt, maar dingen zegt die niet logisch zijn voor de oorspronkelijke spreker. Het paper laat zien dat perplexity geen betrouwbare indicator is dat de robot nog steeds op dezelfde manier denkt als het origineel. Je kunt een vloeiende stem hebben en tegelijkertijd een kapot brein.

Wat ze daadwerkelijk vonden (en wat niet)

De auteurs gokten niet alleen; ze maten dit over meerdere modellen en datasets zoals WikiText-2, HellaSwag en ARC. Ze toonden aan dat:

Agressief verkleinen (3-bit en 2-bit) zorgt voor een "niet-lineaire" breuk. Het is geen langzame glijvlucht; het is een plotselinge afgrond waar het gedrag van de robot drastisch verandert.
Correctness Agreement een betere manier is om te controleren of een robot echt hetzelfde is, omdat het die "gelukkige gokjes" vangt die de nauwkeurigheid mist.
Q4 K lijkt de "veilige zone" te zijn waar de robot nog grotendeels in orde is, maar Q3 K is waar de degradatie in het besluitvormingsproces van de robot echt zichtbaar wordt.

Dus, de volgende keer dat je een pieklein, super-efficiënt robotmodel ziet, vertrouw dan niet blindelings op het scorebord. Het paper suggereert dat zelfs als het er op papier perfect uitziet, het een totaal andere robot kan zijn, die andere keuzes maakt en op een compleet andere manier denkt dan de gigantische versie waar hij vandaan kwam. De illusie van gelijkwaardigheid is precies dat: een illusie.

Technische Samenvatting: De Illusie van Equivalentie in LLM-kwantisatie

Probleemstelling

Post-training kwantisatie (PTQ) is een standaardtechniek voor het implementeren van Large Language Models (LLM's) in omgevingen met beperkte middelen door de numerieke precisie van parameters en activaties te verminderen. De auteurs stellen echter dat de huidige evaluatiepraktijken bijna uitsluitend vertrouwen op geaggregeerde metrieken zoals nauwkeurigheid (accuracy) en perplexiteit. De auteurs beargumenteren dat deze metrieken de gedragsveranderingen die door kwantisatie worden geïnduceerd, niet kunnen vastleggen. Modellen met vergelijkbare scores voor nauwkeurigheid of perplexiteit kunnen aanzienlijke divergentie vertonen in hun voorspellingen op individuele voorbeelden. Dit creëert een "illusie van equivalentie", waarbij een gekwantiseerd model functioneel identiek lijkt aan zijn basisversie, ondanks onderliggende structurele verstoringen en beslissingsniveau-inconsistenties.

Methodologie

De studie formaliseert post-training kwantisatie als een operatorfamilie die inwerkt op modelparameters en analyseert de gezamenlijke impact op interne aandachtsgewichten (attention weights) en beslissingsgedrag. Het onderzoek hanteert een tweestaps analytische aanpak:

Structurele Analyse: De auteurs behandelen kwantisatie als een structurele operator op aandachtsprojectiematrices ( $W^Q, W^K, W^V, W^O$ ) en kwantificeren structurele afwijkingen met behulp van:
- Statistische Functionalen: Momenten (gemiddelde, standaarddeviatie, scheefheid (skewness), kurtosis) berekend op gewichtsverdelingen.
- Distributionele Divergentie: Metrieken waaronder Cosinus-gelijkenis, Euclidische afstand, Kolmogorov–Smirnov (KS) statistiek en Kullback–Leibler (KL) divergentie tussen de basisgewichtsvectoren en de gedequantiseerde gewichtsvectoren.
- Granulariteit: De analyse wordt uitgevoerd op modelniveau (geaggregeerd over alle blokken) en op layerniveau (isolatie van Q-, K-, V- en O-projecties).
Gedragsmatige Evaluatie: De studie introduceert Correctness Agreement (CA), een metriek op beslissingsniveau die wordt gedefinieerd als het fractie van de voorbeelden waarbij zowel het basismodel als de gekwantiseerde variant correcte voorspellingen produceren. In tegenstelling tot geaggregeerde nauwkeurigheid meet CA de overlap in correcte beslissingen, waarbij gevallen waarin beide modellen falen, buiten beschouwing worden gelaten.

Experimentele Opzet:

Modellen: Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1, en Llama-3.1-8B.
Kwantisatieschema's: Geïmplementeerd via llama.cpp, waarbij dekking wordt geboden aan Legacy-methoden (Q8_0, Q5_0, Q4_0) en K-kwantisatiemethoden (Q6_K door Q2_K).
Datasets: WikiText-2 en C4 voor perplexiteit; HellaSwag, Winogrande en ARC voor downstream zero-shot taakprestaties.

Belangrijkste Bijdragen

Formalisering van Kwantisatie als een Operator: Het werk modelleert PTQ als een transformatie $T_c(\theta)$ en bestudeert het gezamenlijke effect op aandachtsprojectiegewichten en beslissingsgedrag.
Statistische en Divergentie-gebaseerde Sensitiviteitsanalyse: De auteurs stellen een raamwerk voor om layeraanvullende structurele drift te kwantificeren met behulp van statistische momenten en distributionele afstanden, wat niet-lineaire breekpunten bij lage bit-breedtes onthult.
Introductie van Correctness Agreement (CA): Een nieuwe metriek die nauwkeurigheid en perplexiteit aanvult door de consistentie van correcte voorspellingen tussen het basismodel en de gekwantiseerde variant te meten.
Omvattende Empirische Sweep: Naar weten van de auteurs is dit de eerste gecontroleerde studie die een sweep uitvoert van 8-bit tot 2-bit over zowel legacy als K-kwantisatieschema's, waarbij blokniveau aandachtsprojectiedrift wordt gekoppeld aan veranderingen in beslissingsgedrag.

Experimentele Resultaten

1. Statische en Structurele Verstoringen

Hoge/Gemiddelde Bit-breedtes (8-bit tot 5-bit): Kwantisatie behoudt grotendeels de statistische eigenschappen (bijna nul scheefheid, stabiele kurtosis, baseline standaarddeviatie). Legacy-kwantisatie (bijv. Q5_0) vertoont minimale structurele impact.
Lage Bit-breedtes (4-bit tot 2-bit): Agressieve kwantisatie, met name Q3_K en Q2_K, introduceert uitgesproken verstoringen. Deze omvatten verhoogde scheefheid, verminderde kurtosis, systematische gemiddelde verschuivingen en hogere variantie.
Layersensitiviteit: De Query (Q) en Key (K) projecties zijn consequent gevoeliger voor kwantisatie dan de Value (V) en Output (O) projecties. Onder agressieve compressie (Q3_K, Q2_K) vertonen Q- en K-lagen volatiele scheefheid en instortende kurtosis, terwijl V- en O-lagen relatief stabiel blijven tot de laagste bit-breedtes.
Divergentie-metrieken: Cosinus-gelijkenis degradeert geleidelijk, terwijl KL-divergentie en KS-statistieken scherpe stijgingen laten zien bij lagere bit-breedtes, wat wijst op een significante herverdeling van de gewichtsconcentratie.

2. Gedragsmatige Evaluatie

Perplexity en Nauwkeurigheid: Deze oppervlakkige metrieken blijven vaak stabiel onder matige kwantisatie (bijv. Q4_K, Q5_K) of vertonen niet-monotoon gedrag. In sommige gevallen leveren lagere bit-breedtes (bijv. Q3_K) een lagere perplexiteit op zonder dat dit de gedragsmatige consistentie garandeert.
Correctness Agreement (CA): CA is consequent lager dan de geaggregeerde nauwkeurigheid en neemt af naarmate de precisie daalt. Zelfs wanneer de nauwkeurigheid behouden lijkt te blijven, daalt de overlap in correcte voorspellingen tussen het basismodel en het gekwantiseerde model scherp. Dit geeft aan dat kwantisatie verandert welke voorbeelden het model correct voorspelt, zelfs als het totale aantal correcte antwoorden vergelijkbaar blijft.

Betekenis en Claims

Het artikel beweert de blootlegging van een fundamentele discrepantie tussen conventionele prestatie-metrieken en de werkelijke gedragsgetrouwheid van gekwantiseerde modellen.

De Illusie van Equivalentie: De auteurs demonstreren dat een hoge nauwkeurigheid of lage perplexiteit niet garandeert dat een gekwantiseerd model de beslissingslogica van het basismodel behoudt. Een model kan performant lijken terwijl het fundamenteel divergeert in zijn specifieke voorspellingen.
Niet-lineaire Breekpunten: De studie identificeert specifieke drempels waar de structurele integriteit instort. Q4_K wordt geïdentificeerd als de bovengrens van "veilige" kwantisatie, Q3_K markeert het begin van significante degradatie, en Q2_K vertegenwoordigt een regime van breuk waarbij structurele en gedragsmatige consistentie ernstig in het gedrang komt.
Component Kwetsbaarheid: De bevindingen benadrukken dat Q- en K-projecties de primaire bottlenecks zijn voor lage-bit kwantisatie, wat suggereert dat toekomstige kwantisatiestrategieën rekening moeten houden met adaptieve precisietoewijzing (bijv. het behouden van hogere precisie voor Q/K terwijl V/O wordt gecomprimeerd).
Paradigmaverschuiving in Evaluatie: Het werk motiveert een verschuiving in evaluatie voorbij geaggregeerde metrieken, en pleit voor gedragsmatige evaluatie (zoals Correctness Agreement) en structurele analyse om ervoor te zorgen dat gekwantiseerde modellen niet slechts statistisch vergelijkbaar zijn, maar ook gedragsmatig uitgelijnd zijn met hun basisversies.