Technische Samenvatting: Voorbij Activatie-alignement: De Alignement-Diversiteit Trade-off in Taakbewuste LLM Kwantisatie

1. Probleemstelling

Large Language Models (LLMs) worden geconfronteerd met significante barrières voor implementatie vanwege hun geheugenvoetafdruk, met name op apparaten aan de rand van het netwerk (edge devices) met beperkte middelen. Post-training kwantisatie (PTQ), specifiek Mixed-Precision Kwantisatie (MPQ), is een standaardoplossing geworden om gewichten te comprimeren naar low-bit integers zonder hertraining. Echter, conventionele MPQ-pipelines vertrouwen op twee onbewezen aannames die dit artikel uitdaagt:

1. De Perplexity Illusie: De aanname dat laaggevoeligheid gemeten via perplexiteit (PPL) op generieke tekst (bijv. WikiText-2) getrouw de gevoeligheid representeert voor alle downstream-mogelijkheden, inclusief complexe redeneringen.
2. De Calibratie Sufficiëntie Aanname: De aanname dat generieke tekstdistributies een voldoende calibratiemanifold bieden voor elke specifieke taak, of omgekeerd, dat het exclusief kalibreren met taakspecifieke data (bijv. wiskundige tekst) de prestaties maximaliseert.

De auteurs identificeren dat deze aannames leiden tot suboptimale kwantisatiestrategieën waarbij redeneringskritische lagen onvoldoende beschermd zijn, en dat taakspecifieke calibratie het generalisatievermogen kan verslechteren.

2. Belangrijkste Bevindingen en Fenomenen

Door middel van systematische laag-gewijze sensitiviteits-profilering op LLaMA-3-8B en Qwen2.5-7B, onthult het artikel twee kritieke fenomenen:

• De Perplexity Illusie: Er is een statistisch verwaarloosbare rangcorrelatie (Kendell $\tau \approx 0$) tussen lagen die door PPL-degradatie als gevoelig worden geïdentificeerd en de lagen die cruciaal zijn voor wiskundige of wetenschappelijke redenering. PPL-gevoeligheid concentreert zich op input-embeddings en output-projecties, terwijl redeneringsgevoeligheid verdeeld is over de middelste netwerkblokken die verantwoordelijk zijn voor compositionele inferentie. Gevolgelijk leidt PPL-gestuurde allocatie systematisch tot een foutieve toewijzing van bit-breedtes, waarbij de verkeerde parameters worden beschermd voor gespecialiseerde implementaties.
• De Alignement-Diversiteit Trade-off: Hoewel het kalibreren met taakspecifieke data de activatie-alignement met het doeldomein maximaliseert, verslechtert het consistent de prestaties na kwantisatie vergeleken met een gemengde aanpak. Zuivere taakdata zorgt ervoor dat de calibratie-Hessiaan spectraal degeneratief wordt (ill-conditioned), waardoor de effectieve rang instort en de generalisatie-manifold van het model wordt verstoord. Daarentegen fungeert generieke data als een structurele regularisator, die onderdrukte eigenwaarden verhoogt en een goed geconditioneerde Hessiaan behoudt. De optimale calibratie ligt op een intermediaire mengverhouding, niet op de extremen van zuivere taakdata of zuivere generieke data.

3. Methodologie: TASA Framework

Om deze problemen aan te pakken, stellen de auteurs TASA (Task-Aware Sensitivity Analysis) voor, een tweelaags framework dat de compositie van calibratiedata en mixed-precision bit-allocatie gezamenlijk optimaliseert.

3.1 Niveau 1: Automatische Calibratie via Gradient Trace Alignment

TASA gebruikt een training-vrije zoektocht om de optimale mengverhouding ($\alpha$) tussen generieke data (WikiText) en taakspecifieke data te bepalen.

• Mechanisme: In plaats van volledige kwantisatie, berekent het de trace van de Hessiaan-benadering ($H_l = X_l^\top X_l$) voor elke laag, wat overeenkomt met de gekwadrateerde Frobenius-norm van de activatiematrix.
• Doel: Het zoekt naar de mengverhouding $\alpha^*$ die de cosinus-gelijkenis maximaliseert tussen de trace-vector van de gemengde calibratiedata en de trace-vector van de doeltaak data.
• Efficiëntie: Dit vereist slechts $|A| + 1$ forward passes (waarbij $|A|$ het aantal kandidaat-verhoudingen is), waardoor dure backward passes of daadwerkelijke kwantisatie tijdens de zoektocht worden vermeden.

3.2 Niveau 2: Multi-Objective Bit Allocatie

Zodra de calibratie-mix is bepaald, voert TASA bit-allocatie uit over en binnen de lagen.

• Multi-Objective Aggregatie (MOA): Een samengestelde sensitiviteitsscore wordt berekend voor elke laag en kandidaat bit-breedte. Deze score aggregeert PPL-degradatie en taakspecifieke degradatie (bijv. conditionele cross-entropy loss op GSM8K/ARC) in één enkele doelstelling: $S_{MOA}(l, b) = \beta \cdot \Delta_{math} + (1-\beta) \cdot \Delta_{ppl}$.
• Inter-Layer Allocatie: Het allocatieprobleem wordt geformuleerd als een geconstreind Integer Lineair Programmeringsprobleem (ILP) met een knapzakstructuur. Het wordt exact opgelost via dynamisch programmeren om de geaggregeerde MOA-sensitiviteit te minimaliseren onder een globale bit-budgetrestrictie.
• Intra-Layer Verfijning: Binnen elke laag wordt groep-gewijze mixed-precision toegepast met behulp van Optimal Brain Surgeon (OBS) salience scoring. Groepen gewichten krijgen variërende precisies (bijv. $b-1, b, b+1$ bits) om overeen te komen met het gemiddelde budget van de laag en de meest gevoelige groepen te beschermen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op LLaMA-3-8B en Qwen2.5-7B over acht benchmarks (redeneren, gezond verstand, taalmodellering).

• Precisie Inversie: TASA bereikt een "precisie inversie" waarbij modellen met lagere gemiddelde bit-breedtes de uniforme baselines met hogere bit-breedtes overtreffen.
  • LLaMA-3-8B: Bij een gemiddelde precisie van 3,5 bits, evenaart of overtreft TASA verschillende concurrerende 4-bit uniforme baselines (bijv. HQQ, RTN) in geaggregeerde nauwkeurigheid, terwijl het 12,5% minder bits gebruikt.
  • Redeneringswinsten: De verbetering is het meest uitgesproken bij wiskundig redeneren. Op GSM8K verbetert TASA (3,5-bit) ten opzichte van de sterkste W3 baseline met meer dan 20 absolute punten (46,2 vs. de ~26-30 range voor baselines).
  • Qwen2.5-7B: Een 3,75-bit TASA-model behoudt 99,1% van de FP16 geaggregeerde nauwkeurigheid, waarmee het 4-bit uniforme methoden overtreft.
• Ablatie-studies:
  • Allocatie vs. Calibratie: De allocatiestrategie (MOA) levert de dominante verbetering op (+5,6 Gemiddeld t.o.v. PPL-alleen), terwijl gemengde calibratie een additieve boost geeft.
  • Mengverhouding: Prestaties pieken bij intermediaire mengverhoudingen (bijv. $\alpha_{wiki} \approx 0,50$ voor LLaMA-3), wat de Alignement-Diversiteit Trade-off bevestigt. Zuivere taakdata ($\alpha=0$) of zuivere generieke data ($\alpha=1$) levert suboptimale resultaten op.

5. Betekenis en Claims

Het artikel stelt dat de samenstelling van de calibratiedata een substantieel onderbelicht factor is in taakgevoelige kwantisatie. De primaire bijdragen zijn:

1. Formalisering van de Trade-off: Het formaliseert mathematisch de Alignement-Diversiteit Trade-off, en bewijst dat de optimale calibratie een niet-triviale mix is van taak- en generieke data, en dat zuivere taak-alignement leidt tot Hessiaanse degeneratie en prestatie-instorting.
2. Blootleggen van de Illusie: Het demonstreert dat PPL een statistisch ongecorreleerde proxy is voor redeneringsgevoeligheid, wat de standaard "one-size-fits-all" sensitiviteitsmetriek gebruikt in eerdere MPQ-frameworks ongeldig maakt.
3. Verenigd Framework: TASA biedt een verenigd, automatisch framework dat de samenstelling van data en bit-allocatie gezamenlijk optimaliseert zonder dat hertraining of dure backward-pass berekeningen nodig zijn.

De auteurs concluderen dat TASA efficiënte implementatie van LLM's op apparaten met beperkte middelen mogelijk maakt door redeneringsvermogens te behouden onder agressieve kwantisatie, waarbij state-of-the-art resultaten worden behaald bij een sub-4-bit gemiddelde precisie. Het werk suggereert dat toekomstige kwantisatie-pipelines verder moeten kijken dan generieke perplexiteit-metrieken en statische calibratie-datasets om taakbewuste diversiteit te integreren.