Technisch Overzicht: Verzadiging Maakt Kwantiseringsfout Additief

Probleemstelling

Mixed-precision kwantisering voor Large Language Models (LLM's) vereist de beslissing welke lagen of tensoren met een hogere precisie behouden moeten blijven onder een strikt geheugenbudget. Huidige industriestandaard methoden (bijv. HAWQ, ModelOpt, CoopQ) vertrouwen op een structurele premisse: de totale loss door het kwantiseren van een set lagen kan worden gereconstrueerd vanuit per-laag of paarwijze sensitiviteiten die in isolatie zijn gemeten. Deze methoden aggregeren scores afgeleid van Hessian-sporen, Fisher-scores of paarwijze interactietermen, uitgaande van de veronderstelling dat laag-orde metingen volstaan om de loss van een gezamenlijke configuratie te voorspellen.

Deze premisse is echter niet direct getest bij de 4-bit gewichts- en activatieprecisies die momenteel worden ingezet. De verliesfunctie $f(S)$, gedefinieerd als de toename in loss bij het kwantiseren van een deelverzameling lagen $S$, is een verzamelfunctie over de Booleaanse kubus $\{0, 1\}^L$. Voor realistische modeldieptes is het enumereren van alle $2^L$ configuraties onuitvoerbaar, wat benaderingen noodzakelijk maakt. De kernvraag is of de variantie van deze verliesfunctie wordt gedomineerd door eerste-orde (per-laag) effecten of of hogere-orde interacties significant genoeg zijn om additieve heuristieken ongeldig te maken.

Methodologie

De auteurs analyseren de structuur van kwantiseringsschade $f(S)$ via twee klassieke veranderingen van basis op de Booleaanse kubus: de Walsh-transformatie (functional-ANOVA decompositie) en de Möbius-expansie.

1. Variantie-decompositie: Gebruikmakend van de Walsh-basis onder een deployment-distributie $\mu_p$ (waarbij elke laag onafhankelijk wordt gekwantiseerd met kans $p=0,6$), deconstrueren de auteurs de variantie van $f$ per orde. Theorem 1 stelt vast dat de gemiddelde kwadratische fout van de beste additieve (graad-1) voorspeller exact gelijk is aan de som van de varianties van alle hogere-orde termen (orde $\ge 2$).
2. Ordinale Analyse: Om te bepalen of de resterende hogere-orde energie werkelijke laag-koppeling vertegenwoordigt of louter de kromming van de loss-schaal, testen de auteurs op "additiviteit tot een strikt toenemende transformatie". Ze meten de ordinale defect—het minimale fractie van de rangschikkingen van paarwijze configuraties die een additieve index moet schenden. Dit wordt gecertificeerd tegen meetruis middels split-half estimators en matched-noise nullen.
3. Het Coverage Model: De auteurs stellen een "coverage model" voor dat wordt gedreven door verzadiging. Omdat kwantiseringsverlies begrensd is door een plafond $c$, neemt de "headroom" $h(S) = c - f(S)$ af naarmate er meer lagen worden gekwantiseerd. Het model stelt dat elke gekwantiseerde laag een vast fractie $a_i$ van de resterende headroom consumeert:
   $$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$$
   Dit impliceert dat de schade additief is in log-headroom: $-\log(1 - f(S)/c) = \sum_{i \in S} b_i$.
4. Voorspellers en Allocatoren:
   • Additief Model: De optimale eerste-orde voorspeller afgeleid van de deployment-distributie.
   • Coverage Model: Een parametrisch voorspeller met $L+1$ parameters ($c$ en break-rates $a_i$), gefit via kleinste kwadraten.
   • Aumann–Shapley Estimator: Een fit-vrije padintegraal die de optimale additieve coëfficiënt herstelt bij een laag-specifieke effectieve dichtheid, wat bewijst dat de rangschikking van lagen exact behouden blijft onder het coverage model.
   • Allocatie: Beide modellen worden omgezet in allocatoren door een knapzakprobleem op te lossen over de voorspelde marginale schade om $\Delta$LCE te minimaliseren onder een geheugenbudget.

Belangrijkste Bevindingen

1. Dominantie van Eerste-Orde Effecten

Over configuraties getrokken uit de deployment-distributie, wordt 85–93% van de variantie in kwantiseringsschade verklaard door per-laag effecten alleen. Op exacte rasters (waar alle $2^L$ configuraties worden gemeten) met ruiscorrectie, stijgt dit naar 98–99%. De onverklaarde hogere-orde variantie dient als een "certificaat" voor de best mogelijke prestaties van elk additief model.

2. Verzadiging Verklaart de Structuur

De resterende hogere-orde energie duidt niet op complexe laag-koppeling, maar op de verzadiging van de loss-functie.

• Ordinaal Defect: De schade wordt goed benaderd door een monotone transformatie van een som van per-laag termen ($f(S) \approx g(\sum b_i)$). Het gemeten ordinale defect is maximaal 2% (vaak ononderscheidbaar van nul), wat aangeeft dat de schijnbare niet-additiviteit te wijten is aan de kromming van de loss-schaal, en niet aan interactie tussen lagen.
• Möbius-spectrum: Het coverage model voorspelt een specifiek Möbius-spectrum waarbij coëfficiënten van teken wisselen en in magnitude groeien, wat ervoor zorgt dat laag-orde afkortingen aanzienlijk overschieten (tot 32$\times$ de ware loss) voordat ze convergeren. Dit gedrag wordt empirisch bevestigd op exacte rasters.

3. Falen van Geïsoleerde Sensitiviteiten

Sensitiviteiten gemeten in isolatie (bijv. de Hessian-trace van HAWQ-v2) zijn verankerd bij het ongekwantiseerde netwerk ($p \to 0$). Onder het coverage model zijn deze geïsoleerde hellingen opgeblazen door een gesloten vorm factor relatief aan de optimale in-context hellingen:
$$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$$
Dit leidt tot een misprijsing van de configuratie-loss met 71–376% wanneer geïsoleerde sensitiviteiten worden opgeteld. De inflatie groeit exponentieel met het aantal gekwantiseerde lagen.

4. Prestaties van Voorspeller en Allocator

• Voorspelling: De additieve en coverage modellen (met $L+1$ parameters) presteren beter dan of zijn gelijk aan black-box surrogaten (Random Forests, Gaussian Processes, RBF kernels) bij kleine meetbudgetten ($N \approx L$). Cruciaal is dat ze maximaal 2$\times$ degraderen bij extrapolatie naar zwaar gekwantiseerde configuraties, terwijl Gaussian processes 2–5$\times$ degraderen omdat hun stationaire kernels falen om de verzadigingsstructuur te coderen.
• Allocatie: Bij gelijke geheugenbudgetten bereiken de voorgestelde allocatoren de laagste KL-divergentie onder alle vergeleken methoden (sensitiviteit-gebaseerd, structureel en surrogate-gebaseerd) op modellen variërend van 0,6B tot 355B parameters.
  • Op Qwen3-30B bereiken ze 17–21% lagere KL-divergentie dan de productie-baseline van ModelOpt.
  • Op Qwen3-235B en GLM-4.6 (355B) worden marges van 13–37% waargenomen.
• Sub-4-bit Regime: Onder de 4 bits falen standaard allocatoren vaak om generaties te voltooien. De voorgestelde allocaties, afgeleid van de gefitte modellen, behouden redeneervermogen bij effectieve bit-breedtes waar andere methoden instorten.

Betekenis en Claims

Het artikel claimt een gesloten vorm theorie te bieden voor mixed-precision kwantisering die de spanning oplost tussen de schijnbare niet-additiviteit van loss en het succes van per-laag heuristieken.

• Theoretische Bijdrage: Het bewijst dat verzadiging zowel het geconcentreerde Walsh-spectrum (dominantie van orde-1) als het divergerende Möbius-spectrum (overschietende interacties) genereert. Het biedt een certificaat-identiteit (Theorem 1) die de limiet van additieve modellen kwantificeert vóór deployment.
• Praktische Impact: Het demonstreert dat de heersende "isoleer-en-som" heuristieken fundamenteel gebrekkig zijn door anchor-bias, waarbij ze de loss met ordes van grootte overschatten. Het voorgestelde coverage model en de Aumann–Shapley estimator bieden een nauwkeuriger, interpreteerbaarder en computationeel efficiënter alternatief dat geen paarwijze sampling vereist.
• Robuustheid: De methoden worden gevalideerd over diverse model-schalen (0,6B tot 355B), architecturen (dense en MoE) en taken (redeneren, code, beeldgeneratie). Het artikel stelt dat de resulterende allocaties de eersten zijn die betrouwbaar redeneertaken oplossen bij sub-4-bit budgetten waar andere methoden falen om te termineren.

De auteurs concluderen dat de "interactie" die vaak aan kwantisering wordt toegeschreven, grotendeels een artefact is van de kromming van de loss-schaal. Door deze verzadiging expliciet te modelleren, kan men een optimale allocatie bereiken met eenvoudige, interpreteerbare en certificeerbare voorspellers.