Technische Samenvatting: Invloed-geïnspireerde spectrale rotaties voor extreme low-bit LLM-quantisatie

Probleemstelling

Het artikel adresseert de uitdaging van extreme low-bit weight-only quantisatie (specifiek W2A16, 2-bit gewichten, 16-bit activeringen) voor Large Language Models (LLM's). Bij dergelijke lage bit-breedtes lijden standaard quantisatiemethoden (zoals vanilla Intel Auto-Round) aan significante reconstructiefouten, wat leidt tot drastische toenames in perplexiteit (PPL) op benchmarks zoals WikiText-2. De kernmoeilijkheid ligt in het "quantisatieruisbudget": met slechts 2 bits is de afrondingsfout groot, en faalt standaard per-groep quantisatie om de meest kritieke kanalen te prioriteren, wat zorgt voor ernstige degradatie van de modelprestaties, met name bij modellen met brede MLP-lagen of specifieke architecturale beperkingen (bijv. Qwen3-stijl attention).

Methodologie

De voorgestelde methode, BBT-spectral, past een vaste, wiskundig invariant pre-quantisatietransformatie toe op lineaire lagen voordat deze worden overgedragen aan een standaard reconstructiefout-quantizer (Intel Auto-Round). De aanpak is geïnspireerd door een begeleidende theoriepublicatie over Booleaanse invloed en Walsh-Hadamard-geometrie, maar wordt heuristisch toegepast op reëelwaardige LLM-lagen.

1. Kerntransformatie

De methode bestaat uit twee stappen die worden toegepast op de gewichtsmatrix $W$ en de invoer $x$ van een lineaire laag:

1. Spectrale Rotatie: De invoer wordt geroteerd naar de Walsh-Hadamard-basis met behulp van een vaste orthogonale matrix $Q = H_{dpad}/\sqrt{dpad}$, waarbij $H$ de Walsh-Hadamard-matrix is en $dpad$ de nul-opgevulde dimensie tot de volgende macht van twee.
2. Per-coördinaat Schaling: De kolommen van de geroteerde gewichtsmatrix worden geschaald met een diagonaalmatrix $D = \text{diag}(s)$, waarbij de schalingsfactoren $s_\ell$ zijn afgeleid van de spectrale activeringsenergie van de invoercoördinaten.
   • De spectrale energieproxy $\rho_\ell$ wordt berekend als de verwachte kwadratische grootte van de $\ell$-de coördinaat na WHT-rotatie: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$.
   • De schalingsfactor is gedefinieerd als $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$, met $\alpha = 0.5$.

Wiskundige Invariantie: De transformatie is een exacte identiteit bij volledige precisie ($x W^T = (x Q D^{-1}) (D Q^T W^T)$). De schaling "boostt" kanalen met hoge energie vóór quantisatie en deelt ze terug na dequantisatie, waardoor het gehele budget voor gehele getalafronding effectief wordt bevooroordeeld ten gunste van kanalen die meer spectraal signaal dragen.

2. Architecturale Uitbreidingen

Het basisrecept faalde aanvankelijk bij modellen met specifieke attention-mechanismen. Het artikel introduceert drie uitbreidingen om deze gevallen te behandelen:

• Spectral-PCA (voor Qwen3-stijl): Voor architecturen met per-head $q\_norm/k\_norm$-lagen (bijv. Qwen3) breekt de standaard schaling aan de invoerzijde de noemer van de norm. De auteurs vervangen de norm door een Matrix-Γ RMSNorm die de projectiegewichten roteert via per-head PCA ($U_h$) en een diagonaalmatrix $\Gamma_h$ toepast om de vanilla-uitvoer exact te herstellen.
• Pair-PCA (voor RoPE-commuterende architecturen): Voor modellen zonder $q\_norm$ (bijv. Llama, SmolLM, Qwen2.5) moet de rotatie commuteren met Rotary Position Embeddings (RoPE). Aangezien RoPE optreedt als 2D-rotaties, berekent de methode een beperkte SO(2) PCA voor elk RoPE-paar, waarbij de gewichtsrijen in 2D-vlakken worden geroteerd om uit te lijnen met activeringsvariantie zonder de RoPE-invariantie te verbreken.
• MoE-bewuste Absorptie: Een oplossing geïdentificeerd via "architecturale fuzzing" op een synthetisch Laguna-model, waarbij de absorptielijst aan de invoerzijde wordt uitgebreid met $g\_proj$ (head gates) naast de standaard $q/k/v\_proj$ om lekkage van non-lineariteit te voorkomen.

Belangrijkste Bijdragen

1. Drop-in Spectrale Transformatie: Een principiële, niet-geleerde pre-quantisatiestap (WHT-rotatie + energie-gebaseerde schaling) die W2A16-quantisatie verbetert zonder gradient-gebaseerde rotatielearning te vereisen.
2. Empirische Validatie: Gedemonstreerde 15–58% reductie in WikiText-2 PPL over vier modellen (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) vergeleken met vanilla Auto-Round. De grootste winsten werden waargenomen bij modellen met de meest gedegradeerde vanilla-baselines (bijv. Qwen2.5-0.5B zag een verbetering van 57,9%).
3. Architecturale Generalisatie: Succesvolle uitbreiding van de methode naar complexe architecturen (Qwen3 met $q\_norm$, RoPE-zware modellen) via Spectral-PCA en Pair-PCA, waardoor eerdere faalmodi werden opgelost.
4. Bit-breedte Ablatie: Toonde aan dat de opbrengst van de methode Schur-convexiteit-consistent is: het voordeel schaalt met het quantisatieruisbudget. De methode levert enorme winsten op bij W2 maar levert verwaarloosbare (ruisvloer) verbeteringen op bij W4, wat bevestigt dat deze gericht is op het hoge-ruisregime.
5. Technische Robuustheid: Geverifieerd dat de methode geen extra runtime-operatoren introduceert (alle transformaties zijn in de gewichten opgenomen) en apparaat-invariante PPL behoudt over Intel NPU, GPU en CPU.

Resultaten

• Prestaties:
  • SmolLM-135M: PPL daalde van 81,03 naar 45,11 (−44,3%).
  • Qwen2.5-0.5B: PPL daalde van 119,31 naar 50,22 (−57,9%).
  • Qwen2.5-1.5B: PPL daalde van 36,93 naar 28,16 (−23,7%).
  • Qwen3-0.6B: Met Spectral-PCA daalde PPL van 136,76 (vanilla) naar 88,99 (35% verbetering ten opzichte van vanilla).
• Doorvoer: De opgenomen gewichten resulteren in standaard dichte transformer-graafstructuren. De doorvoer is vergelijkbaar met vanilla-baselines (binnen ±15%), zonder extra runtime-overhead.
• Ruisvloer: Bij W4 was de verbetering +0,06 PPL (statistisch niet significant), wat bevestigt dat de methode specifiek is voor extreme low-bit-regimes.

Beweringen en Beperkingen (Stem van de Auteurs)

De auteurs kaderen dit expliciet als een toegepast technisch artikel in plaats van een theoretische doorbraak:

• Geen Formele Equivalentie: Zij claimen niet dat de hier gebruikte reëelwaardige WHT-activeringsenergie formeel equivalent is aan de Booleaanse invloed zoals gedefinieerd in het begeleidende theorieartikel. De connectie is intuïtief en kwalitatief (spectrale massa per coördinaat), geen formele theorema-overdracht.
• Geen Statistische Significantie: Resultaten zijn op basis van één zaadje (single-seed). Verschillen onder de ±0,5 PPL worden behandeld als evaluatieruis.
• Scope van Baselines: Vergelijkingen worden gemaakt met vanilla Auto-Round. Het artikel claimt niet superioriteit ten opzichte van andere sterke low-bit-baselines zoals AWQ, GPTQ, SpinQuant of QuaRot; head-to-head-vergelijkingen worden uitgesteld voor toekomstig werk.
• Scope: De methode is een "drop-in" heuristiek. Zij claimt niet alle quantisatieproblemen op te lossen, en wijst er specifiek op dat het "Schur-convexiteit"-argument een heuristische leidraad is voor de reëelwaardige setting, geen bewezen theorema daarvoor.

De primaire bijdrage is een kleine, principiële, exact wiskundig-invariante transformatie die niet-triviale empirische winsten oplevert bij W2 over diverse modelfamilies, en een praktische oplossing biedt voor extreme low-bit-implementaties waar standaard afronding faalt.