🤖 machine learning

When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation

Dit artikel toont aan dat hoewel RoPE-gealigneerde paarwijze rotaties analytisch optimaal zijn voor het minimaliseren van een specifieke gepoolde variantie-surrogaat onder strikte commutativiteitsbeperkingen, ze de dynamische 4-bit kwantiseringsnauwkeurigheid niet verbeteren ten opzichte van volledige head-Hadamard-transformaties vanwege een fundamentele misalignement tussen de aannames van de surrogaat en de token-gewijze statistieken die door de kwantiseerder worden gebruikt.

Oorspronkelijke auteurs: Shuhan Wang, Yilin Luo, Nan Xu, Chi Wang Cheung

Gepubliceerd 2026-08-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuhan Wang, Yilin Luo, Nan Xu, Chi Wang Cheung

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, pluizige wolk van data probeert te passen in een piepklein, stijf doosje. Dit is de dagelijkse strijd van het kleiner en sneller maken van enorme AI-modellen, zodat ze op gewone computers of telefoons kunnen draaien. Om dit te doen, gebruiken wetenschappers een truc genaamd "kwantisatie", wat lijkt op het samendrukken van de wolk naar een lagere resolutie. Maar hier komt de adder onder het gras: de wolk heeft een paar superheldere, superzware plekken die "outliers" worden genoemd. Als je de hele wolk zonder zorg samenperst, worden die zware plekken verpletterd en begint de AI stomme fouten te maken.

Om dit op te lossen, gebruiken onderzoekers een methode genaamd "rotatie". Stel je voor dat de wolk bestaat uit spaghetti-slierten. Als je het hele bos slierten zomaar samenperst, breken de dikke slierten. Maar als je het bos eerst draait of verdraait, kun je de dikte gelijkmatig verspreiden, waardoor het makkelijker wordt om samen te drukken zonder iets te breken. Een populaire manier om deze slierten te draaien is gebaseerd op iets dat "RoPE" (Rotary Position Embedding) wordt genoemd, wat een speciale instructiehandleiding is die de AI vertelt hoe de volgorde van woorden in een zin begrepen moet worden. Deze handleiding verdeelt de spaghetti van nature in paren van slierten die aan elkaar gekoppeld zijn.

De grote vraag die dit artikel stelt is: wanneer we de spaghetti draaien om hem passend te maken, moeten we dan het gehele bos slierten tegelijk draaien, of moeten we alleen de specifieke paren slierten draaien die de instructiehandleiding als gekoppeld aangeeft? Het lijkt logisch dat het respecteren van de paren uit de handleiding beter zou zijn, toch? De auteurs zetten zich af om dit idee van "paar-gewijze rotatie" te testen. Ze bouwden een wiskundige theorie die aantoont dat als je de data wilt draaien op een manier die de RoPE-instructiehandleiding perfect respecteert, je wiskundig gezien gedwongen wordt om alleen die specifieke paren slierten te draaien. Ze berekenden zelfs de perfecte hoek om elk paar te draaien om de "samendrukbaarheid" (variantie) van de data te minimaliseren, wat een lokaal optimum creëert dat in theorie de best mogende draai is voor dat specifieke paar.

De draai die niet werkte

De onderzoekers, Shukan Wang, Yilin Luo en hun team, besloten dit idee van "paar-gewijze rotatie" op de proef te stellen. Ze bouwden een wiskundige theorie die aantoont dat als je de data wilt draaien op een manier die de RoPE-instructiehandleiding perfect respecteert, je wiskundig gezien gedwongen wordt om alleen die specifieke paren slierten te draaien. Ze berekenden zelfs de perfecte hoek om elk paar te draaien om de "samendrukbaarheid" (variantie) van de data te minimaliseren, wat een lokaal optimum creëert dat in theorie de best mogelijke draai is voor dat specifieke paar.

Echter, toen ze dit in de echte wereld probeerden met dynamische 4-bit kwantisatie (een specifieke manier om de data te verkleinen), volgde er een plotwending. Ondanks hun perfecte wiskundige berekeningen, maakte de "alleen-per-paar"-methode de AI juist slechter in het begrijpen van taal vergeleken met de oude methode van het draaien van het gehele bos tegelijk.

In hun experimenten met vier verschillende AI-modellen (waaronder Llama en Mistral), zorgde het vervangen van de volledige rotatie van het hoofd door hun nieuwe, wiskundig perfecte paar-rotatie ervoor dat het model meer verwarring kreeg. Het paper meet deze verwarring met een score genaamd "perplexity". Een hogere perplexiteit betekent dat het model meer de weg kwijt is. Ze ontdekten dat de paar-gewijze methode de perplexiteit met ergens tussen de +0,05 en +1,33 punten verhoogde. Bijvoorbeeld, op het Llama-3.2-1B model maakte de paar-gewijze methode het model 1,33 punten meer verward dan de standaardmethode. Zelfs toen ze de wiskunde probeerden te corrigeren door alleen naar de data te kijken die wordt samengedrukt (de "K"-stroom) om de draaihoek te berekenen, kon de paar-gewijze methode het nog steeds niet inhalen van de volledige-kop-methode.

Waarom faalde de perfecte wiskunde?

De auteurs realiseerden zich dat het probleem niet was dat hun wiskunde fout was, maar dat hun wiskunde het verkeerde probleem oploste voor de specifieke tool die ze gebruikten.

Denk er zo over na: de onderzoekers ontwierpen een sleutel (de paar-gewijze rotatie) die perfect past in een specifieke slot (de wiskundige variantie van de dataparen). Maar de deur die ze probeerden te openen (de kwantiseerder) gebruikte een heel ander mechanisme: deze keek naar het bereik van de data over een veel grotere groep slierten, niet alleen naar de kleine paren.

Het paper legt uit dat de "paar-gewijze" methode alleen de kracht heeft om een zwaar punt af te vlakken door het over twee slierten te verspreiden. Maar de "volledige-kop"-methode kan dat zware punt verspreiden over 128 slierten (of hoeveel er ook in het model zitten). Het is alsof je een enorme rots probeert af te vlakken. Als je alleen een hamer hebt die tegelijkertijd twee plekken kan raken, zul je een bult achterlaten. Als je een hamer hebt die de hele rots tegelijk kan raken, kun je de rots volledig afvlakken. De "mixing support"—het aantal slierten waarover de draai effect kan hebben—was de echte held. Zoals de auteurs testten door steeds grotere blokken slierten te draaien (van 2 tot 128), zagen ze dat hoe meer slierten ze konden mengen, hoe minder verward het model werd.

De les

De belangrijkste les is dat alleen omdat een methode wiskundig perfect is voor één specifieke regel (zoals het respecteren van de RoPE-paren), het niet betekent dat het het beste zal werken voor de eigenlijke taak (het passen van de data in een klein doosje). De auteurs ontdekten dat voor dynamische kwantisatie het vermogen om de data te mengen en te verspreiden over de gehele groep slierten belangrijker is dan het strikt volgen van de paar-voor-paar structuur van de instructiehandleiding.

Ze hebben geen nieuwe, betere manier gevonden om de data te draaien; in plaats daarvan hebben ze een zeer duidelijke reden gevonden waarom een ogenschijnlijk slimmere, meer gestructureerde aanpak eigenlijk faalde. De "lokale" perfectie van de paar-gewijze draai kon de "globale" voordelen van de volledige-kop-draai niet overwinnen. Uiteindelijk suggereert het artikel dat wanneer we deze AI-tools ontwerpen, we ervoor moeten zorgen dat onze wiskundige doelen overeenkomen met de werkelijke regels van de kwantiseerder die we gebruiken, in plaats van er simpelweg vanuit te gaan dat het volgen van de structurele regels van de AI-architectuur automatisch tot betere resultaten zal leiden.

Technische Samenvatting: RoPE-gealigneerde Q/K-rotaties voor dynamische 4-bit kwantisatie

Probleemstelling
Post-training kwantisatie (PTQ) van Large Language Models (LLM's) bij lage bitbreedtes (bijv. W4A4KV4) wordt sterk beïnvloed door activatie-outliers. Rotatiegebaseerde methoden pakken dit aan door orthogonale transformaties toe te passen om de activatie-energie te herverdelen, terwijl de ongekwantiseerde functie van het netwerk behouden blijft. Een cruciale ontwerpkeuze in deze methoden is de "mixing support": of men alle kanalen binnen een attention head mengt of de mixing beperkt tot specifieke structurele subruimtes.

Rotary Position Embedding (RoPE) verdeelt elke attention head in vaste tweedimensionale frequentieparen. Deze structuur roept een specifieke vraag op: Kan een transformatie die deze decompositie respecteert (pairwise mixing) de kwantisatienauwkeurigheid verbeteren ten opzichte van full-head mixing? Hoewel eerder werk (bijv. FPTQuant) gebruik heeft gemaakt van per-paar rotaties die commuteert met RoPE, blijft het onduidelijk of het beperken van de mixing support tot deze paren, hoewel theoretisch optimaal voor bepaalde lokale doelstellingen, vertaalt naar betere end-to-end prestaties onder dynamische kwantisatie.

Methodologie
De auteurs onderzoeken deze vraag door drie online transformatieconfiguraties te vergelijken die worden toegepast op queries (Q) en keys (K) na RoPE:

Full-head Hadamard: De baseline-methode die alle $d_h$ kanalen in een head mengt.
Pairwise-only: Een head-shared rotatie beperkt tot de twee kanalen van elk RoPE-frequentiepaar, wat commuteert met RoPE.
Pairwise + Hadamard: De compositie van de pairwise rotatie en de full-head Hadamard.

De studie richt zich op dynamische W4A4KV4 kwantisatie over vier model-checkpoints (Llama-3.2-1B, Llama-3.2-3B, Llama-3.1-8B, en Mistral-7B-v0.3).

Theoretische karakterisering:
Het artikel stelt een theoretisch convecse resultaat vast: voor een enkele head met verschillende RoPE-frequenties zijn de enige orthogonale afbeeldingen die commuteert met RoPE onafhankelijke planaire rotaties binnen de frequentieparen. Dit definieert de "RoPE-commuting familie."

Optimalisatie-doelstelling:
Voor de geëvalueerde head-shared parametrisatie (waarbij één hoek gedeeld wordt over alle heads in een layer voor een specifiek frequentiepaar), leiden de auteurs een gesloten vorm rotatiehoek $\phi^*_k$ af. Deze hoek minimaliseert de maximale kanaalvariantie onder een gepoolde covariantie, positie-gemiddelde surrogaat. De implementatie wordt geverifieerd door het bereiken van dit analytische minimum.

Estimator-strategieën:
De studie evalueert verschillende estimators voor de gedeelde hoek:

Default: Poolt ruwe Q en K moment-accumulatoren over heads voordat centrering plaatsvindt.
K-only: Construeert de covariantie uit enkel K-observaties (aangezien alleen K gepost-transform wordt gekwantiseerd).
Stream-balanced: Wint gelijke gewichten toe aan Q en K ongecentreerde momenten.

Belangrijkste Bijdragen

Exacte Lokale Benchmark: Het artikel biedt een converse karakterisering die bewijst dat voor verschillende frequenties de RoPE-commuterende orthogonale familie exact bestaat uit onafhankelijke pairwise rotaties. Het leidt verder een closed-form minimax-variantie hoek af voor een gepoolde-covariantie surrogaat en verifieert de bereikbaarheid hiervan.
Afgebakend Negatief Resultaat: Onder dynamische W4A4KV4 levert de head-shared pairwise configuratie een hogere perplexiteit op dan de full-head Hadamard mixing over alle geteste checkpoints en contextlengtes (tot 128K). Zelfs wanneer de geverifieerde surrogaat-optimum $\phi^*_k$ wordt gebruikt, presteert de pairwise-only configuratie slechter dan de baseline.
Bewijs voor Proxy Alignment en Mixing Support: Het artikel identificeert twee factoren die de discrepantie tussen lokale optimaliteit en kwantisatieprestaties verklaren:
- Doelstelling Mismatch: De closed-form rotatie minimaliseert een positie-gemiddelde tweede moment (gepoolde covariantie), terwijl de dynamische kwantiseerder zijn schaal bepaalt op basis van een tokenwise group range die meerdere frequentieparen overspant. Optimaliseren voor het eerste garandeert niet controle over het laatste.
- Mixing Support: Pairwise rotaties hebben een mixing support van $b=2$ , terwijl full-head Hadamard een support heeft van $b=d_h$ . Een interpolatie-experiment waarbij de block-Hadamard support varieert van $b=2$ naar $b=d_h$ , laat zien dat de K-range, relatieve kwantiseerfout en perplexiteitsdegradatie monotoon afnemen naarmate de support toeneemt.

Resultaten

Perplexity: Het vervangen van full-head Hadamard door de head-shared pairwise configuratie verhoogt de perplexiteit in elke short-context vergelijking (bijv. +1.33 PPL op Llama-3.2-1B, +0.48 PPL op Llama-3.2-3B). Deze ordening houdt stand voor lange contexten (tot 128K).
Compositie: Het componeren van de pairwise rotatie met de Hadamard (Pairwise + Hadamard) voldoet aan het $\pm 0.05$ -PPL interval criterium ten opzichte van de baseline, wat aangeeft dat de pairwise component de full-head mixing niet verslechtert wanneer deze wordt toegevoegd.
Impact van Estimator: Het schatten van de gedeelde hoek uit alleen K verbetert de pairwise-only configuratie op alle checkpoints vergeleken met de default estimator, maar het elimineert de prestatiekloof ten opzichte van full-head mixing niet.
Support Interpolatie: Naarmate de mixing support toeneemt van 2 kanalen (pairwise) naar de volledige head, nemen de K-range, de relatieve kwantiseerfout en de perplexiteitskloof allemaal af, waarbij ze de prestaties van de full-head baseline benaderen bij $b=d_h$ .

Significantie en Claims
Het artikel concludeert dat structurele alignment alleen (commuteren met RoPE) onvoldoende is om te garanderen dat een rotatie de kwantiseerfout vermindert. De optimaliteit van een transformatie voor een gestructureerde surrogaat (gepoolde covariantie) betekent niet noodzakelijkerwijs een vermindering van de kwantiseerfout als de surrogaat en de mixing support van de transformatie niet zijn uitgelijnd met de schaal-stellende statistiek van de kwantiseerder (tokenwise group range).

De auteurs claimen bescheiden dat hun resultaten drie verschillende concepten scheiden:

Optimaliteit voor een gepoolde-covariantie surrogaat.
Verbetering van de tokenwise range statistiek van de kwantiseerder.
End-to-end modelkwaliteit (perplexity).

De bevindingen suggereren dat voor dynamische kwantisatie een bredere mixing support (full-head) effectiever is dan de structureel beperkte pairwise mixing, primair omdat de schaal-stellende mechanisme van de kwantiseerder opereert op een statistiek (tokenwise range) die profiteert van de grotere support-omvang, die de pairwise transformatie niet kan bieden. Het artikel claimt niet een superieure methode te hebben gevonden, maar biedt een negatief resultaat dat de beperkingen van RoPE-gealigneerde pairwise mixing in dit specifieke dynamische kwantisatieregime verheldert.

De draai die niet werkte

Waarom faalde de perfecte wiskunde?

De les

Meer zoals dit