Technische Samenvatting: QAM-W

Probleemstelling

Huidige post-training kwantisatiemethoden voor Large Language Models (LLM's) zijn overwegend scalair, waarbij elke gewichtswaarde onafhankelijk wordt gemapt naar een geheel getal-index. Hoewel simpel, gooit scalair coderen de onderliggende paarcoördinaatstructuur binnen gewichtsrijen weg. De auteurs stellen dat coördinaten binnen een gewichtsrij doorgaans gecorreleerd zijn; na een orthogonale rotatie benaderen deze coördinaten een 2D-circulaire Gaussische verdeling. Scalare codeboeken misbruiken deze structuur niet, waardoor er "rate-distortion slack" overblijft die kan worden teruggewonnen door paren gezamenlijk te kwantiseren als punten in een vlak in plaats van als onafhankelijke scalaire waarden.

Bestaande benaderingen adresseren delen van dit probleem: rotatiegebaseerde methoden (bijv. QuIP, QuIP#) homogeniseren de grootte van coördinaten, maar vertrouwen vaak op scalair of rooster-codering; activatiebewuste methoden (bijv. AWQ) schalen kanalen op basis van de grootte van de activatie, maar laten de gezamenlijke coördinaatstructuur onaangeroerd. Het artikel postuleert dat een codec die rotatie, gezamenlijke 2D-codering en activatiebewuste schaling combineert, hogere kwaliteit kan bereiken bij lagere bitrates.

Methodologie: De QAM-W Codec

De auteurs introduceren QAM-W (Quadrature Amplitude Modulation for Weights), een codec die gewichtsmatrices rij-voor-rij verwerkt via de volgende pijplijn:

1. Scheiding van Schaal en Richting: De rijnorm ($r = \|w\|_2$) wordt geregistreerd als metadata. De rij wordt genormaliseerd tot een eenheidsvector $u$.
2. Deterministische Rotatie: Een met een tekenmasker voorziene block-Hadamard-rotatie wordt toegepast op de genormaliseerde rij ($y = R_{fwd} u$). Deze rotatie is een exacte isometrie in reële rekenkunde, wat betekent dat deze geen wiskundige vervorming introduceert, maar energie herverdeelt om coördinaatcoherentie te verminderen.
3. Koppeling en Kalibratie: Aangrenzende geroteerde coördinaten worden gegroepeerd tot complexe waarden ($z_k = y_{2k} + i y_{2k+1}$). Elk paar wordt geschaald met een gekalibreerde factor $\sigma_k$, empirisch geschat uit de gemiddelde amplitude van de paren, waarbij deze worden gemodelleerd als circulaire Gaussische verdeling.
4. Gezamenlijke 2D-Kwantisatie: In plaats van amplitude en fase onafhankelijk te kwantiseren (polaire codering), mapt QAM-W elk genormaliseerd paar naar het dichtstbijzijnde centroid in een enkele 2D Lloyd-Max codebook getraind op de circulaire eenheids-Gaussische verdeling.
5. Activatiebewuste Schaling: Om de codec-fout af te stemmen op de gevoeligheid van de output van de laag, past de methode per-kanaal schalingsfactoren toe ($s_j \propto r_j^\alpha$) vóór kwantisatie, waarbij $r_j$ de RMS is van de input-kanaalactivaties. Dit dempt de bijdrage van kanalen met hoge RMS, in lijn met de logica van AWQ.
6. Decodering: De decoder draait het proces om: indices uitpakken, centroids opzoeken, herschalen met $\sigma_k$, de inverse rotatie toepassen en vermenigvuldigen met de opgeslagen rijnorm.

De auteurs analyseren het systeem via een samengestelde bound-keten: de rotatie is een isometrie; de gezamenlijke 2D-codering minimaliseert vervorming beter dan polaire codering bij vaste rates; en de laag-outputfout wordt beheerst door een trace-identiteit ($\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$), wat de activatiebewuste schaling motiveert.

Belangrijkste Bijdragen

• Codec-ontwerp: Een rijnorm-gefactoreerde, block-Hadamard-geroteerde, gezamenlijke 2D Lloyd-Max codec voor LLM-gewichten met activatiebewuste schaling.
• Theoretische Analyse: Een samengestelde monotoon bound die codec-vervorming (Lloyd-vervorming $D_B$) koppelt aan de Kullback-Leibler (KL)-divergentie tussen BF16 en gekwantiseerde modellen. De bound suggereert dat de gerealiseerde KL methoden vergelijkbaar moet rangschikken als de codec-vervorming.
• Empirische Cross-Model Studie: Evaluatie over vijf LLM's uit vier families (1,1B–13B parameters) en acht gekwantiseerde configuraties.
• Ontdekking van Rangcorrelatie: Het artikel toont aan dat over 37 (methode, model) configuraties, de gepaarde KL-divergentie en $\Delta$PPL% ranggecorreleerd zijn met een Spearman $\rho = 0,99$, wat het gebruik van KL als diagnose voor kwantisatiekwaliteit valideert.

Resultaten

De evaluatie richt zich op drie instructie-getrainde modellen (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) en een frontier-vergelijking op Llama-2-7B.

• Kwaliteit bij ~5,5 bpw: De activatiebewuste variant van QAM-W (QAM-W-5.5) blijft binnen ±0,4% van de BF16 perplexiteit op alle geteste modellen. Dit komt overeen met het kwaliteitsbereik van SmoothQuant W8A8 (dat werkt bij ~8,1 bpw), maar bereikt dit met ongeveer 32% minder gewichtsbits.
• Gezamenlijke 2D vs. Pools: Bij gelijke bitrate (~4 bpw) presteert de gezamenlijke 2D-codering (QAM-W-4) de polaire baseline (QAM-W-polar) met 1–3 procentpunten (pp) in $\Delta$PPL op kwantisatietolerante modellen (TinyLlama, Mistral) en met 14,6 pp op het kwantisatiegevoelige Qwen2.5.
• Vergelijking met QTIP: Bij een strikte 4 bpw presteert de QTIP-methode (met E8-rooster trellissen) beter dan QAM-W. De auteurs stellen expliciet dat de bijdrage van QAM-W het 5–6 bpw kwaliteitsbehoudende bereik is, niet de strikte 4 bpw frontier.
• Variante met Lage Bits: Een 3,5 bpw variant (QAM-W-3.5) is concurrerend op kwantisatietolerante architecturen (bijv. Mistral 7B, +1,98% $\Delta$PPL), maar scoort lager op gevoelige modellen (Qwen 2.5, +7,5% $\Delta$PPL) vergeleken met GPTQ.
• Downstream Taken: De codec behoudt prestaties op zes downstream taken (PIQA, HellaSwag, etc.) en MMLU, waarbij QAM-W-5.5 BF16 binnen 0,2 pp op MMLU overtreft op alle modellen.

Betekenis en Claims

Het artikel claimt dat QAM-W-5.5 een kwaliteitsbehoudende keuze voor LLM-compressie vertegenwoordigt, met een aanzienlijke reductie in gewichtsopslag en geheugenbandbreedte (32% minder bits) vergeleken met de huidige state-of-the-art SmoothQuant W8A8, zonder in te boeten aan perplexiteit of nauwkeurigheid van downstream taken.

De auteurs zijn bescheiden over de reikwijdte van hun claims:

• Ze claimen geen superioriteit bij strikte 4 bpw, en erkennen de dominantie van QTIP in dat regime.
• Ze merken op dat de huidige pijplijn gewichten dequantiseert naar BF16 voordat matrixvermenigvuldiging plaatsvindt; dus gelden de gerapporteerde bit-per-weight (bpw)-besparingen voor opslag en geheugenbandbreedte, niet voor inferentielatentie, totdat een gefuseerde kernel is geïmplementeerd.
• De studie is beperkt tot dichte decoder-only transformers met standaard attention; uitbreidingen naar hedendaagse architecturen (bijv. Gemma 2, Llama 3) of schalen van 70B+ parameters worden overgelaten aan toekomstig werk.
• Het codebook is getraind op een synthetische circulaire eenheids-Gaussische verdeling in plaats van per-checkpoint empirische verdelingen, hoewel de auteurs suggereren dat een geleerd codebook verdere winsten kan opleveren.

Kortom, QAM-W toont aan dat het terugwinnen van de paarcoördinaatstructuur van gewichten via gezamenlijke 2D-codering, gecombineerd met rotatie en activatiebewuste schaling, hoge-fideliteit kwantisatie mogelijk maakt in het 5–6 bpw-regime, waardoor de kloof wordt overbrugd tussen de efficiëntie van 4-bit methoden en de kwaliteit van 8-bit methoden.