ReSpinQuant: Efficient Layer-Wise LLM Quantization via Subspace Residual Rotation Approximation

1. Het Probleem: Uitdagingen bij Post-Training Quantization (PTQ)

De implementatie van Large Language Models (LLM's) op hulpbronnenbeperkte apparaten vereist vaak Post-Training Quantization (PTQ) om geheugen en rekentijd te besparen (bijv. door over te schakelen naar 4-bit of 3-bit precisie). Een kritieke bottleneck hierbij is de aanwezigheid van extreme uitbijters (outliers) in activatiekanalen. Deze uitbijters vergroten het dynamische bereik onevenredig, wat leidt tot ernstige quantisatiefouten.

Bestaande oplossingen op basis van rotatie (zoals QuaRot en SpinQuant) proberen deze uitbijters te verdelen over alle dimensies door orthogonale transformaties toe te passen. Er zijn echter twee hoofdbenaderingen met elk hun eigen nadelen:

• Globale Rotatie: Gebruikt één enkele leerbare rotatiematrix voor het hele model. Dit is zeer efficiënt omdat de rotatie offline in de gewichten kan worden samengevoegd (fused), maar het mist expressiviteit omdat het geen rekening houdt met specifieke uitbijterpatronen per laag.
• Laag-voor-laag Transformatie (Layer-wise): Gebruikt unieke rotatiematrices per laag voor betere nauwkeurigheid. Echter, omdat elke laag een andere basis heeft, kunnen deze rotaties niet offline in de gewichten worden samengevoegd. Dit vereist online berekeningen tijdens inferentie, wat aanzienlijke rekentijd (overhead) veroorzaakt.

De kernvraag: Hoe kan men de hoge expressiviteit van laag-voor-laag aanpassing combineren met de inferentie-efficiëntie van globale rotatie?

2. Methodologie: ReSpinQuant

ReSpinQuant lost dit dilemma op door een hybride architectuur te introduceren die offline gewichtsvoeging mogelijk maakt voor laag-voor-laag rotaties, terwijl de resterende basis-mismatch wordt opgelost via een efficiënte subspace residual rotatie.

A. Offline Gewichtsvoeging (Offline Weight Merging)

In tegenstelling tot eerdere laag-voor-laag methoden, voegt ReSpinQuant de volledige, onbeperkte rotatiematrices ($R_i$) van elke laag offline in de gewichten van de voorgaande lagen (bijv. in de Attention en FFN blokken).

• Dit betekent dat de hoofdcomputationele paden tijdens inferentie wiskundig equivalent blijven aan standaard lineaire lagen, zonder extra matrixvermenigvuldigingen voor de activaties.

B. Het Basis-Mismatch Probleem

Wanneer elke laag een unieke rotatie heeft, ontstaat er een "basis mismatch" in de residuele verbindingen (residual connections). De uitgang van een blok moet worden getransformeerd van de uitgangs-basis van dat blok naar de ingangs-basis van de volgende laag.

• Wiskundig gezien is deze transformatiematrix $T = R_{out}^T R_{in}$.
• Bij een globale rotatie is $T$ de eenheidsmatrix ($I$), wat geen extra kosten veroorzaakt.
• Bij ReSpinQuant is $T$ een dicht (dense) $D \times D$ matrix, wat normaal gesproken $O(D^2)$ complexiteit zou kosten om te berekenen.

C. Subspace Residual Rotation Approximation

De kerninnovatie van ReSpinQuant is de observatie dat de geoptimaliseerde rotatiematrices (geinitialiseerd met een Hadamard-matrix en geoptimaliseerd met de Cayley-optimizer) niet significant afwijken van hun initiële staat.

• Hierdoor is de transformatiematrix $T$ wiskundig zeer dicht bij de eenheidsmatrix ($T \approx I$).
• De afwijking $\Delta T = T - I$ is van lage rang (low-rank).

ReSpinQuant benut dit door:

1. Principal Subspace Identification: Het voert een Singular Value Decomposition (SVD) uit op de afwijking om de belangrijkste richtingen van de mismatch te vinden.
2. Projectie: In plaats van de volledige $D \times D$ matrix te vermenigvuldigen, projecteert het de residual naar een lage-dimensionale subruimte (dimensie $r \ll D$, bijvoorbeeld $r=32$).
3. Rotatie en Reprojectie: De rotatie wordt alleen uitgevoerd binnen deze kleine subruimte, waarna het resultaat terug wordt geprojecteerd naar de oorspronkelijke dimensie.
4. Complexiteit: Dit reduceert de computatiecomplexiteit van $O(D^2)$ naar $O(D)$, wat de overhead verwaarloosbaar maakt.

3. Belangrijkste Bijdragen

• ReSpinQuant Framework: Een nieuw quantisatiekader dat volledige, onbeperkte laag-voor-laag rotaties gebruikt voor maximale expressiviteit, maar deze volledig offline in de gewichten voegt.
• Empirische Analyse: Het aantonen dat geoptimaliseerde rotatiematrices (via Cayley-optimizer) dicht bij hun initialisatie blijven, wat impliceert dat de benodigde correcties voor basis-mismatch van lage rang zijn.
• Efficiëntie: De introductie van subspace residual rotatie die de online overhead minimaliseert tot een lage-rang correctie, waardoor de inferentie-snelheid vergelijkbaar blijft met globale rotatiemethoden.
• State-of-the-Art (SOTA) Prestaties: Het bereiken van superieure resultaten in zowel W4A4 (4-bit gewichten, 4-bit activaties) als de uitdagende W3A3 (3-bit) settings.

4. Resultaten

De auteurs hebben ReSpinQuant geëvalueerd op de LLaMA-2, LLaMA-3 en LLaMA-3.2 families.

• Nauwkeurigheid:

  • In W4A4 settings behaalt ReSpinQuant de laagste perplexiteit (PPL) en hoogste zero-shot nauwkeurigheid, presterend beter dan globale methoden (SpinQuant) en vergelijkbaar met of beter dan andere laag-voor-laag methoden.
  • In W3A3 settings (extreme quantisatie) is het voordeel nog groter. Bijvoorbeeld, op LLaMA-3.2 1B verlaagt ReSpinQuant de PPL van 69.70 (SpinQuant) naar 49.90.
  • Het toont aan dat een gequantiseerd groter model (bijv. 3B in 4-bit) beter presteert dan een kleiner model in volledige precisie (1B in FP16).

• Efficiëntie:

  • Parameters: Tijdens training gebruikt ReSpinQuant veel parameters ($1091.0M$) voor expressiviteit, maar tijdens inferentie zijn deze grotendeels samengevoegd. De online footprint is slechts $8.4M$ parameters (ongeveer 0.1% van een 8B model).
  • Rekenkosten: De extra rekenlast voor de subspace-residual is verwaarloosbaar ($\sim 32.3M$ MACs vs. $15.37T$ MACs voor de volledige inferentie, een toename van slechts $\sim 0.2\%$).
  • Latentie: De inferentie-gegevens (gemeten op een NVIDIA H100) tonen aan dat de latentie (TTFT en TTIT) slechts marginaal toeneemt (ongeveer 1.7% overhead) ten opzichte van SpinQuant.

5. Betekenis en Conclusie

ReSpinQuant is een doorbraak omdat het de klassieke trade-off tussen expressiviteit (nauwkeurigheid) en efficiëntie (snelheid) oplost in de context van LLM-quantisatie.

• Het maakt het mogelijk om de voordelen van laag-voor-laag aanpassing (het aanpassen aan specifieke uitbijterpatronen per laag) te benutten zonder de inferentie-overhead van online transformaties.
• Het bewijst dat complexe, onbeperkte rotaties kunnen worden "ingebouwd" in de gewichten, mits de resterende correctie voor residuen slim wordt benaderd via lage-rang subspace-projecties.
• Dit maakt hoogwaardige inferentie (W4A4, W3A3) haalbaar op consumer hardware en edge devices, wat bijdraagt aan de democratisering van AI en "Green AI" door het verlagen van het energieverbruik en geheugenbandbreedte.

Kortom, ReSpinQuant biedt een praktische, schaalbare oplossing voor het quantiseren van moderne LLM's tot extreem lage bitbreedtes zonder in te leveren op prestaties of snelheid.