Technische Samenvatting: Bewaar-En-Quantiseer (SRR)

Probleemstelling

Post-Training Quantization (PTQ) is een primaire methode om de geheugenvoetafdruk en inferentiekosten van Large Language Models (LLM's) te verminderen door full-precision gewichten om te zetten naar low-bit representaties. Aggressieve low-bit quantisatie (bijvoorbeeld 2-bit of 3-bit) veroorzaakt echter vaak aanzienlijke nauwkeurigheidsdegradatie. Een veelgebruikt remedie is Quantization Error Reconstruction (QER), waarbij de full-precision gewichtsmatrix $W$ wordt benaderd als $W \approx Q + LR$, waarbij $Q$ de gequantiseerde gewichten zijn en $LR$ een low-rank correctieterm is die is ontworpen om informatie te herstellen die tijdens de quantisatie is verloren gegaan.

Bestaande QER-methoden wijken doorgaans het volledige rank-budget $r$ toe aan het reconstrueren van het quantisatieresidu (d.w.z. het benaderen van $S(W-Q)$, waarbij $S$ een activatie-geschaalde matrix is). De auteurs betogen dat deze aanpak om twee hoofdredenen suboptimaal is:

1. Inefficiënte Resource-toewijzing: In low-bit regimes is de quantisatiefout vaak dicht en high-rank. Het wijden van alle rank-capaciteit aan het corrigeren van deze fout kan inefficiënt zijn.
2. Structurele Schade: Transformer-gewichten in de activatie-geschaalde ruimte ($SW$) zijn vaak sterk anisotroop, waarbij de meeste energie geconcentreerd is in een kleine set dominante singuliere richtingen. Standaard QER quantiseert deze dominante richtingen eerst, waardoor onevenredig grote geschaalde fouten worden ingebracht. De daaropvolgende low-rank correctie moet vervolgens zijn beperkte capaciteit besteden aan het repareren van "vermijdbare vervorming" in de meest informatieve deelruimte, in plaats van het corrigeren van het residu-ruis.

De centrale vraag die wordt behandeld is: Onder een vast rank-budget, hoe moeten we de balans vinden tussen het behoud van dominante structuur en het reconstrueren van quantisatiefouten?

Methodologie: Gestructureerde Residureconstructie (SRR)

Het artikel stelt Structured Residual Reconstruction (SRR) voor, een "bewaar-én-quantiseer"-kader dat het rank-budget expliciet toewijst aan twee rollen: het behoud van dominante structuur en het reconstrueren van quantisatiefouten.

1. De Bewaar-En-Quantiseer Pijplijn

In plaats van de volledige gewichtsmatrix $W$ te quantiseren en vervolgens het residu te corrigeren, voert SRR de volgende stappen uit voor een gekozen splitsing $k$ (waarbij $0 \le k \le r$):

1. Bewaren: Haal de top-$k$ dominante singuliere richtingen van de geschaalde gewichtsmatrix $SW$ uit. Deze richtingen worden teruggekaatst naar de oorspronkelijke ruimte ($L^{(1)}_k R^{(1)}_k$) en omzeilen quantisatie.
2. Quantiseren: Het resterende residu-component ($W - L^{(1)}_k R^{(1)}_k$) wordt gequantiseerd om $Q_k$ te produceren.
3. Reconstrueren: De quantisatiefout die wordt geïnduceerd op het residu ($E_k = (W - L^{(1)}_k R^{(1)}_k) - Q_k$) wordt gereconstrueerd met behulp van het resterende rank-budget $r-k$ via afgeknotte SVD in de geschaalde ruimte ($L^{(2)}_k R^{(2)}_k$).

De uiteindelijke benadering is $\hat{W}_{SRR} = L^{(1)}_k R^{(1)}_k + Q_k + L^{(2)}_k R^{(2)}_k$.

2. Theorie-Gestuurde Rank-selectie ($k^*$)

Het selecteren van het optimale splitpunt $k$ is cruciaal. SRR leidt een criterium af om de geschaalde reconstructiefout te minimaliseren zonder dure enumeratie.

• Doel: Minimaliseer $\|S(W - \hat{W}_{SRR}(k))\|_F$.
• Afleiding: De fout wordt gefactoriseerd in de schaal van de quantisatiefout en de niet-herstelbare energieratio.
  • Aanname 4.1: De energie van de geschaalde quantisatiefout is ongeveer evenredig met de geschaalde input-energie ($\|SE_k\|_F \approx \eta_Q \|S(W - L^{(1)}_k R^{(1)}_k)\|_F$).
  • Aanname 4.2: Het spectrale profiel van de genormaliseerde quantisatiefout is ongevoelig voor de specifieke realisatie en kan worden benaderd door een random matrix $E$ met i.i.d. entries.
• Selectieregel: Het optimale $k^*$ wordt geselecteerd door het product te minimaliseren van de niet-herstelbare energie van het bewaarde deel en de niet-herstelbare energie van het residudeel:
  $$k^* = \arg \min_{0 \le k \le r} \rho_k(SW) \cdot \rho_{r-k}(SE)$$
  waarbij $\rho_p(A)$ de ratio is van de resterende energie na een rank-$p$ truncatie. Dit maakt een lichtgewicht, one-shot selectie van $k$ mogelijk met behulp van een random probe matrix $E$.

3. Toepassing op Gequantiseerde Parameter-Efficiënte Fine-Tuning (QPEFT)

SRR breidt zich op natuurlijke wijze uit tot QPEFT, waarbij de gequantiseerde backbone bevroren is en alleen de low-rank adapter wordt getraind.

• Initialisatie: De SRR-decompositie biedt een high-fidelity initialisatie voor de adapter ($LR = L^{(1)}R^{(1)} + L^{(2)}R^{(2)}$).
• Gradient Scaling: De twee componenten spelen verschillende rollen: $L^{(1)}R^{(1)}$ behoudt de dominante deelruimte, terwijl $L^{(2)}R^{(2)}$ zich bezighoudt met adaptatie. Om te voorkomen dat de optimizer de bewaarde richtingen over-updatet (wat de structuur zou kunnen destabiliseren), past SRR gradient scaling toe op het bewaarde component:
  $$\nabla_{L^{(1)}R^{(1)}} L \leftarrow \gamma \nabla_{L^{(1)}R^{(1)}} L, \quad \gamma \in (0, 1)$$
  Dit stabiliseert fine-tuning door updates langs de bewaarde deelruimte te verzwakken, terwijl de residu-richtingen vrij kunnen adaptieren.

Belangrijkste Bijdragen

1. Rank-Allocatie Kader: SRR introduceert een principieel kader dat het rank-budget expliciet splitst tussen het behoud van dominante low-rank structuur en het reconstrueren van quantisatiefouten, waarmee de inefficiëntie van "alleen-residu"-reconstructie wordt aangepakt.
2. Theorie-Gestuurde Selectie: Het artikel leidt een eenvoudig, theorie-gestuurd criterium af voor het selecteren van het splitpunt $k$ op basis van de spectrale afname van de geschaalde gewichten en een random-matrix proxy voor quantisatieruis, waardoor dure enumeratie wordt vermeden.
3. QPEFT Stabilisatie: De methode biedt een gestructureerde initialisatie voor QPEFT en introduceert een gradient scaling-mechanisme om training te stabiliseren door de rollen van bewaarde en gereconstrueerde richtingen te ontkoppelen.
4. Plug-and-Play Implementatie: SRR is ontworpen als een fine-tuning-vrije, plug-and-play module die compatibel is met bestaande activatie-bewuste QER-methoden (bijvoorbeeld LQER, QERA).

Experimentele Resultaten

De auteurs hebben SRR geëvalueerd over diverse modellen (TinyLLaMA, Gemma-2, LLaMA-2, LLaMA-3.1) en quantisatie-instellingen (2-bit tot 4-bit).

• Post-Training Quantization (PTQ):

  • SRR verlaagde consistent de perplexiteit op WikiText2 voor alle modellen en rank-budgetten ($r=32, 64$) in vergelijking met baselines zoals LQER en QERA.
  • Opmerkelijke verbeteringen omvatten een 27,1% relatieve perplexiteitsreductie op LLaMA-2 7B en 12,2% op Gemma-2 2B bij 3-bit precisie.
  • Zero-shot nauwkeurigheid op downstream taken (HellaSwag, Winogrande, enz.) verbeterde consistent.

• Gequantiseerde PEFT (QPEFT):

  • Op GLUE-benchmarks met RoBERTa-base behaalde SRR een gemiddelde winst van 5,9 procentpunten boven de QERA-baseline onder 2-bit quantisatie.
  • SRR presteerde beter dan iteratieve methoden zoals LoftQ en LQ-LoRA met meer dan 10 procentpunten bij 2-bit precisie zonder iteratieve verfijning te vereisen.
  • Training loss curves toonden aan dat SRR de convergentie versnelt in vergelijking met baselines.
  • Op GSM8K en SlimPajama verbeterde SRR de nauwkeurigheid en verlaagde het de perplexiteit aanzienlijk in vergelijking met QERA en andere baselines bij 2-bit precisie.

• Robuustheid:

  • SRR toonde consistente verbeteringen over verschillende quantizers (MXINT, GPTQ, QuIP#).
  • De rank-selectie $k^*$ bleek stabiel te zijn over random seeds (meestal variërend met $\pm 1$).

Betekenis en Claims

Het artikel claimt dat het balanceren van behoud en reconstructie cruciaal is voor een accurate low-bit benadering van $W \approx Q + LR$. Door te voorkomen dat quantisatie richtingen met hoge energie corrumpeert en low-rank capaciteit te reserveren voor de meest effectieve correcties, bereikt SRR een nauwkeurigere benadering dan eerdere methoden onder identieke rank-budgetten.

De auteurs benadrukken dat SRR een principieel kader biedt voor low-rank verfijning in gequantiseerde modellen. Het demonstreert dat het low-rank budget niet voor één doel mag dienen (foutcorrectie), maar dynamisch moet worden toegewezen op basis van de intrinsieke structurele eigenschappen van de gewichten. De methode wordt gepresenteerd als een robuuste, computerefficiënte (verwaarloosbare overhead via randomised SVD) en generaliseerbare oplossing voor zowel PTQ als QPEFT, waardoor een nauwkeurigere low-bit implementatie van LLM's mogelijk wordt.