OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

Technische Samenvatting: OffQ – Het temmen van gestructureerde uitschieters in LLM-kwantisering door middel van offsetting

Probleemstelling
Low-bit kwantisering (bijv. 4-bit) is essentieel voor het implementeren van Large Language Models (LLMs) op hardware met beperkte middelen door het geheugenvoetafdruk en de computationele kosten te verlagen. Het blijft echter een grote uitdaging om gewichten, activaties en KV-caches gelijktijdig robuust te kwantiseren (W4A4KV4). Het primaire obstakel is de aanwezigheid van activatie-uitschieters (activation outliers): ijle, extreem grote waarden in specifieke kanalen die het dynamische bereik domineren. Deze uitschieters dwingen kwantiseringsschema's om grove stapgroottes te gebruiken om het volledige bereik te accommoderen, wat resulteert in grote afrondingsfouten voor de meerderheid van de activatieverdeling en ernstige prestatieverslechtering. Rotatiegebaseerde methoden (zoals QuaRot, SpinQuant) hebben de mitigatie van uitschieters verbeterd door de activatie-energie te herverdelen, maar de resulterende distributies behouden vaak een hoge variantie, waardoor betrouwbare W4A4KV4-kwantisering moeilijk blijft. Bestaande alternatieven, zoals mixed-precision schema's of niet-uniforme kwantisering, introduceren executie-heterogeniteit, complexe kernels of hardware-incompatibiliteit.

Methodologie: OffQ
De auteurs stellen OffQ voor, een post-training kwantiseringsmethode (PTQ) die is ontworpen om gestructureerde activatie-uitschieters te mitigeren zonder te vertrouwen op mixed-precision componenten, niet-uniforme kwantiseringsniveaus of computationeel dure backpropagation-gebaseerde rotatie-leren. De methode werkt via drie kernstadia:

1. Concentratie via Top-1 PCA:
   De methode maakt gebruik van de observatie dat activatie-uitschieters in LLM's een uitgesproken laagdimensionale structuur vertonen, die dezelfde richting deelt over lagen, token-ID's en sequentielocaties. Om dit te exploiteren, gebruikt OffQ een Top-1 PCA-procedure:

   • In plaats van alle tokens te gebruiken voor covariantiestimatie (die wordt afgeleid door normale tokens), selecteert het slechts de enkele token met de grootste $L_\infty$-norm per sequentie uit een kalibratiedataset.
   • Het berekent de leidende eigenvector van de covariantie-matrix gevormd door deze extreme tokens.
   • Activaties worden geroteerd met deze eigenvector-matrix, waardoor de dominante uitschieter-variantie wordt geconcentreerd in het eerste kanaal (of enkele kanalen), waardoor de resterende kanalen grotendeels vrij blijven van uitschieters.

2. Absorptie via Offsetting (Hadamard-rotatie):
   Zodra uitschieters zijn geconcentreerd in specifieke kanalen, past OffQ een gespecialiseerde Hadamard-rotatie toe om ze te absorberen:

   • Een gedeeltelijk willekeurige Hadamard-matrix $H$ wordt geconstrueerd waarbij de eerste rij volledig uit enen bestaat ($H_{1,:} = [1, 1, \dots, 1]$).
   • Het toepassen van deze rotatie op de uitschieter-geconcentreerde activaties herverdeelt de waarde van het uitschieter-kanaal uniform over alle kanalen in de groep.
   • Wiskundig gezien zet dit de uitschieter-magnitude om in een constante offset die wordt toegevoegd aan elk kanaal in de groep.
   • Deze offset wordt vervolgens geabsorbeerd in het zero-point ($z$) van asymmetrische kwantisering. Bijgevolg vertonen de resterende activatiewaarden een vlakkere distributie met een verminderde standaarddeviatie, wat ze zeer geschikt maakt voor standaard low-bit uniforme kwantisering.

3. Groepswijze Implementatie:
   Om meerdere uitschieter-kanalen te verwerken, verdeelt de methode kanalen in groepen. Binnen elke groep wordt het top uitschieter-kanaal geïdentificeerd en geroteerd om een groepswijze offset te creëren. Dit maakt het gebruik van per-groep asymmetrische kwantisering mogelijk, waarbij elke groep zijn eigen schaal en zero-point heeft om de specifieke uitschieter-energie te absorberen.

Belangrijkste Bijdragen

1. Identificatie van Gestructureerde Uitschieters: Het artikel identificeert dat de activatie-uitschieters van LLM's een laagdimensionale structuur bezitten die gedeeld wordt over lagen en tokens, die geïsoleerd kan worden met een gerichte Top-1 PCA-aanpak.
2. Het OffQ-framework: Een nieuwe PTQ-methode die Top-1 PCA voor uitschieter-concentratie combineert met een Hadamard-gebaseerde offsetting-techniek om uitschieters om te zetten in kwantiserings-zero-points. Dit maakt effectieve W4A4KV4-kwantisering mogelijk met standaard uniforme grid- en uniforme-precisie matrices.
3. Prestaties en Efficiëntie: De methode bereikt een state-of-the-art nauwkeurigheid in 4-bit kwantisering zonder de overhead van mixed-precision executie of complexe geleerde rotaties, waarbij de eenvoud van end-to-end low-bit inferentie behouden blijft.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op diverse LLM-architecturen (Llama 2, Llama 3, Llama 3.2 en de Qwen 2.5-serie) en benchmarks (WikiText perplexiteit en 0-shot nauwkeurigheid op ARC-e, ARC-c, BoolQ, HellaSwag, etc.).

• Superieuriteit ten opzichte van Baselines: OffQ presteerde consistent beter dan state-of-the-art baselines, inclusief rotatiegebaseerde methoden (QuaRot, SpinQuant, DFRot, KurTail) en mixed-precision benaderingen (ResQ, QUIK).
• W4A4KV4 Robuustheid: Terwijl weight-only methoden (GPTQ) en mixed-precision methoden ernstige degradatie leden in de W4A4KV4-setting, behield OffQ een perplexiteit en nauwkeurigheid die dicht bij de 16-bit baselines lagen. Zo behaalde OffQ op Llama 3-8B een PPL van 6.98 vergeleken met 7.4 voor SpinQuant en 7.8 voor QuaRot.
• Ablatiestudies: De studie bevestigde dat de Top-1 selectie strategie cruciaal is voor een nauwkeurige identificatie van de uitschieter-subruimte, wat beter presteert dan standaard PCA. Daarnaast bleek dat de gesorteerde groepering (sorted grouping) van kanalen effectiever is dan zigzag-groepering, en dat een groepsgrootte van 128 de beste balans bood tussen prestaties en metadata-overhead.

Betekenis en Claims
Het artikel beweert dat OffQ een praktische en efficiënte mechanisme biedt om 4-bit kwantisering robuust te maken tegen activatie-uitschieters. Door het probleem van "spiky" uitschieters te transformeren naar een beheersbaar "offset"-probleem, maakt OffQ betrouwbare W4A4KV4-kwantisering mogelijk met deployment-vriendelijke uniforme hardware. De auteurs benadrukken dat deze aanpak de haalbaarheid van het implementeren van LLM's in kostengevoelige en hulpbron-beperkte omgevingen (bijv. edge devices) versterkt, zonder de modelnauwkeurigheid op te offeren of complexe, heterogene executie-pipelines te vereisen. De methode wordt gepresenteerd als een complementaire techniek die potentieel gecombineerd kan worden met andere geavanceerde kwantiseringsstrategieën in toekomstig werk, hoewel de huidige resultaten de kracht ervan als een op zichzelf staande oplossing demonstreren.