Technische Samenvatting: INFOQUANT

Probleemstelling

Kwantisering van activaties met een lage bitdiepte blijft een kritieke bottleneck voor de efficiënte implementatie van Large Language Models (LLM's). Waar gewichten in LLM's doorgaans vlak en uniform verdeeld zijn, bevatten activaties vaak een klein aantal dominante coördinaten (uitbijters) die het kwantisatiebereik uitbreiden. Dit dwingt kwantisatie volgens de 'round-to-nearest'-methode om veel normale waarden naar dezelfde paar discrete niveaus af te beelden, wat resulteert in aanzienlijk informatieverlies.

Bestaande Post-Training Quantization (PTQ)-methodes proberen dit te mitigeren door uitbijters te onderdrukken, kanalen in balans te brengen of reconstructiefouten te minimaliseren (bijvoorbeeld MSE). De paper betoogt echter dat deze benaderingen falen in het expliciet definiëren van welke activatieverdeling daadwerkelijk "kwantisatievriendelijk" is. Methodes kunnen zichtbare pieken verminderen of numerieke fouten verlagen zonder de fundamentele "discretiseerbaarheid" van de verdeling te verbeteren, waardoor het kwantisatiebereik vaak te breed blijft of waarden ineenstorten rond het gemiddelde.

Methodologie: INFOQUANT

De auteurs stellen INFOQUANT voor, een trainingsvrije PTQ-framework dat activatietransformatie herdefinieert als "ontwerp van een voor de kwantizer geschikte verdeling". De kernfilosofie is afgeleid van een informationeel-theoretische analyse die aantoont dat een lage kwantisatiefout twee complementaire eigenschappen vereist:

1. Een kleiner numeriek bereik (om de stapgrootte van de kwantisatie te verkleinen).
2. Voldoende spreiding binnen dat bereik (om de beschikbare kwantisatieniveaus effectief te benutten).

INFOQUANT bereikt dit via drie hoofdcomponenten:

1. Peak Suppression Orthogonal Transformation (PSOT)

PSOT leert een orthogonale rotatiematrix om activatieverdelingen te herschikken. In tegenstelling tot vaste rotaties (bijvoorbeeld Hadamard), optimaliseert PSOT een blok-diagonale orthogonale matrix $R$ om een specifieke verliesfunctie te minimaliseren:
$$\ell_{ps}(x; R) = \|\pi_T(y) \odot y\|^2$$
waarbij $y = xRP_\perp$ (gecentreerde geroteerde activatie) en $\pi_T$ een softmax-gewichting is gebaseerd op magnitude. Deze doelstelling straalt expliciet coördinaten met hoge magnitude (pieken) af. Door de grootste gecentreerde coördinaat te onderdrukken terwijl de totale token-energie behouden blijft (vanwege orthogonaliteit), dwingt PSOT de resterende energie zich over meer dimensies te verspreiden. Dit verkleint tegelijkertijd de afsnij-schaal (verminderend het bereik) en verhoogt de genormaliseerde spreiding ($b_n$).

2. Adaptive Outlier-Token Selection (ASOT)

Om robuuste optimalisatie te waarborgen, behandelt INFOQUANT niet alle kalibratietokens gelijk. Het identificeert tokens met "kwantisatie-gevoelige uitbijterstructuren" en weegt deze opnieuw tijdens de rotatie-optimalisatie.

• Het selecteert tokens die ten minste één statistisch extreme coördinaat bevatten.
• Het hanteert een drempelselectiemechanisme om ervoor te zorgen dat de geselecteerde uitbijterposities variëren tussen samples (overfitting op vaste prompt-indelingen of kalibratie-artefacten voorkomen).
• Deze geselecteerde tokens worden zwaarder gewogen ($\gamma > 1$) in de verliesfunctie, terwijl normale tokens dienen als regularisatoren.

3. Learnable Activation Clipping (LAC)

Nadat de verdeling door PSOT is herschikt, past de methode een laatste kalibratiestap toe met leerbare afsnijparameters ($\alpha, \beta$). Deze parameters verfijnen de stapgrootte van de activatie om de uitvoer van het gekwantiseerde blok af te stemmen op de uitvoer in volledige precisie, waarbij de reconstructiefout specifiek voor de herschikte verdeling wordt geminimaliseerd.

Belangrijkste Bijdragen

1. Informationeel-theoretisch Kader: De paper legt een theoretisch verband tussen kwantisatiefout en eigenschappen van activatieverdelingen. Het toont aan dat het minimaliseren van kwantisatiefout gelijkwaardig is aan het verkleinen van de genormaliseerde afgesneden foutgrens, wat een kleiner numeriek bereik en hogere spreiding vereist.
2. INFOQUANT-algoritme: Een hardware-efficiënte, trainingsvrije methode die orthogonale transformaties leert om activaties te vormen tot kwantisatievriendelijke verdelingen, aangevuld met adaptieve tokenselectie en leerbare afsnijding.
3. Empirische Validatie: Uitgebreide experimenten over de LLaMA-2- en LLaMA-3-families (7B tot 70B) en Qwen2.5-modellen.

Experimentele Resultaten

De methode werd geëvalueerd onder verschillende bitbreedte-configuraties, inclusief de uitdagende W4A4KV4-instelling (4-bit gewichten, 4-bit activaties, 4-bit KV-cache).

• Behoud van Nauwkeurigheid: In de W4A4KV4-instelling behoudt INFOQUANT gemiddeld 97% van de oorspronkelijke nauwkeurigheid in drijvende komma over LLaMA-2- en LLaMA-3-modellen.
• State-of-the-Art Prestaties: Het verkleint de prestatiekloof van het LLaMA-2 13B-model met 42% ten opzichte van de vorige state-of-the-art (SpinQuant) onder W4A4KV4.
• Vergelijking met Baselines: INFOQUANT presteert consequent beter dan rotatie-gebaseerde methodes (QuaRot, SpinQuant) en gewicht-reconstructiemethodes (GPTQ, AWQ). Het presteert ook beter dan de distillatie-gebaseerde OSTQuant op meerdere modellen (bijvoorbeeld LLaMA-3 8B, LLaMA-2 13B) zonder volledige precisie-supervisie te vereisen.
• Efficiëntie: De methode maakt kwantisatie van het LLaMA-2 70B-model mogelijk met slechts 24GB GPU-geheugen. Het behoudt een lichtgewicht inferentiepad dat compatibel is met bestaande low-bit kernels, en vermijdt de hoge FLOP-overhead die gepaard gaat met dynamische transformaties tijdens inferentie (in tegenstelling tot FlatQuant).

Betekenis en Beweringen

De paper beweert dat de primaire beperking van huidige kwantisatie van activaties met lage bitdiepte niet enkel de aanwezigheid van uitbijters is, maar het mismatch tussen de activatieverdeling en de capaciteiten van een uniforme kwantizer met lage bitdiepte. Door de focus te verschuiven van "onderdrukking van uitbijters" naar "vormgeving van verdelingen", toont INFOQUANT aan dat het leren van specifieke orthogonale transformaties de discretiseerbaarheid aanzienlijk kan verbeteren.

De auteurs benadrukken dat hun aanpak trainingsvrij en hardware-efficiënt is, waardoor het praktisch inzetbaar is op hardware van consumentenkwaliteit. Zij merken op dat hoewel hun methode afhankelijk is van kalibratiegegevens en specifieke implementatiekeuzes (zoals blok-diagonale matrices), het een robuust alternatief biedt voor supervised fine-tuning of zware distillatiepijplijnen. De paper concludeert dat toekomstig werk deze analyse moet uitbreiden voorbij de aannames van klokvormige activaties naar bredere distributie-regimes.