Technische Samenvatting: Niet-lineaire Bipolaire Compensatie (NBC) voor Post-Training Quantisatie

1. Probleemstelling

Netwerkquantisatie is een cruciale techniek voor het comprimeren van diepe neurale netwerken door zwevendekommagetallen af te beelden op representaties met een laag aantal bits, waardoor het geheugen- en rekenverbruik wordt verminderd. Hoewel Post-Training Quantisatie (PTQ) een praktisch alternatief biedt voor Quantization-Aware Training (QAT) door hertraining te vermijden, staan bestaande PTQ-methode voor een aanzienlijke afweging tussen nauwkeurigheid en efficiëntie, met name bij quantisatie met een laag aantal bits (bijvoorbeeld 4-bit).

Recente op compensatie gebaseerde methoden proberen quantisatiefouten te verminderen door lichtgewicht lineaire lagen in het gekwantiseerde netwerk in te voeren. De auteurs identificeren echter twee fundamentele beperkingen in deze bestaande benaderingen:

1. Beperkte Compensatiecapaciteit: Quantisatieverlies in diepe neurale netwerken is inherent sterk niet-lineair. Eenvoudige lineaire transformaties zijn ontoereikend om de tijdens quantisatie verloren informatie volledig te herstellen.
2. Hoge Gevoeligheid voor Uitschieters: Moderne architecturen, zoals Vision Transformers (ViT) en Large Language Models (LLM), bevatten vaak activatie-uitschieters die aanzienlijk buiten het bereik van normale waarden vallen. Lineaire compensatiemodules, die doorgaans worden geïnitieerd via Ordinary Least Squares (OLS), zijn structureel vatbaar om door deze uitschieters te worden "weggetrokken". De OLS-oplossing minimaliseert de kwadratische fout van extreme waarden, waardoor de regressielijn overdreven naar uitschieters neigt en de optimale aanpassing voor het merendeel van de data wordt opgeofferd.

2. Methodologie: Niet-lineaire Bipolaire Compensatie (NBC)

Om deze beperkingen aan te pakken, stelt het artikel Niet-lineaire Bipolaire Compensatie (NBC) voor, een post-training quantisatiebenadering die niet-lineariteit introduceert om complexe quantisatieverliezen en uitschieters te hanteren, terwijl de efficiëntie van gesloten-formule-oplossingen behouden blijft.

Kernkader

De NBC-methode werkt door de gekwantiseerde invoer ($x_q$) en de quantisatiefout ($y - y_q$) af te beelden in een getransformeerde ruimte, daarbinnen lineaire compensatie uit te voeren en het resultaat terug af te beelden naar de oorspronkelijke ruimte. Het proces wordt als volgt geformaliseerd:
$$y_{nbc} = y_q + f^{-1}(W f(x_q) + b)$$
Waarbij:

• $f(x)$ een niet-lineaire transformatiefunctie is.
• $f^{-1}(x)$ de inverse daarvan is.
• $W$ en $b$ respectievelijk de gewichtsmatrix en het bias-vector van een lichtgewicht lineaire laag zijn.
• Cruciaal: de parameters $W$ en $b$ worden verkregen via een gesloten-formule-oplossing (lineaire regressie) op de getransformeerde data ($f(x_q)$ en $f(y - y_q)$), waardoor backpropagation of iteratieve training niet nodig is.

Bipolaire Logaritmische Transformatie (BLT)

De specifieke implementatie van de niet-lineaire functie $f(x)$ is de Bipolaire Logaritmische Transformatie (BLT). Standaard logaritmische transformaties zijn ongeschikt omdat quantisatiefouten en invoer negatief kunnen zijn. BLT partitioneert het invoerdomein in drie gebieden op basis van een drempelwaarde voor grootte ($2^{-N}$):

1. Lineair Gebied: Voor kleine groottes ($|x| \le 2^{-N}$) past de functie een lineaire schaling toe om de precisie in de buurt van nul te behouden.
2. Positief Logaritmisch Gebied: Voor grote positieve waarden ($x > 2^{-N}$) past het een logaritmische transformatie toe met een offset.
3. Negatief Logaritmisch Gebied: Voor grote negatieve waarden ($x < -2^{-N}$) past het een negatieve logaritmische transformatie toe met een overeenkomstige offset.

Dit ontwerp comprimeert uitschieters (zowel positief als negatief) effectief, terwijl het de lineaire relatie voor normale activaties behoudt.

Selectie van Hyperparameters

De drempelparameter $N$ wordt geselecteerd met behulp van een Feature Loss based Local Search (FLS) algoritme. Dit algoritme voert een discrete lokale zoektocht uit rond een empirische beginwaarde, waarbij het de kwadratische L2-afstand tussen de features van het model met volledige precisie en die van het gekwantiseerde model evalueert om de optimale $N$ te vinden die het featureverlies minimaliseert.

3. Belangrijkste Bijdragen

Het artikel levert de volgende specifieke bijdragen:

• Analyse van Beperkingen: Het identificeert en demonstreert formeel dat bestaande op compensatie gebaseerde PTQ-methode falen vanwege hun onvermogen om niet-lineaire quantisatieverliezen te modelleren en hun structurele gevoeligheid voor uitschieters in lineaire OLS-optimalisatie.
• NBC-kader: Het stelt Niet-lineaire Bipolaire Compensatie voor, een methode die niet-lineariteit introduceert om de nauwkeurigheid te verbeteren, terwijl de eenvoud en efficiëntie van gesloten-formule-parameterberekening behouden blijven.
• BLT-ontwerp: Het introduceert de Bipolaire Logaritmische Transformatie, die de beperking van standaard log-transformaties met betrekking tot negatieve waarden overwint, waardoor effectieve compressie van uitschieters in zowel positieve als negatieve activatiebereiken mogelijk wordt.
• Uitgebreide Validatie: De methode wordt gevalideerd over diverse taken (visie, taal, multimodaal), modellen (ViT, DeiT, Swin, LLaMA2, DiT) en PTQ-baselines (RepQ-ViT, AdaLog, Q-DiT, DuQuant).

4. Experimentele Resultaten

Uitgebreide experimenten tonen de effectiviteit, efficiëntie en robuustheid van NBC aan:

• Beeldclassificatie (ImageNet):

  • Op 4-bit gekwantiseerde ViT-B met RepQ-ViT bereikt NBC een Top-1 nauwkeurigheid van 77,6%, een aanzienlijke verbetering ten opzichte van de baseline RepQ-ViT (69,1%) en de lineaire compensatiemethode QwT (76,6%).
  • Over diverse backbones (DeiT-T, ViT-B, Swin-S) presteert NBC consistent beter dan QwT, met gemiddelde winsten van 2,4% boven de baseline en tot 4,6% in 4-bit scenario's.
  • NBC-parameters kunnen worden gekwantiseerd naar INT8 met verwaarloosbaar nauwkeurigheidsverlies (<0,2%), wat de opslagoverhead verder verlaagt.

• Beeldgeneratie (DiT):

  • Op het DiT-XL/2-model verbetert NBC de baseline Q-DiT met 0,33 FID en 5,4 IS in 8-bit instellingen, en herstelt aanzienlijk de prestaties in 4-bit instellingen (bijvoorbeeld daalt FID van 6,75 naar 6,12).

• Multimodale Herkenning (CLIP):

  • Bij het quantiseren van zowel beeld- als tekstencoders (6-bit) verbetert NBC de zero-shot Top-1 nauwkeurigheid met 16,4% ten opzichte van de baseline RepQ-ViT (44,3% versus 29,8%).

• Grote Taalmodellen (LLaMA2-7B):

  • Geïntegreerd met DuQuant, verbetert NBC de gemiddelde nauwkeurigheid op commonsense QA-taken van 60,57% naar 61,47% en verlaagt het de perplexiteit op WikiText2 en C4.

• Efficiëntie en Robuustheid:

  • Kalibratie: Het volledige kalibratieproces (inclusief FLS-zoektocht) is voltooid binnen 1 tot 3 minuten op een enkele GPU.
  • Overhead: De compensatiemodule voegt ongeveer 4% toe aan de modelgrootte en ongeveer 2,2ms aan de inferentielatentie in W8A8-instellingen, waarbij bijna al het nauwkeurigheidsverlies ten opzichte van volledige precisie wordt teruggewonnen.
  • Robuustheid: De methode toont consistente winsten over verschillende random seeds voor het sampling van de kalibratieset.

5. Betekenis en Claims

De auteurs beweren dat NBC een algemene, efficiënte en praktische oplossing biedt voor quantisatie met een laag aantal bits. De betekenis hiervan ligt in:

1. Doorbreken van het Lineaire Bottleneck: Door niet-lineariteit in te voeren zonder training te vereisen, overwint NBC het nauwkeurigheidsplafond van lineaire compensatiemethoden.
2. Omgaan met Uitschieters: De BLT adresseert specifiek het probleem van "uitschieter-drag", wat een kritieke faalmodus is in moderne transformer-gebaseerde modellen.
3. Klaar voor Implementatie: In tegenstelling tot optimalisatie-gebaseerde methoden die uren aan blokgewijze reconstructie vereisen, behoudt NBC de "alleen-kalibratie"-efficiëntie van PTQ, waardoor het geschikt is voor implementatie in de echte wereld.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de prestaties afhankelijk zijn van het onderliggende PTQ-kader en dat end-to-end W4A4-implementatie voor Vision Transformers momenteel wordt gehinderd door een gebrek aan volwassen inferentie-kaders (zoals TensorRT, TVM) die 4-bit GEMM-kernen voor ViT ondersteunen. De methode wordt echter gepresenteerd als een robuuste stap richting inferentie met hoge nauwkeurigheid en een laag aantal bits.