Technische Samenvatting: Colineariteitsverval voor Quantisatievriendelijke Vision Transformers

1. Probleemstelling

Lagere-bit quantisatie is een kritieke strategie voor het implementeren van Vision Transformers (ViTs) in omgevingen met beperkte middelen. Een volledig gekwantiseerd implementatie wordt echter gehinderd door activatie-uitbijters: een klein aantal kanalen of tokens met aanzienlijk grotere waarden dan de rest. Deze uitbijters dwingen tot grove quantisatieschalen, wat de effectieve precisie voor het merendeel van de activaties verslechtert.

Bestaande benaderingen vallen over het algemeen in twee categorieën:

1. Methoden na training: Kalibratie, schaal-reparametrisatie of reconstructietechnieken die worden toegepast nadat het model met volledige precisie is getraind.
2. Onderdrukking tijdens training: Methodes die agressief grote activaties onderdrukken tijdens het trainen (bijv. TWEO [23]) om optimalisatie met lage precisie te stabiliseren.

De auteurs betogen dat de tweede aanpak een kritiek gebrek heeft: agressief het minimaliseren van uitbijters kan de representatie die door het model met volledige precisie is geleerd, schaden, wat leidt tot een suboptimale afweging tussen nauwkeurigheid met volledige precisie (FP) en gekwantiseerde nauwkeurigheid. Bovendien veroorzaakt directe regularisatie van activaties vaak aanzienlijke overhead tijdens training. Het artikel stelt dat het trainingsdoel niet simpelweg de grootte van uitbijters moet minimaliseren, maar in plaats daarvan de structurele versterking moet controleren die deze uitbijters schadelijk maakt voor quantisatie.

2. Methodologie: Colineariteitsverval (CD)

De voorgestelde methode, Colineariteitsverval (CD), is een structurele regularisator die is ontworpen om de versterking van activaties te verminderen zonder de modelarchitectuur of de taakverliesfunctie te wijzigen.

2.1 Structurele Bron van Uitbijters

De auteurs identificeren dat grote activaties vaak niet voortkomen uit individuele matrices, maar uit de uitlijning tussen geordende matrixparen $(W_1, W_2)$ in de dataflow.

• Laat $W_1 = USV^\top$ de SVD zijn van een upstream-matrix.
• Als een rij van de downstream-matrix $W_2$ uitlijnt met een dominante linker singuliere vector van $W_1$ (geassocieerd met een grote singuliere waarde), wordt de output versterkt.
• Standaard gewichtsverval regulariseert matrices onafhankelijk en faalt in het bestraffen van deze cross-matrix uitlijning.

2.2 De Regularisator

CD bestraft de paarsgewijze energie $\|W_2 W_1\|_F^2$. Deze term is groot wanneer rijen van $W_2$ massa plaatsen op richtingen met hoge singuliere waarden van $W_1$.

• Doelparen: CD wordt toegepast op specifieke paren binnen Transformer-blokken:
  • Composabele Paren: Normalisatieschalen gevolgd door projecties (bijv. LayerNorm-schalen en $W_Q, W_K, W_V$ of $W_{F1}$).
  • Functionele Paren: Matrices gescheiden door niet-lineariteiten maar die een functionele route vormen (bijv. $W_V \to W_O$ in aandacht, en $W_{F1} \to W_{F2}$ in FFN).
• Gekoppelde Update: In plaats van een hulploss toe te voegen aan de trainingsgrafiek (wat de geheugen- en tijdscomplexiteit verhoogt), wordt CD geïmplementeerd als een gekoppelde gewichtsupdate. Na het berekenen van taakgradiënten wordt de downstream-matrix $W_2$ als volgt bijgewerkt:
  $$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$$
  Deze update verkleint rijen van $W_2$ langs de richtingen met hoge singuliere waarden van $W_1$. De auteurs bewijzen dat deze gradiëntrichting een niet-stompe hoek vormt met standaard gewichtsverval, waardoor ze cooperatief zijn.

2.3 Implementatiedetails

• CD wordt alleen toegepast op de downstream-matrix in elk paar om redundante verval te voorkomen.
• Het regularisatiebudget wordt beheerd door de standaard coëfficiënt voor gewichtsverval ($\lambda_{wd}$) te verlagen om $\lambda_{cd}$ te accommoderen, zodat de totale regularisatiesterkte vergelijkbaar blijft met de baseline.
• De methode is niet-invasief en behoudt de inferentiegrafiek en architectuur.

3. Belangrijkste Bijdragen

1. Empirisch Inzicht: De auteurs demonstreren dat het houden van uitbijters in een "geschikt bereik" voordelig is. Agressieve onderdrukking (het verlagen van maximale activaties naar zeer lage waarden) schaadt de FP-nauwkeurigheid en bijgevolg de gekwantiseerde prestaties.
2. Structurele Regularisatie: Zij identificeren overmatige cross-matrix uitlijning als een structurele bron van uitbijters en introduceren CD, een niet-invasieve regularisator met verwaarloosbare overhead.
3. Orthogonaliteit: CD is orthogonaal ten opzichte van bestaande quantisatiepijplijnen en methoden voor architecturale uitbijtermitigatie (bijv. aandacht-zinks), waardoor gecombineerd gebruik mogelijk is.
4. Uitgebreide Validatie: CD wordt gevalideerd op ImageNet-1K pre-training, COCO-detectie en negen downstream fine-tuning-taken.

4. Experimentele Resultaten

4.1 ImageNet-1K Pre-training

• Gekwantiseerde Nauwkeurigheid: CD verbetert consistent de W4A4 gekwantiseerde nauwkeurigheid (RepQ-ViT en APHQ) ten opzichte van baselines en TWEO. Bijvoorbeeld, op ViT-B bereikt CD 77,78% (RepQ-ViT) versus 76,47% (Baseline) en 73,86% (TWEO).
• Nauwkeurigheid met Volledige Precisie: CD behoudt of verbetert licht de FP Top-1 nauwkeurigheid (81,63% versus 81,44% Baseline).
• Uitbijtercontrole: CD vermindert maximale activaties aanzienlijk (bijv. van 250,60 naar 162,44 in blokken), maar niet zo agressief als TWEO (18,56), wat de hypothese ondersteunt dat matige controle optimaal is.

4.2 COCO-detectie

• CD verbetert de prestaties van de gekwantiseerde detector (mAP) aanzienlijk terwijl de FP-prestaties behouden blijven of licht verbeteren.
• Daarentegen lijden TWEO- en Noise-baselines vaak aan dalingen in FP-nauwkeurigheid.
• CD toont consistente winsten over verschillende quantisatiepijplijnen (Percentiel, RepQ-ViT, APHQ, GPLQ) en modelgroottes (Swin-T, Swin-S).

4.3 Downstream Fine-tuning

• Over negen datasets (waaronder Bloemen, Huisdieren, Auto's, enz.) levert CD de beste gemiddelde FP-nauwkeurigheid, de beste gemiddelde gekwantiseerde nauwkeurigheid en de kleinste gemiddelde nauwkeurigheidsdaling op ten opzichte van Baseline en TWEO.
• Dit bevestigt dat het controleren van activaties tot een redelijk bereik effectiever is dan ze zo veel mogelijk minimaliseren.

4.4 Efficiëntie

• Overhead: Als een gekoppelde update voegt CD minimale tijd- en geheugenoverhead toe. Daarentegen schaalt de activatie-regularisatieverlies van TWEO lineair met de batchgrootte en de verborgen dimensie, wat aanzienlijk hogere kosten met zich meebrengt.

4.5 Ablatiestudies

• Sterkte: Een matige CD-sterkte ($\lambda_{cd} = 0,005$) levert de beste resultaten op; te sterk of te zwak is suboptimaal.
• Vorm: De vorm van de gekoppelde update presteert beter dan een directe implementatie als loss-term, die onstabiel bleek te zijn.
• Doel: Het toepassen van CD op de tweede matrix in zowel composabele als functionele paren levert de beste resultaten op. Het toepassen ervan op beide matrices in een functioneel paar verslechtert de prestaties.

5. Betekenis en Claims

Het artikel claimt dat structurele regularisatie van Transformer-matrixparen een praktische en effectieve manier is om visiemodellen voor te bereiden op implementatie met lage bitdiepte.

• Geen Inferentie-overhead: Omdat CD alleen de trainingsdynamiek wijzigt, blijven de inferentiearchitectuur en latentie onveranderd.
• Betere Afweging: Door de agressieve onderdrukking van uitbijters die representaties met volledige precisie schaden, te vermijden, bereikt CD een superieure balans tussen FP- en gekwantiseerde nauwkeurigheid.
• Generaliseerbaarheid: Hoewel gefocust op ViTs, is de methode gedefinieerd op geordende matrixparen en toont het eerste hoop op GPT-2-taalmodellen (Bijlage A.6), wat suggereert dat toepasbaarheid verder gaat dan visie.

De auteurs concluderen dat uitbijters in plaats van als een probleem dat moet worden geëlimineerd, moeten worden beschouwd als een diagnostische grootheid waarbij het doel is om de structurele mechanismen (cross-matrix uitlijning) te controleren die ze versterken tot schadelijke niveaus.