Riepilogo Tecnico: Decadimento della Colinearità per Vision Transformer Compatibili con la Quantizzazione

1. Enunciato del Problema

La quantizzazione a basso numero di bit è una strategia critica per il deployment di Vision Transformer (ViT) in ambienti con risorse limitate. Tuttavia, il deployment completamente quantizzato è ostacolato dagli outlier di attivazione—un piccolo numero di canali o token che esibiscono valori significativamente più grandi rispetto al resto. Questi outlier costringono a scale di quantizzazione grossolane, degradando la precisione effettiva per la maggior parte delle attivazioni.

Gli approcci esistenti rientrano generalmente in due categorie:

1. Metodi post-allenamento: Calibrazione, riparametrizzazione delle scale o tecniche di ricostruzione applicate dopo che il modello a precisione intera è stato addestrato.
2. Soppressione durante l'allenamento: Metodi che sopprimono aggressivamente le grandi attivazioni durante l'allenamento (ad esempio TWEO [23]) per stabilizzare l'ottimizzazione a bassa precisione.

Gli autori sostengono che il secondo approccio presenta un difetto critico: minimizzare aggressivamente gli outlier può danneggiare la rappresentazione appresa dal modello a precisione intera, portando a un compromesso subottimale tra accuratezza a precisione intera (FP) e accuratezza quantizzata. Inoltre, la regolarizzazione diretta delle attivazioni spesso comporta un significativo sovraccarico computazionale durante l'allenamento. Il lavoro postula che l'obiettivo di allenamento non dovrebbe semplicemente minimizzare la magnitudine degli outlier, ma dovrebbe invece controllare l'amplificazione strutturale che rende questi outlier dannosi per la quantizzazione.

2. Metodologia: Decadimento della Colinearità (CD)

Il metodo proposto, il Decadimento della Colinearità (CD), è un regolarizzatore strutturale progettato per mitigare l'amplificazione delle attivazioni senza alterare l'architettura del modello o la funzione di perdita del task.

2.1 Fonte Strutturale degli Outlier

Gli autori identificano che le grandi attivazioni spesso non derivano da singole matrici, ma dall'allineamento tra coppie di matrici ordinate $(W_1, W_2)$ nel flusso dei dati.

• Sia $W_1 = USV^\top$ la SVD di una matrice a monte.
• Se una riga della matrice a valle $W_2$ si allinea con un vettore singolare sinistro dominante di $W_1$ (associato a un valore singolare grande), l'output viene amplificato.
• Il decadimento dei pesi standard regolarizza le matrici indipendentemente e non riesce a penalizzare questo allineamento inter-matrice.

2.2 Il Regolarizzatore

Il CD penalizza l'energia pairwise $\|W_2 W_1\|_F^2$. Questo termine è grande quando le righe di $W_2$ concentrano massa sulle direzioni a alto valore singolare di $W_1$.

• Coppie Target: Il CD si applica a coppie specifiche all'interno dei blocchi Transformer:
  • Coppie Componibili: Scale di normalizzazione seguite da proiezioni (ad esempio, scale di LayerNorm e $W_Q, W_K, W_V$ o $W_{F1}$).
  • Coppie Funzionali: Matrici separate da non linearità ma che formano un percorso funzionale (ad esempio, $W_V \to W_O$ nell'attenzione, e $W_{F1} \to W_{F2}$ nell'FFN).
• Aggiornamento Disaccoppiato: Invece di aggiungere una perdita ausiliaria al grafo di allenamento (che aumenterebbe complessità di memoria e tempo), il CD è implementato come un aggiornamento dei pesi disaccoppiato. Dopo il calcolo dei gradienti del task, la matrice a valle $W_2$ viene aggiornata come:
  $$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$$
  Questo aggiornamento riduce le righe di $W_2$ lungo le direzioni a alto valore singolare di $W_1$. Gli autori dimostrano che questa direzione del gradiente forma un angolo non ottuso con il decadimento dei pesi standard, garantendo che siano cooperativi.

2.3 Dettagli di Implementazione

• Il CD viene applicato solo alla matrice a valle in ciascuna coppia per evitare decadimenti ridondanti.
• Il budget di regolarizzazione è gestito riducendo il coefficiente standard di decadimento dei pesi ($\lambda_{wd}$) per accomodare $\lambda_{cd}$, mantenendo la forza totale di regolarizzazione comparabile alla baseline.
• Il metodo è non invasivo, preservando il grafo di inferenza e l'architettura.

3. Contributi Chiave

1. Insight Empirico: Gli autori dimostrano che mantenere gli outlier in un "range adatto" è benefico. La soppressione aggressiva (ridurre le massime attivazioni a valori molto bassi) danneggia l'accuratezza FP e, di conseguenza, le prestazioni quantizzate.
2. Regolarizzazione Strutturale: Identificano l'allineamento inter-matrice eccessivo come fonte strutturale degli outlier e introducono il CD, un regolarizzatore non invasivo con sovraccarico trascurabile.
3. Ortogonalità: Il CD è ortogonale alle pipeline di quantizzazione esistenti e ai metodi architetturali di mitigazione degli outlier (ad esempio, attention sinks), permettendo un uso combinato.
4. Validazione Completa: Il CD è validato su pre-allenamento ImageNet-1K, rilevamento COCO e nove task di fine-tuning downstream.

4. Risultati Sperimentali

4.1 Pre-allenamento ImageNet-1K

• Accuratezza Quantizzata: Il CD migliora costantemente l'accuratezza quantizzata W4A4 (RepQ-ViT e APHQ) rispetto alle baseline e a TWEO. Ad esempio, su ViT-B, il CD ottiene 77.78% (RepQ-ViT) contro 76.47% (Baseline) e 73.86% (TWEO).
• Accuratezza a Precisione Intera: Il CD preserva o migliora leggermente l'accuratezza Top-1 FP (81.63% contro 81.44% della Baseline).
• Controllo degli Outlier: Il CD riduce significativamente le massime attivazioni (ad esempio, da 250.60 a 162.44 nei blocchi) ma non in modo così aggressivo come TWEO (18.56), supportando l'ipotesi che un controllo moderato sia ottimale.

4.2 Rilevamento COCO

• Il CD migliora sostanzialmente le prestazioni del rilevatore quantizzato (mAP) mantenendo o migliorando leggermente le prestazioni FP.
• Al contrario, TWEO e le baseline Noise spesso subiscono cali di accuratezza FP.
• Il CD mostra guadagni coerenti attraverso diverse pipeline di quantizzazione (Percentile, RepQ-ViT, APHQ, GPLQ) e dimensioni del modello (Swin-T, Swin-S).

4.3 Fine-tuning Downstream

• Su nove dataset (inclusi Flowers, Pets, Cars, ecc.), il CD produce la migliore accuratezza FP media, la migliore accuratezza quantizzata media e il minore calo medio di accuratezza rispetto alla Baseline e a TWEO.
• Questo conferma che controllare le attivazioni in un range ragionevole è più efficace che minimizzarle il più possibile.

4.4 Efficienza

• Sovraccarico: Come aggiornamento disaccoppiato, il CD aggiunge un sovraccarico minimo di tempo e memoria. Al contrario, la perdita di regolarizzazione delle attivazioni di TWEO scala linearmente con la dimensione del batch e la dimensione nascosta, comportando costi significativamente più elevati.

4.5 Studi di Ablazione

• Forza: Una forza CD moderata ($\lambda_{cd} = 0.005$) produce i migliori risultati; troppo forte o troppo debole è subottimale.
• Forma: La forma di aggiornamento disaccoppiato supera un'implementazione diretta come termine di perdita, che si è rivelata instabile.
• Target: Applicare il CD alla seconda matrice in entrambe le coppie componibili e funzionali produce i migliori risultati. Applicarlo a entrambe le matrici in una coppia funzionale degrada le prestazioni.

5. Significato e Affermazioni

Il lavoro afferma che la regolarizzazione strutturale delle coppie di matrici Transformer è un modo pratico ed efficace per preparare i modelli visivi al deployment a basso numero di bit.

• Zero Sovraccarico di Inferenza: Poiché il CD modifica solo le dinamiche di allenamento, l'architettura e la latenza di inferenza rimangono invariate.
• Migliore Compromesso: Evitando la soppressione aggressiva degli outlier che danneggia le rappresentazioni a precisione intera, il CD raggiunge un equilibrio superiore tra accuratezza FP e quantizzata.
• Generalizzabilità: Sebbene focalizzato sui ViT, il metodo è definito su coppie di matrici ordinate e mostra promesse iniziali sui modelli linguistici GPT-2 (Appendice A.6), suggerendo applicabilità oltre la visione.

Gli autori concludono che, piuttosto che trattare gli outlier come un problema da eliminare, dovrebbero essere considerati una quantità diagnostica dove l'obiettivo è controllare i meccanismi strutturali (allineamento inter-matrice) che li amplificano a livelli dannosi.