Technische Zusammenfassung: Kolinearitätsabnahme für quantisierungsfreundliche Vision Transformer

1. Problemstellung

Die Niedrig-Bit-Quantisierung ist eine kritische Strategie für den Einsatz von Vision Transformern (ViTs) in ressourcenbeschränkten Umgebungen. Der vollständig quantisierte Einsatz wird jedoch durch Aktivierungs-Ausreißer behindert – eine kleine Anzahl von Kanälen oder Tokens, die deutlich größere Werte aufweisen als der Rest. Diese Ausreißer zwingen zu groben Quantisierungsskalen, was die effektive Präzision für die Mehrheit der Aktivierungen verschlechtert.

Bestehende Ansätze lassen sich im Allgemeinen in zwei Kategorien einteilen:

1. Methoden nach dem Training: Kalibrierung, Skalene-Neuparametrisierung oder Rekonstruktionstechniken, die nach dem Training des Modells in voller Genauigkeit angewendet werden.
2. Unterdrückung während des Trainings: Methoden, die große Aktivierungen während des Trainings aggressiv unterdrücken (z. B. TWEO [23]), um die Optimierung mit niedriger Präzision zu stabilisieren.

Die Autoren argumentieren, dass der zweite Ansatz einen kritischen Mangel aufweist: Die aggressive Minimierung von Ausreißern kann die vom Modell in voller Genauigkeit gelernte Darstellung schädigen, was zu einem suboptimalen Kompromiss zwischen der Genauigkeit in voller Genauigkeit (FP) und der quantisierten Genauigkeit führt. Darüber hinaus verursacht eine direkte Aktivierungsregularisierung oft erheblichen Trainingsaufwand. Die Arbeit geht davon aus, dass das Trainingsziel nicht einfach die Größe der Ausreißer minimieren sollte, sondern stattdessen die strukturelle Verstärkung kontrollieren sollte, die diese Ausreißer für die Quantisierung schädlich macht.

2. Methodik: Kolinearitätsabnahme (CD)

Die vorgeschlagene Methode, Kolinearitätsabnahme (Colinearity-Decay, CD), ist ein struktureller Regularisierer, der die Verstärkung von Aktivierungen abschwächt, ohne die Modellarchitektur oder den Aufgabenverlust zu verändern.

2.1 Strukturelle Quelle von Ausreißern

Die Autoren identifizieren, dass große Aktivierungen oft nicht von einzelnen Matrizen stammen, sondern aus der Ausrichtung zwischen geordneten Matrizenpaaren $(W_1, W_2)$ im Datenfluss.

• Sei $W_1 = USV^\top$ die Singulärwertzerlegung (SVD) einer vorgelagerten Matrix.
• Wenn eine Zeile der nachgelagerten Matrix $W_2$ mit einem dominanten linken Singulärvektor von $W_1$ (verbunden mit einem großen Singulärwert) übereinstimmt, wird die Ausgabe verstärkt.
• Standard-Gewichtsabnahme regularisiert Matrizen unabhängig voneinander und verfehlt es, diese matrixübergreifende Ausrichtung zu bestrafen.

2.2 Der Regularisierer

CD bestraft die paarweise Energie $\|W_2 W_1\|_F^2$. Dieser Term ist groß, wenn Zeilen von $W_2$ Masse auf Richtungen mit hohen Singulärwerten von $W_1$ legen.

• Zielpaare: CD wird auf spezifische Paare innerhalb von Transformer-Blöcken angewendet:
  • Komponierbare Paare: Normierungsskalen gefolgt von Projektionen (z. B. LayerNorm-Skalen und $W_Q, W_K, W_V$ oder $W_{F1}$).
  • Funktionale Paare: Matrizen, die durch Nichtlinearitäten getrennt sind, aber eine funktionale Route bilden (z. B. $W_V \to W_O$ in der Aufmerksamkeit und $W_{F1} \to W_{F2}$ im FFN).
• Entkoppelte Aktualisierung: Anstatt einen zusätzlichen Verlust zum Trainingsgraphen hinzuzufügen (was Speicher- und Zeitkomplexität erhöht), wird CD als entkoppelte Gewichtsaktualisierung implementiert. Nach der Berechnung der Aufgaben-Gradienten wird die nachgelagerte Matrix $W_2$ wie folgt aktualisiert:
  $$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$$
  Diese Aktualisierung verkleinert die Zeilen von $W_2$ entlang der Richtungen mit hohen Singulärwerten von $W_1$. Die Autoren beweisen, dass diese Gradientenrichtung einen nicht-stumpfen Winkel mit der Standard-Gewichtsabnahme bildet, was sicherstellt, dass sie kooperativ wirken.

2.3 Implementierungsdetails

• CD wird nur auf die nachgelagerte Matrix in jedem Paar angewendet, um redundante Abnahme zu vermeiden.
• Das Regularisierungsbudget wird verwaltet, indem der Standard-Gewichtsabnahme-Koeffizient ($\lambda_{wd}$) reduziert wird, um $\lambda_{cd}$ aufzunehmen, wobei die gesamte Regularisierungsstärke mit der Basislinie vergleichbar bleibt.
• Die Methode ist nicht-invasiv und erhält den Inferenzgraphen und die Architektur.

3. Hauptbeiträge

1. Empirische Erkenntnis: Die Autoren zeigen, dass es vorteilhaft ist, Ausreißer in einem „geeigneten Bereich" zu halten. Eine aggressive Unterdrückung (Reduzierung der maximalen Aktivierungen auf sehr niedrige Werte) schadet der FP-Genauigkeit und folglich der quantisierten Leistung.
2. Strukturelle Regularisierung: Sie identifizieren übermäßige matrixübergreifende Ausrichtung als strukturelle Quelle von Ausreißern und führen CD ein, einen nicht-invasiven Regularisierer mit vernachlässigbarem Overhead.
3. Orthogonalität: CD ist orthogonal zu bestehenden Quantisierungspipelines und architektonischen Methoden zur Minderung von Ausreißern (z. B. Attention Sinks), was eine kombinierte Anwendung ermöglicht.
4. Umfassende Validierung: CD wird über ImageNet-1K-Vortraining, COCO-Detektion und neun Downstream-Feinabstimmungsaufgaben hinweg validiert.

4. Experimentelle Ergebnisse

4.1 ImageNet-1K-Vortraining

• Quantisierungs-Genauigkeit: CD verbessert die quantisierte Genauigkeit bei W4A4 (RepQ-ViT und APHQ) konsistent im Vergleich zu Basislinien und TWEO. Zum Beispiel erreicht CD auf ViT-B 77,78 % (RepQ-ViT) gegenüber 76,47 % (Basislinie) und 73,86 % (TWEO).
• Genauigkeit in voller Genauigkeit: CD bewahrt oder verbessert die FP-Top-1-Genauigkeit leicht (81,63 % gegenüber 81,44 % Basislinie).
• Ausreißerkontrolle: CD reduziert maximale Aktivierungen erheblich (z. B. von 250,60 auf 162,44 in Blöcken), aber nicht so aggressiv wie TWEO (18,56), was die Hypothese stützt, dass moderate Kontrolle optimal ist.

4.2 COCO-Detektion

• CD verbessert die Leistung quantisierter Detektoren (mAP) erheblich, während die FP-Leistung erhalten bleibt oder leicht verbessert wird.
• Im Gegensatz dazu erleiden TWEO- und Noise-Basislinien oft FP-Genauigkeitsverluste.
• CD zeigt konsistente Gewinne über verschiedene Quantisierungspipelines (Percentile, RepQ-ViT, APHQ, GPLQ) und Modellgrößen (Swin-T, Swin-S).

4.3 Downstream-Feinabstimmung

• Über neun Datensätze hinweg (einschließlich Flowers, Pets, Cars usw.) erzielt CD die beste durchschnittliche FP-Genauigkeit, die beste durchschnittliche quantisierte Genauigkeit und den kleinsten durchschnittlichen Genauigkeitsverlust im Vergleich zur Basislinie und TWEO.
• Dies bestätigt, dass die Kontrolle von Aktivierungen auf einen vernünftigen Bereich effektiver ist als deren maximale Minimierung.

4.4 Effizienz

• Overhead: Als entkoppelte Aktualisierung fügt CD minimalen Zeit- und Speicher-Overhead hinzu. Im Gegensatz dazu skaliert der Aktivierungsregularisierungsverlust von TWEO linear mit der Batch-Größe und der verborgenen Dimension und verursacht erheblich höhere Kosten.

4.5 Ablationsstudien

• Stärke: Eine moderate CD-Stärke ($\lambda_{cd} = 0,005$) liefert die besten Ergebnisse; zu stark oder zu schwach ist suboptimal.
• Form: Die Form der entkoppelten Aktualisierung übertrifft eine direkte Implementierung als Verlustterm, die als instabil befunden wurde.
• Ziel: Die Anwendung von CD auf die zweite Matrix sowohl in komponierbaren als auch in funktionalen Paaren liefert die besten Ergebnisse. Die Anwendung auf beide Matrizen in einem funktionalen Paar verschlechtert die Leistung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass strukturelle Regularisierung von Transformer-Matrizenpaaren eine praktische und effektive Methode ist, um Vision-Modelle für den Einsatz mit niedriger Bit-Tiefe vorzubereiten.

• Kein Inferenz-Overhead: Da CD nur die Trainingsdynamik modifiziert, bleiben Inferenzarchitektur und Latenz unverändert.
• Besserer Kompromiss: Durch die Vermeidung der aggressiven Unterdrückung von Ausreißern, die Darstellungen in voller Genauigkeit schädigt, erreicht CD ein überlegenes Gleichgewicht zwischen FP- und quantisierter Genauigkeit.
• Generalisierbarkeit: Obwohl auf ViTs fokussiert, ist die Methode auf geordnete Matrizenpaare definiert und zeigt anfängliche Versprechen bei GPT-2-Sprachmodellen (Anhang A.6), was eine Anwendbarkeit über die Bildverarbeitung hinaus nahelegt.

Die Autoren schließen, dass Ausreißer nicht als Problem behandelt werden sollten, das eliminiert werden muss, sondern als diagnostische Größe, bei der das Ziel darin besteht, die strukturellen Mechanismen (matrixübergreifende Ausrichtung) zu kontrollieren, die sie auf schädliche Niveaus verstärken.