MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

Technische Zusammenfassung: MARR (Modul-Adaptive Residuelle Rekonstruktion)

Problemstellung
Die Post-Training-Quantisierung (PTQ) mit niedriger Bitbreite ist entscheidend für den Einsatz großer Sprachmodelle (LLMs) und Vision Transformer (ViTs) unter strengen Speicher- und Bandbreitenbeschränkungen. Während rekonstruktionsbasierte PTQ-Methoden (z. B. GPTQ) lokale Quantisierungsfehler effektiv minimieren, berücksichtigen sie in Szenarien mit niedriger Bitbreite oft nicht die von vorhergehenden Schichten akkumulierten Fehler. Neuere Ansätze wie GPTAQ und ResComp adressieren dies durch die Einführung von schichtübergreifenden Residuum-Termen zur Korrektur akkumulierter Aktivierungsabweichungen. Die Autoren identifizieren jedoch eine kritische Einschränkung dieser Methoden: die Abhängigkeit von einer Hessian-Näherungsannahme (HA).

Unter der HA-Annahme vereinfacht sich das Rekonstruktionsziel, indem die Hessian-Matrix der Aufgabenverlustfunktion auf eine Diagonalmatrix reduziert wird. Die Autoren zeigen, dass Residuum-Terme zwar akkumulierte Fehler effektiv reduzieren, gleichzeitig jedoch zusätzliche Hessian-Näherungs-Bias (HA-Bias) einführen. Dieser Bias entsteht, weil der Residuum-Term mit der Approximationslücke zwischen der wahren Hessian-Matrix der Aufgabenverlustfunktion und der vereinfachten lokalen Mittelwert-Quadrat-Fehler-Metrik (MSE) interagiert. Folglich kann eine zu starke Residuum-Stärke diesen Bias verstärken und zu suboptimaler Quantisierungsleistung führen. Darüber hinaus ist das optimale Gleichgewicht zwischen Fehlerkorrektur und HA-Bias modulspezifisch; ein einzelner globaler Residuum-Skalierungskoeffizient reicht nicht aus, um die Heterogenität zwischen verschiedenen Modulen in einem Netzwerk zu bewältigen.

Methodik
Um den Kompromiss zwischen der Korrektur akkumulierter Fehler und dem residuumbedingten HA-Bias zu adressieren, schlägt die Arbeit Module-Adaptive Residual Reconstruction (MARR) vor. Die Kernmethodik besteht aus drei Komponenten:

1. Skalierte Residuelle Rekonstruktion:
   Die Autoren führen einen Skalierungskoeffizienten $\alpha$ ein, um den Residuum-Term $r$ im Rekonstruktionsziel zu modulieren. Die Zielfunktion wird als Minimierung von $\|\Delta w \hat{X} - \alpha r\|_F^2$ formuliert. Dies ermöglicht es der Methode, die Stärke der in jedes Modul injizierten schichtübergreifenden Informationen explizit zu steuern. Eine theoretische Analyse (Gleichung 6) zeigt, dass der HA-Bias Terme enthält, die vom Residuum $r$ abhängen; somit passt das Skalieren von $\alpha$ die Größe dieses Bias im Verhältnis zum Nutzen der Fehlerkorrektur direkt an.

2. Modulspezifische Skalierung:
   Da die optimale Wahl von $\alpha$ aufgrund von Unterschieden in den Aktivierungsstatistiken und den propagierten Residuum-Magnituden zwischen den Modulen variiert, weist MARR jedem Modul $m$ einen einzigartigen Skalierungskoeffizienten $\alpha_m$ zu. Dies ersetzt den in früheren Arbeiten verwendeten globalen Koeffizienten (z. B. bei GPTAQ, wo $\alpha=1$).

3. PID-basierte adaptive Schätzung:
   Um den optimalen $\alpha_m$ ohne kostspielige erschöpfende Gittersuche zu bestimmen, entwerfen die Autoren eine Proportional-Integral-Derivative (PID)-basierte adaptive Update-Strategie.

   • Rückkopplungssignal: Der modulspezifische Rekonstruktionsfehler (MSE) dient als Rückkopplungssignal. Da der Quantisierungsprozess nicht-glatt und diskret ist, ist eine gradientenbasierte Optimierung nicht machbar. Stattdessen verwendet die Methode einen nullten Ordnung-Rückkopplungsansatz.
   • Update-Mechanismus: Der Algorithmus behandelt $\alpha_m$ als einstellbare Variable. Er berechnet ein Abweichungssignal basierend auf dem Finite-Differenzen-Trend des Rekonstruktionsfehlers. Dieses Signal wird durch einen PID-Regler (mit proportionalen, integralen und derivativen Komponenten) verarbeitet, um eine inkrementelle Aktualisierung für $\alpha_m$ zu generieren.
   • Stabilität: Das Update beinhaltet ein durch $\tanh$ begrenztes Abweichungssignal, um Überschwingen zu verhindern, sowie ein Abbruchkriterium basierend auf der relativen Änderung der Zielfunktion. In der Praxis konvergiert der Koeffizient innerhalb weniger Iterationen (typischerweise $T=3$).

Hauptbeiträge

• Theoretische Einsicht: Die Arbeit identifiziert und analysiert den „zweiseitigen Effekt" der residuellen Rekonstruktion: Während sie akkumulierte Fehler reduziert, führt sie HA-bezogenen Bias ein. Dies erklärt, warum feste, starke Residuen die Leistung verschlechtern können.
• MARR-Framework: Die Vorstellung eines modul-adaptiven Frameworks, das spezifische Skalierungskoeffizienten für Residuen zuweist und es jedem Modul ermöglicht, Fehlerkorrektur und Approximations-Bias unabhängig auszubalancieren.
• Effiziente Optimierung: Die Entwicklung einer PID-basierten adaptiven Update-Strategie, die modulspezifische Koeffizienten effizient unter Verwendung von Rekonstruktionsfehler-Rückkopplung schätzt und die Rechenkosten einer erschöpfenden Suche vermeidet.
• Empirische Validierung: Umfassende Experimente zeigen, dass MARR unter Quantisierung mit niedriger Bitbreite (W2A4, W3A3 usw.) über verschiedene LLMs (Llama2, Llama3) und ViTs (DeiT) konsistent fortschrittliche Baselines für residuelle Rekonstruktion (GPTAQ, ResComp) übertrifft.

Experimentelle Ergebnisse
Die Autoren evaluierten MARR an mehreren Modellen unter Quantisierungseinstellungen für Gewichte/Aktivierungen (W/A) und nur Gewichte (W):

• LLMs (W2A4): MARR erzielte signifikante Perplexitätsreduktionen auf den Datensätzen WikiText2 und C4. Beispielsweise reduzierte MARR auf Llama2-7b die Perplexität um 14,94 % im Vergleich zu GPTAQ. Auf Llama3-8b betrug die Reduktion 9,82 %. Hinsichtlich der Genauigkeit bei nachgelagerten Aufgaben zeigte MARR konsistente Verbesserungen, mit durchschnittlichen Steigerungen von bis zu 2,54 % bei der Zero-Shot-Genauigkeit für Llama2-7b.
• ViTs: Auf ImageNet verbesserte MARR die Top-1-Genauigkeit bei den Modellen DeiT-T, DeiT-S und DeiT-B. Bemerkenswert ist, dass MARR auf DeiT-S unter W3A3-Quantisierung eine relative Steigerung von 4,61 % gegenüber der GPTAQ-Baseline erzielte.
• Nur-Gewicht-Quantisierung: Selbst wenn Aktivierungen in hoher Präzision bleiben (z. B. W2A16), zeigte MARR Verbesserungen, wobei die Gewinne manchmal aufgabenabhängiger waren. Dies bestätigt, dass der Residuum-Kontrollmechanismus auch dann vorteilhaft bleibt, wenn Aktivierungsabweichungen reduziert sind.
• Effizienz: Das PID-basierte Update führt zu einem einmaligen PTQ-Overhead von ungefähr dem 2,1–2,7-fachen im Vergleich zur Baseline-Methode GPTAQ. Die Autoren stellen fest, dass dies angesichts der Leistungsgewinne und der Tatsache akzeptabel ist, dass es immer noch signifikant schneller ist als rekonstruktionsbasierte Methoden auf Basis der Rückwärtspropagation.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass MARR eine prinzipielle Lösung für die suboptimale Leistung bestehender Methoden zur residuellen Rekonstruktion bei PTQ mit niedriger Bitbreite bietet. Durch die explizite Modellierung des Kompromisses zwischen der Korrektur akkumulierter Fehler und dem HA-Bias sowie durch die Anpassung dieses Gleichgewichts auf Modulebene erreicht MARR eine überlegene Quantisierungsgenauigkeit ohne erneutes Training. Die Autoren betonen die Allgemeingültigkeit ihres Ansatzes und verweisen auf dessen Wirksamkeit sowohl bei LLMs als auch bei ViTs, was darauf hindeutet, dass die Kontrolle des Residuum-Beitrags eine grundlegende Anforderung ist, um die Grenzen der Quantisierung unter 4 Bit zu verschieben. Die Arbeit schließt, dass die PID-Strategie zwar einen Rechenoverhead hinzufügt, aber ein notwendiger und effizienter Mechanismus ist, um die suboptimale Leistung zu vermeiden, die durch eine „Einheitsgröße für alle"-Residuum-Stärke verursacht wird.