BATQuant: Outlier-resilient MXFP4 Quantization via Learnable Block-wise Optimization

BATQuant ist ein neuartiger Post-Training-Quantisierungsansatz für MXFP4, der durch blockweise affine Transformationen, eine speichereffiziente GPK-Zerlegung und lernbares Clipping die bei herkömmlichen Methoden auftretenden Ausreißerprobleme löst und damit bei Multimodal- und Sprachmodellen neue State-of-the-Art-Ergebnisse erzielt.

Das Wesentliche

Titel: BATQuant – Der „Klempner" für die digitale Datenflut

Stell dir vor, du hast einen riesigen, hochmodernen Datenfluss – wie einen gigantischen Wasserhahn, der aus einem großen See (dem KI-Modell) Wasser in viele kleine Eimer (die Hardware) füllt. Dieses Wasser repräsentiert das Wissen der KI.

Das Problem: Die neuen, super-effizienten Eimer (die MXFP4-Hardware) sind sehr klein und haben nur wenige Markierungen. Wenn du versuchst, das ganze Wasser in diese kleinen Eimer zu füllen, passiert oft ein Chaos:

1. Die „Unruhestifter" (Outlier): In jedem Datenstrom gibt es ein paar extreme Werte – wie ein riesiger Stein oder ein plötzlicher Wasserstrahl, der viel zu groß für den kleinen Eimer ist.
2. Der alte Trick (Rotation): Bisherige Methoden versuchten, das Wasser zu „drehen" (wie einen Karussell), um diese Steine zu verstecken. Aber bei diesen neuen, winzigen Eimern funktionierte das nicht. Stattdessen wurden die Steine nur von einem Eimer in den nächsten geschleudert. Das Ergebnis: Ein Eimer war voll mit Steinen, der nächste war leer, und das Wasser lief über. Die KI wurde dumm.

Die Lösung: BATQuant

Die Forscher von Huawei haben eine neue Methode namens BATQuant entwickelt. Stell dir das wie einen cleveren Klempner vor, der das System neu verlegt. Hier ist, wie es funktioniert, ganz einfach erklärt:

1. Der „Blockweise-Plan" (Block-wise Affine Transformation)

Statt das ganze Karussell zu drehen, schaut BATQuant sich jeden Eimer einzeln an.

• Die Idee: Jeder Eimer bekommt seinen eigenen, maßgeschneiderten Trichter.
• Der Vorteil: Wenn ein riesiger Stein in Eimer Nr. 5 landet, bleibt er dort. Er wird nicht in Eimer Nr. 6 geworfen. Jeder Eimer behält seine eigene Balance. Das verhindert, dass die „Unruhestifter" das ganze System durcheinanderbringen.

2. Der „Globale Bauplan" (GPK-Decomposition)

Jetzt kommt das Geniale: Jeder dieser maßgeschneiderten Trichter zu bauen, wäre teuer und langsam (wie 1000 verschiedene Schraubenschlüssel zu kaufen).

• Die Lösung: BATQuant nutzt einen cleveren Trick. Es gibt einen globalen Master-Trichter (den alle Eimer teilen) und ein paar kleine, individuelle Anpassungen für jeden Eimer.
• Die Analogie: Stell dir vor, du baust 1000 Häuser. Statt für jedes Haus einen komplett neuen Bauplan zu zeichnen, nutzt du einen Standard-Grundriss (global) und passt nur die Fenstergröße an (privat). Das spart enorm viel Platz und Zeit, funktioniert aber trotzdem perfekt für jedes Haus.

3. Der „Schutzschild" (Learnable Clipping)

Manchmal ist ein Stein einfach zu groß, selbst für den besten Trichter.

• Die Lösung: BATQuant hat einen intelligenten Schutzschild. Wenn ein Wert zu extrem wird, schneidet er ihn sanft ab, aber nicht willkürlich, sondern so, dass das Wichtigste erhalten bleibt. Es ist wie ein Damm, der das Hochwasser bremst, ohne das Tal dahinter trocken zu legen.

Warum ist das so wichtig?

Früher musste man KI-Modelle auf riesigen, teuren Servern laufen lassen, weil sie zu viel Speicher brauchten. Mit BATQuant können diese Modelle jetzt auf viel kleineren, energieeffizienteren Geräten laufen (wie in deinem Handy oder einem autonomen Auto), ohne dass sie „dumm" werden.

Das Ergebnis:
Die Tests zeigen, dass BATQuant selbst bei extrem kleinen Eimern (4-Bit-Quantisierung) fast genauso gut funktioniert wie das riesige Original.

• Bei komplexen Aufgaben (wie Mathe oder Bilderkennung) erreicht es fast 100 % der Leistung des Originals.
• Andere Methoden scheiterten hier oft kläglich und lieferten falsche Antworten.

Zusammenfassung:
BATQuant ist wie ein genialer Logistikmanager, der verhindert, dass die „schweren Pakete" (die Ausreißer) das ganze Lager (die KI) zum Einsturz bringen. Es passt das System so genau an die neuen, kleinen Container an, dass die KI schnell, klein und trotzdem extrem klug bleibt.

Technische Zusammenfassung

1. Problemstellung

Die Implementierung von Multi-Modal Large Language Models (MLLMs) und Large Language Models (LLMs) auf modernen Hardware-Acceleratoren erfordert zunehmend effiziente Quantisierungsmethoden. Der Microscaling Floating-Point (MXFP)-Standard, insbesondere das MXFP4-Format (4-Bit), verspricht aufgrund seiner blockweisen Skalierung eine bessere Handhabung von langschwänzigen Aktivierungsverteilungen im Vergleich zu Integer-Formaten.

Allerdings scheitern bestehende Post-Training-Quantisierungs-Methoden (PTQ), die für Integer-Formate entwickelt wurden, bei der Anwendung auf MXFP4. Das Hauptproblem liegt in einem Format-Mismatch:

• Globale Rotationen: Methoden wie QuaRot oder SpinQuant nutzen orthogonale Transformationen (Rotationen), um Ausreißer (Outliers) über den gesamten Tensor zu verteilen. Bei MXFP4, das jedoch in kleinen Blöcken (z. B. 32 Elemente) skaliert wird, führt dies dazu, dass die Energie von Ausreißern über Blockgrenzen hinweg übertragen wird. Dies zerstört die lokale Skalierungseffizienz und erzeugt neue Ausreißer innerhalb der Blöcke.
• Bimodale Verteilungen: Blockweise Rotationen (z. B. mittels Hadamard-Transformation) können zu bimodalen Aktivierungsverteilungen führen, die die begrenzten Quantisierungsbereiche von MXFP4 ineffizient nutzen und die Genauigkeit drastisch senken.

2. Methodik: BATQuant

Die Autoren schlagen BATQuant (Block-wise Affine Transformation) vor, eine Methode, die speziell auf die Granularität von MXFP zugeschnitten ist.

Kernkomponenten:

1. Blockweise Affine Transformation (BAT):

   • Im Gegensatz zu globalen Rotationen beschränkt BAT die Transformation strikt auf die Größe der MXFP-Blöcke (z. B. 32 Elemente).
   • Dies verhindert die Übertragung von Ausreißer-Energie zwischen Blöcken und stellt sicher, dass der Skalierungsfaktor jedes Blocks seinen lokalen dynamischen Bereich genau erfasst.
   • Die Orthogonalitätsbedingung wird gelockert; stattdessen werden affine Matrizen gelernt, um die Verteilung optimal an das MXFP-Format anzupassen und den Quantisierungsfehler zu minimieren.

2. Global and Private Kronecker (GPK) Zerlegung:

   • Um den Speicher- und Rechenaufwand für die lernbaren blockweisen affinen Matrizen zu reduzieren, wird eine spezielle Zerlegung eingeführt.
   • Jede Block-Matrix $P_i$ wird als Kronecker-Produkt einer global geteilten Matrix $A$ und einer block-spezifischen privaten Matrix $B_i$ dargestellt ($P_i = B_i \otimes A$).
   • Dies reduziert die Anzahl der Parameter drastisch (um über 74–79 % im Vergleich zu naiven Ansätzen), während die Inferenz-Effizienz durch Vektorisierungstricks erhalten bleibt.

3. Blockweises lernbares Clipping (Block-wise Learnable Clipping):

   • Um verbleibende Ausreißer innerhalb der Blöcke zu unterdrücken, werden dynamische Schwellenwerte ($\beta_i^{min}, \beta_i^{max}$) für jeden Block gelernt.
   • Diese Schwellenwerte passen sich an die lokalen Statistiken des Blocks an und clippen extreme Werte, bevor die Quantisierung erfolgt.

4. Integration in Transformer-Architekturen:

   • Die Transformationen werden in die Transformer-Schichten integriert. Gewichts-Transformationen werden offline in die linearen Schichten fusioniert, während Aktivierungs-Transformationen online während der Inferenz angewendet werden.
   • Dies gilt sowohl für LLMs (Text) als auch für MLLMs (Vision-Language), wobei spezifische Anpassungen für MLP- und Self-Attention-Module vorgenommen werden.

3. Wichtige Beiträge

• Neuer Ansatz für MXFP4: BATQuant ist die erste Methode, die die Inkompatibilität zwischen globalen Rotationen und der blockweisen Skalierung von MXFP4 adressiert, indem sie Transformationen strikt an die Hardware-Granularität koppelt.
• Effiziente Parametrisierung: Durch die GPK-Zerlegung wird der Overhead für lernbare Transformationen auf ein Minimum reduziert, was die Methode für große Modelle praktikabel macht.
• Lösung des bimodalen Problems: Die Methode verhindert die Entstehung bimodaler Verteilungen, die bei blockweisen Rotationen auftreten, und sorgt für eine kompakte, unimodale Verteilung, die besser quantisierbar ist.

4. Ergebnisse

Die Methode wurde umfassend auf Qwen3-8B (LLM) und Qwen3-VL-8B-Instruct (MLLM) getestet und übertrifft bestehende State-of-the-Art-Methoden (wie FlatQuant, SpinQuant, BRQ, GPTQ) deutlich.

• Aggressive Quantisierung (W4A4KV16): Unter der extremen Konfiguration (4-Bit Gewichte, 4-Bit Aktivierungen, 16-Bit KV-Cache) erreicht BATQuant eine Wiederherstellungsrate von 96,43 % der Vollpräzisionsleistung auf multimodalen Benchmarks. Dies ist ein signifikanter Vorsprung gegenüber dem besten Baseline-Verfahren (FlatQuant), das nur ca. 94,79 % erreicht.
• Weniger aggressive Konfigurationen (W4A8KV16): Hier erzielt BATQuant eine nahezu verlustfreie Leistung mit einer Wiederherstellungsrate von 99,29 %.
• Robustheit: Die Methode zeigt besonders starke Verbesserungen bei komplexen Aufgaben wie logischem Schlussfolgern (Reasoning) und mathematischen Problemen, wo andere Methoden oft katastrophal versagen.
• Visualisierung: Aktivierungsverteilungen zeigen, dass BATQuant Ausreißer effektiv glättet, ohne die Energie über Blockgrenzen zu verteilen, und eine für FP-Quantisierung günstige Verteilung erzeugt.

5. Bedeutung und Ausblick

BATQuant löst ein kritisches Hindernis für den Einsatz von 4-Bit-Quantisierung auf modernen MXFP-Hardware-Architekturen (wie NVIDIA Hopper oder AMD CDNA). Durch die Überwindung der Limitierungen globaler Rotationen ermöglicht es den effizienten und genauen Betrieb von großen Modellen auf ressourcenbeschränkten Edge-Geräten. Die Arbeit legt einen neuen Standard für die Quantisierung von MLLMs und LLMs in Floating-Point-Formaten und bietet einen praktischen Weg zur Entfaltung des Potenzials von Microscaling-Formaten in der realen Welt.