🤖 machine learning

TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization

Dieser Beitrag stellt TORQ vor, ein trainingsfreies Post-Training-Quantisierungs-Framework, das zweistufige orthogonale Rotationen einsetzt, um strukturelle Ungleichgewichte bei der MXFP4-Aktivierungsquantisierung theoretisch zu adressieren und dadurch die Genauigkeitslücke zwischen 4-Bit-Inferenz und Modellen mit voller Präzision bei großen Sprachmodellen erheblich zu verringern.

Ursprüngliche Autoren: Zukang Xu, Xing Hu, Dawei Yang

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zukang Xu, Xing Hu, Dawei Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine massive, chaotische Bibliothek voller Bücher (die „Aktivierungen" in einer intelligenten KI) in winzige, einheitliche Versandkartons (das Format „MXFP4") zu packen, damit sie schnell und günstig verschickt werden können.

Die Arbeit argumentiert, dass das einfache Hineinstopfen dieser Bücher in die Kartons nicht gut funktioniert. Die Bücher sind zu unordentlich, und die Kartons haben eine sehr spezifische, starre Form. Dies verursacht zwei Hauptprobleme, die die Autoren als TORQ (Two-Level Orthogonal Rotation) bezeichnen.

Hier erklärt die Arbeit das Problem und ihre Lösung unter Verwendung einfacher Analogien:

Das Problem: Zwei Arten, wie das Packen scheitert

1. Das „Ein lauter Nachbar"-Problem (Ungleichgewicht der Varianz zwischen Blöcken)
Stellen Sie sich vor, Ihre Bibliothek ist in Gruppen von 32 Büchern unterteilt. Im aktuellen System erhält jede Gruppe ein einziges „Größenetikett" (ein Skalierungsfaktor) für die gesamte Gruppe.

Das Problem: In den meisten Gruppen sind die Bücher klein und leicht. Aber in einigen wenigen Gruppen gibt es ein riesiges, schweres Lexikon.
Das Ergebnis: Wegen dieses einen schweren Buches muss das Etikett für die gesamte Gruppe auf „Extra Large" eingestellt werden. Das bedeutet, dass alle winzigen, leichten Bücher in derselben Gruppe nun in einen riesigen Karton gezwungen werden. Sie werden zerquetscht, gehen verloren oder werden zu Null, weil der Karton zu groß ist, um ihre kleinen Details zu halten. Einige wenige „lauten" Gruppen ruinieren die Präzision für alle anderen.

2. Das „Leeres Regal"-Problem (Ungleichgewicht der Codebuchauslastung innerhalb von Blöcken)
Die Versandkartons (MXFP4) kommen mit einer vorab gedruckten Liste spezifischer Größen, die sie aufnehmen können (ein „Codebuch"). Diese Größen sind wie Sprossen auf einer Leiter angeordnet: klein, mittel, groß, extra groß.

Das Problem: Echte KI-Daten sind wie eine Menschenmenge, bei der 90 % sehr klein und nur 10 % groß sind.
Das Ergebnis: Fast alle Daten fallen in die „kleinen" Sprossen der Leiter. Die „mittleren" und „großen" Sprossen bleiben völlig leer und ungenutzt. Es ist, als hätte man ein Lager voller riesiger Kisten, aber Sie verwenden nur die winzigen, während die großen vor sich hin verstauben. Das ist eine massive Verschwendung von Platz und Potenzial.

Die Lösung: TORQ (Die große Neuordnung)

Anstatt zu versuchen, die unordentlichen Bücher in die Kartons zu zwingen, schlagen die Autoren vor, die Bücher vor dem Verpacken zu rotieren. Denken Sie daran wie das Mischen eines Kartenspiels, damit schwere und leichte Karten gleichmäßig gemischt sind, und große und kleine Menschen verteilt werden.

Sie tun dies in zwei Schritten:

Schritt 1: Das Makro-Mischen (Behebung des „Lauten Nachbarn")

Die Analogie: Stellen Sie sich vor, Sie haben 100 Gruppen von Büchern. Einige Gruppen sind schwer, einige sind leicht. Die Autoren verwenden einen mathematischen Trick (basierend auf dem Schur-Horn-Theorem), um Bücher zwischen den Gruppen zu tauschen.
Das Ziel: Sie verschieben die „schweren" Bücher aus den schweren Gruppen in die leichten Gruppen und umgekehrt.
Das Ergebnis: Jetzt hat jede einzelne Gruppe ungefähr das gleiche Gesamtgewicht. Keine einzelne Gruppe wird von einem einzigen riesigen Buch dominiert. Dies ermöglicht es, das „Größenetikett" für jede Gruppe auf eine perfekte, mittlere Größe einzustellen und die Details der kleinen Bücher zu erhalten.

Schritt 2: Das Mikro-Mischen (Behebung des „Leeren Regals")

Die Analogie: Jetzt, wo die Gruppen ausgeglichen sind, schauen wir uns eine einzelne Gruppe an. Die Bücher sind immer noch im „kleinen" Bereich zusammengeballt. Die Autoren rotieren die Bücher innerhalb der Gruppe.
Das Ziel: Sie drehen die Bücher so, dass sie sich gleichmäßig über die gesamte Leiter der Größen verteilen. Anstatt dass 90 % der Bücher „klein" sind, sind sie nun so verteilt, dass einige die „mittleren" Sprossen und einige die „großen" Sprossen treffen.
Das Ergebnis: Sie nutzen jede einzelne Sprosse auf der Leiter. Kein Platz wird verschwendet. Das „Codebuch" wird vollständig ausgenutzt.

Das Ergebnis

Indem sie diese zweistufige Rotation vor der Komprimierung der KI durchführen (ein Prozess namens Post-Training Quantization, was bedeutet, dass sie die KI nicht neu unterrichten müssen), erzielen sie erstaunliche Ergebnisse:

Genauigkeit: Es gelang ihnen, die KI auf 4-Bit-Präzision (winzige Kartons) zu verkleinern, ohne viel von ihrer „Intelligenz" zu verlieren. In Tests war ihre Methode (TORQ) viel intelligenter als frühere Methoden und erzielte Werte, die nahe an der vollformatigen, unkomprimierten KI lagen.
Geschwindigkeit & Größe: Da die Kartons kleiner sind, läuft die KI schneller und belegt weniger Speicherplatz auf Geräten wie Handys oder Servern.
Keine zusätzliche Arbeit: Die „Rotation" wird einmal berechnet und dann in die Gewichte der KI eingebacken. Wenn die KI läuft, spürt sie keine zusätzliche Verlangsamung; die Rotation geschieht automatisch als Teil der Mathematik.

Kurz gesagt: Die Arbeit sagt: „Versuchen Sie nicht, eine unordentliche, ungleiche Menschenmenge in einen starren Karton zu quetschen. Schieben Sie stattdessen die Menge sanft so um, dass alle gleichmäßig verteilt sind, und setzen Sie sie dann in den Karton. Dies lässt den Karton perfekt funktionieren."

Technische Zusammenfassung: TORQ – Zwei-Ebenen-Orthogonalrotation für MXFP4-Quantisierung

1. Problemstellung

Da Large Language Models (LLMs) sich der praktischen Bereitstellung nähern, hat sich das Microscaling-FP4-Format (MXFP4) aufgrund seines Gleichgewichts aus hohem dynamischem Bereich und Hardware-Effizienz als kritischer Standard für die Inferenz mit niedriger Bitbreite etabliert. Die direkte Anwendung von MXFP4 auf die Aktivierungsquantisierung von LLMs führt jedoch zu einer schweren Genauigkeitsverschlechterung. Die Studie identifiziert, dass bestehende rotationsbasierte Quantisierungsmethoden, die primär für Ganzzahlformate (z. B. INT4) entwickelt wurden, die einzigartige topologische Struktur von Block-Float-Point-Formaten (BFP) wie MXFP4 nicht adressieren können.

Durch theoretische Analyse offenbaren die Autoren, dass der Leistungsabfall aus zwei strukturellen Ungleichgewichten zwischen realen Aktivierungsverteilungen und dem MXFP4-Block-Float-Point-Format resultiert:

Extreme Inter-Block-Varianz-Ungleichgewichte: Unter fester Block-Microscaling ist die Aktivierungsvarianz höchst ungleichmäßig verteilt. Eine Minderheit hochvarianter Blöcke dominiert den gesamten Quantisierungsfehler. Diese Blöcke zwingen den gemeinsamen Skalierungsfaktor (Exponent), nach oben zu gehen, um Ausreißer zu kompensieren, was dazu führt, dass die Auflösung für die Mehrheit der kleinskaligen Aktivierungen innerhalb desselben Blocks übermäßig vergröbert wird, was häufig zum Ausbluten von über 90 % der Elemente führt.
Intra-Block-Codebuch-Nutzung-Ungleichgewichte (Codebuch-Kollaps): Reale Aktivierungen folgen oft einer schwer-tailigen Verteilung, die nahe bei Null konzentriert ist, was nicht mit dem geometrisch progressiven Codebuch von MXFP4 (e2m1) übereinstimmt. Dies führt zu einem „Codebuch-Kollaps", bei dem die überwiegende Mehrheit der Werte in das minimale Quantisierungsintervall fällt und hochkapazitive Codewörter für große Werte ungenutzt bleiben. Statistiken zeigen, dass etwa 50 % des Codewortbereichs nur von etwa 10 % der Daten aktiviert werden.

2. Methodik: TORQ-Rahmenwerk

Um diese Herausforderungen zu bewältigen, schlagen die Autoren TORQ (Two-level Orthogonal Rotation for MXFP4 Quantization) vor, ein trainingsfreies Post-Training-Quantisierungsrahmenwerk (PTQ). Anstatt Quantisierungsparameter passiv anzupassen, rotiert TORQ aktiv das Aktivierungskoordinatensystem, um Verteilungseigenschaften mit den strukturellen Eigenschaften von MXFP4 in Einklang zu bringen. Die Methode zerlegt die Optimierung in zwei mathematisch orthogonale Teilprobleme:

A. Makro-Gleichgewichtsrotation (Inter-Block)

Ziel: Die Dominanz hochvarianter Blöcke durch eine gleichmäßige Umverteilung der Aktivierungsenergie über alle Blöcke hinweg zu eliminieren.
Theoretische Grundlage: Basierend auf dem Schur-Horn-Theorem und der Theorie der konvexen Optimierung. Die Autoren beweisen, dass unter einem konvexen Fehlermodell die Angleichung der Varianz über die Blöcke hinweg den globalen mittleren quadratischen Fehler (MSE) minimiert.
Mechanismus: Es wird eine orthogonale Transformation konstruiert, um sicherzustellen, dass die Diagonalelemente der transformierten Kovarianzmatrix uniform sind (d. h. alle Blockvarianzen werden gleich). Dies wirkt als Mechanismus zur „weichen Unterdrückung von Ausreißern", der verhindert, dass hochvariante Blöcke die gemeinsamen Skalierungsfaktoren nach oben treiben, und die Präzision von kleinskaligen Elementen erhält.
Implementierung: Ein effizienter iterativer Givens-Rotationsalgorithmus wird verwendet, um die Rotationsmatrix zu konstruieren, wobei eine Konvergenz innerhalb von $O(B^2)$ Zeit sichergestellt wird.

B. Mikro-Ausrichtungsrotation (Intra-Block)

Ziel: Den „Codebuch-Kollaps" zu mildern, indem die Intra-Block-Aktivierungsverteilung so umgestaltet wird, dass die volle Codebuchkapazität von MXFP4 genutzt wird.
Theoretische Grundlage: Geführt vom Prinzip der maximalen Entropie. Das Ziel ist es, die Aktivierungsverteilung so zu gestalten, dass sie „gleichmäßig" in jedes Codewort-Intervall innerhalb des normalisierten FP4-Raums fließt.
Mechanismus: Die Methode definiert einen Codebuch-Besetzungs-Gleichgewichtsverlust, der die Abweichung der empirischen Codewortnutzung von einer Gleichverteilung misst.
Optimierung: Eine Strategie des alternierenden Koordinatenabstiegs wird angewendet:
- S-Schritt: Aktualisiert die Block-Skalierungsfaktoren, um maximale Aktivierungswerte auf das maximale MXFP4-Codewort abzubilden.
- R-Schritt: Aktualisiert die Intra-Block-orthogonale Rotationsmatrix unter Verwendung von Givens-Rotationen. Eine Heuristik wählt Spaltenpaare mit hoher Ungleichgewichtigkeit und statistischer Komplementarität aus und sucht dann durch finite Enumeration (unter Ausnutzung der stückweise konstanten Natur der Verlustfunktion) nach dem optimalen Rotationswinkel.

Inferenzeffizienz

TORQ ist für minimalen Overhead konzipiert. Die inversen Rotationsmatrizen werden während der Offline-Kalibrierungsphase in die Gewichte der benachbarten linearen Schichten fusioniert. Folglich entstehen in der Online-Inferenzphase vernachlässigbare zusätzliche Rechenkosten, da die Rotation effektiv in die Gewichts-Matrixmultiplikation integriert wird.

3. Hauptbeiträge

Problemformalisierung: Die Studie ist die erste, die die beiden strukturellen Herausforderungen, die die MXFP4-Leistung behindern, systematisch identifiziert und formalisiert: Inter-Block-Varianz-Ungleichgewicht und Intra-Block-Codebuch-Nutzungs-Ungleichgewicht.
Zwei-Ebenen-Rahmenwerk: Es wird TORQ vorgeschlagen, das erste Zwei-Ebenen-Rotationsrahmenwerk, das explizit für Block-Float-Point-Strukturen entwickelt wurde. Durch die Integration von Makro-Varianz-Gleichgewicht und Mikro-Codebuch-Ausrichtung wird eine systematische Minimierung des Quantisierungsfehlers erreicht.
Theoretische Fundierung: Die Autoren liefern rigorose Beweise, die zeigen, dass Varianz-Gleichgewicht unter konvexen Fehlermodellen annähernd optimal ist und dass die Codebuch-Besetzungs-Gleichgewichtung die Minimierung des Quantisierungsfehlers unter der MXFP4-geometrischen Struktur approximiert.
Effiziente PTQ-Pipeline: Eine feintuning-freie Pipeline wurde etabliert, die nur minimale Kalibrierungsdaten erfordert (z. B. 128 Proben) und sich durch Hardware-Freundlichkeit mit vernachlässigbarem Parameter-Fußabdruck auszeichnet.

4. Experimentelle Ergebnisse

Experimente wurden an Mainstream-LLMs (LLaMA3-Serie und Qwen3-Serie) im Bereich von 8B bis 70B Parametern durchgeführt, die sowohl Dense- als auch Mixture-of-Experts (MoE)-Architekturen abdecken. Die Evaluation umfasste Perplexität auf WikiText2 und Zero-Shot-Genauigkeit bei Aufgaben wie ARC, HellaSwag, MMLU, GSM8K und HumanEval.

Leistungsvorteil: TORQ übertrifft bestehende State-of-the-Art-Methoden (SOTA) (einschließlich RTN, GPTQ, QuaRot, OSTQuant, FlatQuant und BRQ) signifikant.
- Bei Qwen3-32B reduzierte TORQ die WikiText-Perplexität auf 8,43 (im Vergleich zu 274,93 für RTN und 14,62 für OSTQuant) und näherte sich der BF16-Baseline von 7,61.
- Die durchschnittliche Genauigkeit bei Zero-Shot-Aufgaben für Qwen3-32B stieg von 38,40 % (RTN) auf 73,63 % (TORQ) und erreichte fast die BF16-Baseline von 74,82 %.
- Bei LLaMA3-70B erreichte TORQ eine Perplexität von 3,49 (vs. 3180,43 für RTN) und eine durchschnittliche Genauigkeit von 76,28 %.
Fähigkeiten zum Schlussfolgern: TORQ zeigte eine starke Wiederherstellung von „tiefem Intellekt" bei komplexen Schlussfolgerungsaufgaben. Bei GSM8K für Qwen3-8B wurde die Genauigkeit auf 86,82 % wiederhergestellt (vs. 67,37 % für GPTQ), und die HumanEval-Genauigkeit erreichte 61,15 %.
Generalisierbarkeit: Die Methode erwies sich als effektiv über verschiedene Microscaling-Formate (MXINT4, NVFP4) und MoE-Architekturen (Qwen3-30B-A3B) hinweg, was ihre formatagnostische Natur bestätigt.
Effizienz: Die TORQ-Kalibrierung ist deutlich schneller als konkurrierende Methoden (z. B. etwa 10-mal schneller als FlatQuant für Qwen3-32B). Bei Qwen3-30B-A3B wurden Inferenzbeschleunigungen von 3,5-fach gegenüber BF16 beobachtet, wobei der Speicherverbrauch von 56,9 GB auf 15,3 GB reduziert wurde.

5. Bedeutung und Behauptungen

Die Studie behauptet, dass TORQ effektiv die Lücke zwischen der 4-Bit-Gleitkomma-Quantisierung und der Inferenz mit voller Präzision schließt und die Genauigkeitsverschlechterung löst, die der MXFP4-Aktivierungsquantisierung inhärent ist. Durch den Wechsel des Optimierungsparadigmas von der lokalen Parameteranpassung zur „strukturbewussten orthogonalen Transformation" bietet TORQ die erste systematische Lösung für die MXFP4-Aktivierungsquantisierung.

Die Autoren positionieren diese Arbeit als entscheidende Grundlage für die Anwendung von Gleitkommaformaten mit niedriger Bitbreite bei der effizienten Bereitstellung von LLMs. Sie räumen Einschränkungen ein, wie den aktuellen Fokus auf erste Ordnungsstatistiken (unter Vernachlässigung höherer Momente wie der Kurtosis) und die Verwendung fester Blockgrößen, und stellen fest, dass adaptive Strategien für diese Faktoren weiterhin ein Forschungsziel für zukünftige Arbeiten bleiben. Die aktuellen Ergebnisse etablieren jedoch ein neues Optimierungsparadigma für die Aktivierungsquantisierung mit Gleitkommaformaten niedriger Bitbreite.