Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

Diese Arbeit schließt die Lücke zwischen Versprechen und Leistung bei der FP4-Quantisierung, indem sie den neu entwickelten MR-GPTQ-Algorithmus mit spezialisierten GPU-Kernen einführt, der durch Block-Hadamard-Transformationen und formatoptimierte Techniken auf NVIDIA-B200- und RTX5090-Hardware eine bis zu 4-fache End-to-End-Beschleunigung bei gleichzeitiger Erhaltung oder Steigerung der Genauigkeit ermöglicht.

Das Wesentliche

Titel: Wie man KI-Modelle kleiner macht, ohne dass sie dumm werden – Eine Reise durch die Welt der Mikro-Quantisierung

Stell dir vor, du hast einen riesigen, genialen Koch (ein großes KI-Modell), der die besten Rezepte der Welt kennt. Aber dieser Koch braucht eine gigantische Küche mit riesigen Vorratsräumen, um all seine Zutaten zu lagern. Das ist teuer und langsam.

Die Forscher aus diesem Papier wollen dem Koch helfen, in eine winzige, effiziente Küche zu ziehen. Dafür müssen sie die Zutaten (die Daten des Modells) komprimieren. Normalerweise nimmt man dafür ganze Zahlen (wie 4 oder 8), aber die Hardware-Hersteller (NVIDIA, AMD) haben jetzt neue, spezielle Werkzeuge eingeführt: MXFP4 und NVFP4. Das sind wie neue, ultra-leichte Messbecher, die nur 4 Bits groß sind.

Das Problem? Die Versprechen dieser neuen Messbecher waren groß, aber in der Praxis hat sich gezeigt: Wenn man sie einfach so benutzt, wird der Koch verwirrt und macht Fehler. Die Gerichte schmecken nicht mehr so gut wie vorher.

Hier ist, was die Autoren herausgefunden und gelöst haben, einfach erklärt:

1. Das Problem: Die falschen Werkzeuge für den Job

Die neuen Messbecher (MXFP4 und NVFP4) funktionieren nach einem besonderen Prinzip: Sie fassen 16 oder 32 Zutaten in eine Gruppe und geben ihnen einen gemeinsamen "Maßstab" (Skalierungsfaktor).

• NVFP4 ist wie ein präziser, aber etwas schwerer Messbecher. Er ist gut, aber die alten Methoden, um Fehler zu korrigieren, funktionieren hier nicht richtig.
• MXFP4 ist wie ein sehr leichter Messbecher, der nur auf "Potenzen von 2" (2, 4, 8, 16...) runden kann. Das ist super schnell für den Computer, aber leider sehr ungenau. Stell dir vor, du musst 3,5 Tassen Mehl messen, aber dein Becher hat nur Markierungen für 2 und 4. Du musst auf 4 runden – das ist viel zu viel! Das führt zu großen Fehlern.

Die alten Methoden, die man normalerweise benutzt, um solche Fehler zu minimieren (wie das "Glätten" von Ausreißern), funktionieren bei diesen neuen Bechern gar nicht oder machen es sogar schlimmer.

2. Die Lösung: MR-GPTQ (Der "Dreh-und-Wende"-Koch)

Um dieses Problem zu lösen, haben die Autoren eine neue Methode namens MR-GPTQ entwickelt.

Stell dir vor, deine Zutaten liegen in einem chaotischen Haufen. Manche sind riesig (die "Ausreißer"), die meisten sind winzig. Wenn du versuchst, sie alle in den kleinen 4-Bit-Becher zu packen, gehen die kleinen verloren oder die großen passen nicht rein.

MR-GPTQ macht folgendes:

1. Der Zaubertrick (Hadamard-Transformation): Bevor die Zutaten in die Becher kommen, wirbelt der Koch sie kurz durch. Er mischt die riesigen und die winzigen Zutaten so um, dass sie alle ungefähr gleich groß werden. Es ist, als würdest du einen riesigen Berg Sand und ein paar kleine Kieselsteine in einen Mixer geben, bis alles eine gleichmäßige, feine Mischung ist.
2. Maßgeschneiderte Becher: Anstatt die Zutaten einfach abzurunden, berechnet MR-GPTQ den perfekten Maßstab für jede Gruppe, damit die Fehler minimiert werden.
3. Die neue Reihenfolge: Der Koch sortiert die Zutaten neu, bevor er sie misst, damit die wichtigsten zuerst verarbeitet werden.

Das Ergebnis? Der Koch kann jetzt mit den winzigen 4-Bit-Bechern kochen, und das Essen schmeckt fast genauso gut wie mit den riesigen Original-Zutaten.

3. Der Turbo: QuTLASS (Die Hochgeschwindigkeits-Küche)

Es reicht nicht, nur die Zutaten zu mischen; der Koch muss auch schnell arbeiten. Die Autoren haben spezielle Software-Kerne (QuTLASS) geschrieben, die direkt auf den neuesten Grafikkarten (wie dem NVIDIA B200 oder RTX 5090) laufen.

• Die Analogie: Stell dir vor, das Ummischen der Zutaten (die Rotation) würde normalerweise Zeit kosten. Aber diese neuen Werkzeuge haben den Trick, das Mischen während des Messens zu erledigen. Es ist, als würde der Koch die Zutaten mischen, während sie durch den Becher fließen, ohne extra Zeit zu verlieren.
• Das Ergebnis: Die KI läuft 2- bis 4-mal schneller als mit den alten, großen Formaten, und verbraucht dabei viel weniger Speicherplatz.

Zusammenfassung für den Alltag

• Vorher: Man wollte KI-Modelle kleiner machen, aber die neuen, schnellen 4-Bit-Formate haben die Modelle "dumm" gemacht.
• Jetzt: Mit MR-GPTQ (dem cleveren Ummischen und Anpassen) und QuTLASS (den schnellen Werkzeugen) können wir diese Modelle endlich nutzen.
• Der Gewinn: Wir bekommen KI-Modelle, die so schnell sind wie ein Rennwagen, aber so schlau wie ein Professor. Sie laufen auf den neuesten Grafikkarten mit einer Geschwindigkeit, die früher unmöglich schien.

Kurz gesagt: Die Autoren haben den Schlüssel gefunden, um das volle Potenzial der neuen, winzigen KI-Hardware auszuschöpfen, ohne dabei die Intelligenz der Modelle zu verlieren.

Technische Zusammenfassung

Titel: Überbrückung der Lücke zwischen Versprechen und Leistung bei der Microscaling-FP4-Quantisierung

Veröffentlicht: ICLR 2026 (Konferenzpapier)
Autoren: Vage Egiazarian, Andrei Panferov, Denis Kuznedelev et al. (ISTA, Yandex, Red Hat AI, ETH Zürich)

---

1. Problemstellung

Die Einführung hardwarebeschleunigter 4-Bit-Float-Formate (Microscaling FP4), speziell MXFP4 (Open Compute Project Standard) und NVFP4 (NVIDIA Blackwell), verspricht, die Inferenz von Large Language Models (LLMs) zu revolutionieren. Diese Formate nutzen einen hierarchischen Ansatz, bei denen Blöcke von Elementen (32 für MXFP4, 16 für NVFP4) einen gemeinsamen Skalierungsfaktor teilen.

Trotz der Hardware-Unterstützung und der theoretischen Versprechen (höhere Genauigkeit als INT4, geringerer Speicherbedarf) blieben die praktischen Vorteile bisher unbewiesen. Die Autoren identifizieren zwei kritische Probleme, die dazu führen, dass State-of-the-Art-Quantisierungsmethoden bei FP4 versagen:

1. NVFP4: Die kleine Blockgröße (16 Elemente) neutralisiert traditionelle Techniken zur Unterdrückung von Ausreißern (Outlier Mitigation) effektiv.
2. MXFP4: Die Quantisierung der Skalierungsfaktoren auf Zweierpotenzen (E8M0-Format) führt zu hohen Quantisierungsfehlern und degradiert die Genauigkeit erheblich.

Das Ziel des Papers ist es, diese Lücke zu schließen und herauszufinden, wie FP4-Formate so optimiert werden können, dass sie die Genauigkeit von FP16 annähern und gleichzeitig die Geschwindigkeit von 4-Bit-Inferenz bieten.

---

2. Methodik und Analyse

Theoretische Analyse der Fehler

Die Autoren führen eine fundierte Analyse der Quantisierungsfehler (MSE) durch, basierend auf den Verteilungen von Gewichten und Aktivierungen:

• Native Verteilungen: Reale LLM-Daten folgen oft einer Laplace-Verteilung (schwere Ränder, viele Ausreißer).
• Rotierte Verteilungen: Durch Hadamard-Transformationen (wie in QuIP/QuaRot) werden diese Verteilungen in eine Normalverteilung überführt.
• Erkenntnis:
  • Für MXFP4 (große Blöcke, grobe Skalierung) verbessert die Rotation die Genauigkeit, da sie die Fehler über mehr Elemente verteilt und die grobe Skalierung kompensiert.
  • Für NVFP4 (kleine Blöcke, feinere Skalierung) verschlechtert die Rotation mit Standard-Rundung (Round-to-Nearest, RTN) die Genauigkeit, da die kleinen Blöcke die Ausreißer bereits gut handhaben und die Rotation unnötigen Rauschen hinzufügt.

Einführung von MR-GPTQ (Micro-Rotated-GPTQ)

Um die Schwächen der bestehenden Methoden zu überwinden, stellen die Autoren MR-GPTQ vor, eine spezialisierte Variante des GPTQ-Algorithmus (Post-Training Quantization). Die Kernkomponenten sind:

1. Blockweise Hadamard-Transformationen: Anwendung von Rotationen auf Gewichte und Aktivierungen, um die Verteilungen zu normalisieren (besonders wichtig für MXFP4).
2. Format-spezifische Skalierungsoptimierung:
   • Für NVFP4: Optimierung der Skalierungsfaktoren unter Berücksichtigung der E4M3-Präzision.
   • Für MXFP4: Anpassung der Skalierungsfaktoren an den tatsächlichen Datenbereich (Scale Fitting), um die grobe E8M0-Grid-Struktur zu kompensieren.
3. Statisches Aktivierungs-Reordering: Anstatt Aktivierungen dynamisch zur Laufzeit neu zu sortieren (was Overhead verursacht), wird die Sortierung statisch während der Quantisierung durchgeführt, um die Genauigkeit von GPTQ zu erhalten, ohne Laufzeitstrafe.

GPU-Kernel-Unterstützung (QuTLASS)

Um MR-GPTQ effizient auf NVIDIA Blackwell-GPUs (B200, RTX 5090) auszuführen, entwickelten die Autoren QuTLASS, eine Bibliothek hochleistungsfähiger Kernel:

• Fusionierte Rotation: Die Hadamard-Rotation der Aktivierungen wird in einen leichtgewichtigen, fusionierten Kernel integriert, der online berechnet wird.
• Overhead: Die Rotation fügt keinen nennenswerten Overhead hinzu.
• Leistung: Die Kernel erreichen nahezu ideale Durchsatzraten für 4-Bit-Multiplikationen.

---

3. Wichtige Ergebnisse

Genauigkeit

• Status Quo: Herkömmliche Methoden (RTN, GPTQ, SmoothQuant) liefern bei FP4 oft schlechte Ergebnisse. MXFP4 ohne Optimierung führt zu einem Genauigkeitsverlust von ca. 10 % relativ zur FP16-Basis.
• MR-GPTQ Leistung:
  • MR-GPTQ gleicht die Genauigkeit von NVFP4 und MXFP4 signifikant an.
  • Für MXFP4 wird die Genauigkeit auf nur 1–2 % unterhalb von NVFP4 gebracht.
  • Bei großen Modellen (z. B. Llama-3.3-70B, Qwen-3) erreichen beide Formate mit MR-GPTQ eine Wiederherstellung von 98–99 % der FP16-Genauigkeit.
  • Auf dem "Platinum Benchmark" (weniger verrauschte Aufgaben) zeigt MR-GPTQ konsistent bessere Ergebnisse als alle anderen PTQ-Methoden.

Leistung (Speedups)

Die Implementierung in vLLM mit QuTLASS-Kernen zeigt beeindruckende Beschleunigungen im Vergleich zur FP16-Basis:

• NVIDIA B200:
  • Schichtweise (Layer-wise): bis zu 3,6x schneller.
  • End-to-End: bis zu 2,2x schneller.
• NVIDIA RTX 5090:
  • Schichtweise: bis zu 6x schneller.
  • End-to-End: bis zu 4x schneller.
• Interessanterweise erreicht MXFP4 mit MR-GPTQ auf der B200 einen höheren Durchsatz als NVFP4, wahrscheinlich aufgrund effizienterer Zweierpotenz-Skalierung und größerer Blockgrößen.

---

4. Signifikanz und Fazit

Das Paper widerlegt die Annahme, dass FP4-Formate automatisch eine Verbesserung gegenüber INT4 darstellen. Stattdessen zeigt es, dass formatspezifische Algorithmen entscheidend sind.

• Paradigmenwechsel: Die Arbeit demonstriert, dass durch die Kombination aus mathematischer Analyse (Fehlergrenzen bei verschiedenen Verteilungen) und hardwarenaher Optimierung (fusionierte Kernel) die Lücke zwischen theoretischem Versprechen und praktischer Leistung geschlossen werden kann.
• Praktische Relevanz: MR-GPTQ ermöglicht den Einsatz von 4-Bit-Float-Formaten in der Produktion auf neuer Hardware (Blackwell), ohne signifikante Genauigkeitseinbußen zu erleiden.
• Zukunftsausblick: Die vorgestellten Techniken (insbesondere die mikro-rotierten Formate und die Kernel-Optimierung) legen den Grundstein für zukünftige Forschung zu extrem komprimierten, aber genauen LLM-Inferenzsystemen.

Zusammenfassend beweist das Paper, dass FP4 mit der richtigen Methode (MR-GPTQ + QuTLASS) ein neuer Meilenstein für die Effizienz und Genauigkeit von LLM-Inferenz ist.