🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

Das Papier schlägt QUADS vor, eine beidseitige Quantisierungsfehler-Ausrichtungsmethode, die das NVFP4-Reinforcement-Learning für Mixture-of-Experts-Modelle stabilisiert, indem sie Aktivierungsfehler durch asymmetrisches Quantisierungstraining und residuelle Aktivierungskompensation adressiert und dadurch eine BF16-äquivalente Genauigkeit bei signifikant verbessertem Durchsatz im Vergleich zu FP8 erreicht.

Ursprüngliche Autoren: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Veröffentlicht 2026-07-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem superintelligenten Roboter bei, komplexe Rätsel zu lösen, wie zum Beispiel mathematische Probleme oder das Schreiben von Code. Um wirklich gut darin zu werden, lernt der Roboter nicht einfach Antworten auswendig; er übt, indem er tausende verschiedene Lösungen ausprobiert, Feedback darüber erhält, was funktioniert hat, und dann sein Gehirn anpasst, um beim nächsten Mal besser zu sein. Dieser Prozess wird als Reinforcement Learning bezeichnet. Es gibt jedoch einen Haken: Der Teil des Roboters, der denkt und lernt (der Trainer), ist oft vom Teil getrennt, der die Antworten erzeugt (die Rollout-Engine). Damit das Lernen funktioniert, müssen diese beiden Teile exakt dieselbe Sprache sprechen. Wenn der Trainer in High-Definition denkt (wie ein 4K-Film), der Generator aber gezwungen ist, in einer verschwommenen, niedrig auflösenden Version zu sprechen (wie ein verpixelter 8-Bit-Spiel), wird der Roboter verwirrt. Er beginnt Fehler zu machen, weil die „Wichtigkeit“ seiner Handlungen durch die Unschärfe verzerrt wird. Dieser Mismatch ist ein riesiges Problem, da er den gesamten Lernprozess verlangsamt und den Roboter unendlich viel Zeit kostet, um schlau zu werden.

Nun stellen Sie sich vor, wir wollen den Roboter schneller denken lassen. Wir könnten sein Gehirn noch weiter schrumpfen lassen, indem wir ein super-niedrig auflösendes Format namens „NVFP4“ verwenden. Das ist so, als würde man versuchen, ein super-schnelles Rennauto auf einer Schotterpiste aus winzigen, groben Kieselsteinen fahren zu lassen. Es verspricht unglaublich schnell zu sein – viel schneller als der aktuelle Standard – aber die Kieselsteine sind so grob, dass die Räder des Autos (die Logik des Roboters) anfangen zu rutschen und die Kontrolle zu verlieren. Der Roboter versucht zu lernen, aber die raue Strecke führt dazu, dass er nach nur wenigen Runden abstürzt. Die große Frage ist: Können wir diese super-schnelle, raue Strecke zum Laufen bringen, ohne dass der Roboter abstürzt?

Genau dieses Problem wollten die Forscher in dieser Arbeit lösen. Sie entdeckten, dass es nicht ausreicht, den Roboter einfach auf diese raue, schnelle Strecke zu setzen, denn das führt innerhalb von etwa 150 Schritten des Trainings zu einem spektakulären Scheitern. Die Konfidenzwerte (Log-Wahrscheinlichkeiten) des Roboters driften so wild auseinander, dass er überhaupt nicht mehr lernt. Durch sorgfältige Experimente fanden sie heraus, war Warum das passiert. Es stellt sich heraus, dass das Problem nicht die Gewichte (das gespeicherte Wissen des Roboters) sind, die leicht synchronisiert werden können. Der wahre Übeltäter sind die Aktivierungen – die frischen, laufenden Berechnungen, die der Roboter macht, während er denkt. Weil die raue Strecke (NVFP4) so grob ist, werden diese frischen Berechnungen auf eine Weise verzerrt, die der Trainer nicht allein durch den Blick auf die Gewichte korrigieren kann.

Um dies zu beheben, erfand das Team eine clevere zweiteilige Strategie, die sie QUADS (QUantization-error Alignment across Dual Sides) nennen. Denken Sie an einen Tanz zwischen dem Trainer und dem Generator. Auf der Seite des Trainers verwenden sie eine spezielle Technik namens „Asymmetric Quantization-Aware Training“. Anstatt zu versuchen, den Trainer dazu zu zwingen, die raue Sprache des Generators zu sprechen, behalten sie das „Denken“ (die Aktivierungen) des Trainers in High-Definition bei, zwingen aber sein „Gedächtnis“ (die Gewichte), dem groben Format des Generators zu entsprechen. Auf diese Weise weiß der Trainer genau, was der Generator sieht, wenn er auf die Gewichte blickt, was Verwirrung verhindert.

Aber das allein reichte nicht aus. Der Generator stolperte immer noch über die groben Kieselsteine, wenn er versuchte, neue Gedanken zu berechnen. Deshalb fügten sie auf der Seite des Generators eine „Residual Activation Compensation“ hinzu. Stellen Sie sich vor, der Generator läuft auf der rauen Strecke und stellt fest: „Hey, mein Fuß rutscht an diesem speziellen Kieselstein ab!“ Anstatt das gesamte Rennen zu stoppen, um die Strecke zu reparieren, macht er einen winzigen, schnellen Schritt, um genau dieses eine Rutschen zu korrigieren, bevor er weitermacht. Sie identifizierten die spezifischen Teile der Berechnung, die am ehesten zum Rutschen neigten („High-Residual Channels“), und gaben ihnen einen winzigen, zusätzlichen Schub, um auf Kurs zu bleiben, während der Rest des Rennens super-schnell blieb.

Die Ergebnisse sind beeindruckend. Durch die Verwendung dieses dualseitigen Tanzes überlebte der Roboter nicht nur auf der rauen Strecke; er performte fast so gut, als würde er auf einer glatten, High-Definition-Strecke laufen. In ihren Tests verbesserte die neue Methode die Erfolgsquote des Roboters um etwa 21,5 Punkte im Vergleich zum Versuch, die raue Strecke ohne Hilfe zu nutzen. Noch besser: Sie behielt den Geschwindigkeitsvorteil bei und lief etwa 16 % schneller als die bisherige Standardmethode. Die Arbeit zeigt, dass die raue Strecke allein zwar gefährlich ist, aber mit der richtigen Ausrichtung und einer kleinen zusätzlichen Korrektur für die rutschigen Stellen endlich diese super-schnellen, niedrig präzisen KI-Modelle zuverlässig zum Laufen gebracht werden können.

Technisches Resümee: QUADS – Stabilisierung von NVFP4-Reinforcement-Learning für MoE mittels Quantisierungsfehler-Ausrichtung

1. Problemstellung

Reinforcement Learning (RL) für Mixture-of-Experts (MoE) Large Language Models (LLMs) steht vor einem kritischen Flaschenhals: Die Rollout-Generierung verbraucht oft über 70 % der End-to-End-Wandzeit. Um dies zu beschleunigen, haben Forscher die Niedrigpräzisions-Inferenz untersucht, wobei FP8 als stabile Baseline dient, die einen Kompromiss zwischen Durchsatz und Trainings-Inferenz-Mismatch bietet. Die NVIDIA Blackwell-Architektur führt jedoch NVFP4 ein, ein natives W4A4-Format (4-Bit-Gewichte, 4-Bit-Aktivierungen), das eine etwa ~4× höhere GEMM-Durchsatzrate als BF16 und ~2× die von FP8 bietet.

Das Paper identifiziert, dass die direkte Anwendung von NVFP4 W4A4-Rollouts auf MoE-RL mit BF16-Training zu sofortiger Instabilität führt. In Experimenten kollabierte naives NVFP4-RL nach etwa 150 Trainingsschritten, gekennzeichnet durch eine rapide wachsende Lücke zwischen den Rollout- und Trainer-Log-Wahrscheinlichkeiten, was zu korrumpierten Importance-Sampling-Verhältnissen und einem Reward-Kollaps führte. Die Kernherausforderung besteht darin, dass das grobe E2M1-Gitter von FP4 (nur 8 positive darstellbare Stufen pro Vorzeichen) den numerischen Bias stärker verstärkt als FP8, wodurch Standard-Korrekturen des Importance Sampling unzureichend werden.

2. Methodik: QUADS

Die Autoren schlagen QUantization-error Alignment across Dual Sides (QUADS) vor, ein Framework, das darauf ausgelegt ist, NVFP4-RL zu stabilisieren, indem es die spezifischen Quellen des Trainings-Inferenz-Mismatch adressiert. Die Methodik basiert auf einer detaillierten Fehleranalyse, die die Log-Wahrscheinlichkeitsdifferenz ( $\delta_t$ ) in Gewichtsfehler ( $\delta^{weight}_t$ ), Aktivierungsfehler ( $\delta^{act}_t$ ) und numerische Pfadunterschiede ( $\delta^{num}_t$ ) zerlegt.

2.1 Fehleranalyse und Diagnose

Durch kontrollierte Ablationsstudien stellen die Autoren fest, dass die Aktivierungsquantisierung die dominante Quelle der Instabilität ist, nicht die Gewichtsquantisierung.

Gewichte: Können zwischen der Inferenz- und der Trainings-Engine synchronisiert werden. Da die Gewichte repliziert werden, eliminiert das Anwenden desselben Quantisierungs-Dequantisierungs-Pfads (QDQ) auf der Trainer-Seite effektiv den gewichtsbedingten Mismatch.
Aktivierungen: Werden während der Inferenz online neu berechnet. Das grobe E2M1-Gitter führt zu einem signifikanten Quantisierungsfehler ( $\Delta X_q$ ), der durch den inhärenten Engine-Drift ( $\eta$ ) zwischen den Inferenz- und Trainings-Kerneln weiter verstärkt wird. Symmetrisches W4A4 Quantization-Aware Training (QAT), welches sowohl Gewichte als auch Aktivierungen auf der Trainer-Seite fake-quantisiert, scheitert, da es den Drift eher verstärkt als reduziert.

2.2 Strategie der dualseitigen Ausrichtung

QUADS adressiert diese Asymmetrie durch zwei komplementäre Komponenten:

A. Asymmetrisches Quantization-Aware Training (Trainer-Seite)
Anstatt symmetrischem W4A4 QAT schlagen die Autoren Asymmetrisches W4A16 QAT vor:

Gewichte: Werden auf der Trainer-Seite zu NVFP4 (W4) fake-quantisiert, um den Quantisierungspfad mit der Rollout-Engine abzugleichen.
Aktivierungen: Bleiben auf der Trainer-Seite in BF16 (A16).
Rationale: Dies verhindert, dass der Trainer zusätzliche Aktivierungsquantisierungsfehler einführt, die nicht mit den Online-Inferenz-Aktivierungen abgeglichen werden können. Der Optimizer aktualisiert die BF16-Mastergewichte, aber jeder Forward-Pass sieht die diskretisierten Gewichte, die auch im Rollout verwendet werden, wodurch $\delta^{weight}_t$ eliminiert wird, ohne $\delta^{act}_t$ zu verstärken.

B. Residuale Aktivierungskompensation (Rollout-Seite)
Um den verbleibenden Aktivierungsfehler ( $\delta^{act}_t$ ) zu adressen, den der Trainer nicht beheben kann, nutzt die Rollout-Engine eine gezielte Korrektur:

Mechanismus: Das System identifiziert „High-Residual“-Kanäle, in denen der FP4-Quantisierungsfehler am größten ist. Es wendet eine Zweitpass-Quantisierung auf diese spezifischen Kanäle an, berechnet einen residualen Korrekturterm ( $\Delta X_q$ ) und addiert diesen zum quantisierten Output hinzu.
Implementierung: Eine binäre Kanalmaske wählt die Top- $k\%$ -Kanäle (z. B. 50 %) basierend auf der Residuen-Magnitude aus. Diese Korrektur wird über fusionierte Triton-Kernel implementiert, um den Overhead zu minimieren und den nativen W4A4 GEMM-Durchsatz für den Großteil der Berechnungen beizubehalten.
Ziel: Dies reduziert die Distanz zwischen dem Rollout-Output und der BF16-Referenz und schließt die Log-Wahrscheinlichkeitslücke, ohne zu einer vollen BF16-Inferenz zurückzukehren.

3. Zentrale Beiträge

Diagnose des NVFP4-RL-Fehlers: Das Paper demonstriert empirisch, dass die Aktivierungsquantisierung und nicht die Gewichtsquantisierung der primäre Treiber für die Divergenz der Log-Wahrscheinlichkeit und den Reward-Kollaps in naivem NVFP4 W4A4 RL ist.
Asymmetrisches QAT-Schema: Einführung einer Trainingsstrategie, die Gewichte zu FP4 fake-quantisiert, während sie die BF16-Aktivierungen beibehält, wodurch der Gewichtspfad effektiv mit dem Drift der Aktivierungen abgeglichen wird.
Residuale Aktivierungskompensation: Eine Technik auf der Rollout-Seite, die hochfehleranfällige Aktivierungskanäle mit einer Zweitpass-Korrektur adressiert, wodurch der native W4A4-Durchsatz erhalten bleibt, während der Mismatch gemildert wird.
Empirische Validierung: Nachweis, dass die kombinierte QUADS-Pipeline ein stabiles, Full-Parameter MoE GRPO-Training auf NVFP4-Hardware ermöglicht und dabei eine BF16-Genauigkeit erreicht.

4. Experimentelle Ergebnisse

Die Experimente wurden an einem MoE-Modell mit 25 Milliarden Parametern (2,8 Milliarden aktive Experten) auf Blackwell-GPUs durchgeführt, trainiert mit GRPO auf mathematischen Denkaufgaben und Code-Generierung.

Genauigkeit: Die QUADS-Pipeline erreichte eine durchschnittliche pass@1 von 72,86 % über vier Held-out-Benchmarks (AIME 2024/25, HMMT 2025, LiveCodeBench). Dies entspricht den 73,15 % der vollen BF16-Baseline und übertrifft das naive NVFP4-RL (51,37 %) sowie FP8-RL (72,88 %) deutlich.
Stabilität: Während naives NVFP4-RL nach ~150 Schritten kollabierte, hielt QUADS stabile Trainingskurven auf einem Niveau vergleichbar mit BF16. Die maximale Log-Wahrscheinlichkeitsdifferenz pro Schritt wurde von ~1,3 (naiv) auf ~0,86 (QUADS) reduziert, was sich dem irreduziblen Engine-Drift-Boden von ~0,74 aus BF16 annähert.
Durchsatz: QUADS lieferte einen etwa 16 % höheren Rollout-Durchsatz im Vergleich zu FP8. Obwohl die Residuen-Kompensation einen Overhead von ca. 5–9 % gegenüber reinem W4A4 hinzufügte, blieb die Netto-Beschleunigung gegenüber FP8 substanziell.
Ablationsstudien:
- Das Entfernen der Residuen-Kompensation (nur W4A16 QAT) stabilisierte das Training, hinterließ jedoch eine merkliche Genauigkeitslücke zur BF16-Baseline.
- Symmetrisches W4A4 QAT (Quantisierung beider Gewichte und Aktivierungen auf der Trainer-Seite) führte zu größeren Mismatches als der asymmetrische Ansatz, was die Notwendigkeit bestätigt, die Trainer-Aktivierungen in BF16 zu halten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass QUADS die erste Methode ist, die ein stabiles, Full-Parameter MoE-RL-Training unter Verwendung nativer W4A4 FP4 GEMMs auf Blackwell-Hardware ermöglicht.

Die Bedeutung liegt in der Lösung des Problems der „Quantisierungsfehler-Ausrichtung“, das spezifisch für die extreme Grobkörnigkeit des FP4 E2M1-Gitters ist. Durch die Erkenntnis, dass Gewichte und Aktivierungen grundlegend unterschiedliche Ausrichtungsstrategien erfordern (Synchronisation vs. Online-Kompensation), zeigen die Autoren, dass es möglich ist, die massiven Durchsatzgewinne von FP4 zu nutzen, ohne die für die Policy-Gradient-Optimierung erforderliche numerische Stabilität zu opfern. Die Arbeit etabliert, dass mit der korrekten dualseitigen Ausrichtung NVFP4 als hochdurchsatzfähige Alternative zu FP8 für RL-Workloads dienen kann, wobei ein ~16 % höheren Durchsatz bei gleichbleibender BF16-Modellleistung geboten wird.