💬 NLP

Jet-RL: Enabling On-Policy FP8 Reinforcement Learning with Unified Training and Rollout Precision Flow

Dieses Paper stellt Jet-RL vor, ein einheitliches FP8-Reinforcement-Learning-Framework, das die durch Mixed-Precision-Strategien verursachte Trainingsinstabilität und den Genauigkeitskollaps behebt, indem es eine konsistente FP8-Präzision sowohl auf den Rollout als auch auf das Training anwendet und dadurch signifikante Geschwindigkeitssteigerungen bei gleichzeitiger Aufrechterhaltung einer stabilen Konvergenz erzielt.

Ursprüngliche Autoren: Haocheng Xi, Charlie Ruan, Peiyuan Liao, Yujun Lin, Han Cai, Yilong Zhao, Shuo Yang, Kurt Keutzer, Song Han, Ligeng Zhu

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haocheng Xi, Charlie Ruan, Peiyuan Liao, Yujun Lin, Han Cai, Yilong Zhao, Shuo Yang, Kurt Keutzer, Song Han, Ligeng Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „langsame Spaziergang“ beim KI-Training

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Roboter (ein Large Language Model), um komplexe mathematische Probleme zu lösen. Um wirklich gut darin zu werden, muss der Roboter lernen, „laut zu denken“ (lange Ketten von Argumentationen zu generieren), bevor er eine Antwort gibt.

In der Welt des KI-Trainings wird diese Übungsphase als Rollout bezeichnet.

Der Flaschenhals: Das Paper weist darauf farblich darauf hin, dass diese „Laut-Denken“-Phase unglaublich langsam ist. Sie nimmt 70 % der gesamten Zeit ein, die für das Training des Roboters aufgewendet wird. Es ist, als würde ein Schüler 7 Stunden lang für eine Prüfung lernen, aber 5 dieser Stunden verbringt er nur damit, auf das leere Blatt zu starren und zu versuchen, den ersten Satz zu formulieren.
Das Ziel: Wir wollen diese „Denkphase“ beschleunigen, ohne den Roboter dabei dümmer zu machen.

Der gescheiterte Shortcut: „Der Fehler der doppelten Buchführung“

Um die Geschwindigkeit zu erhöhen, versuchten Ingenieure einen einfachen Trick: Quantisierung.

Die Analogie: Stellen Sie sich vor, das Gehirn des Roboters arbeitet normalerweise mit hochauflösenden, 16-Bit „HD“-Zahlen (BF16). Um schneller zu werden, versuchten sie, den „Denkmodus“ des Roboters für die Übungsphase auf einen niedrigauflösenden 8-Bit „SD“-Modus (FP8) umzustellen, während die „Bewertungsphase“ weiterhin in HD bleibt.
Die Idee: „Lass uns den schnellen, niedrigauflösenden Modus für die langen Denkprozesse nutzen, aber den hochauflösenden Modus für die eigentlichen Lern-Updates beibehalten.“
Die Katastrophe: Das Paper stellte fest, dass dieser Ansatz bei langen oder schwierigen Aufgaben ein Desaster ist.
- Der Mismatch: Es ist, als würde man einen Schüler bitten, einen 10-seitigen Aufsatz mit Bleistift (niedrige Auflösung) zu schreiben, ihn dann aber so bewerten, als hätte er ihn mit Tinte (hohe Auflösung) geschrieben. Die winzigen Fehler der Bleistiftskizze summieren sich auf. Bis der Aufsatz 16.000 Wörter lang ist, sieht die „Bleistift“-Version der „Tinte“-Version überhaupt nicht mehr ähnlich.
- Das Ergebnis: Der Roboter wird verwirrt. Er beginnt zu halluzinieren, das Training bricht ab und die Leistung des Roboters bricht zusammen. Das Paper nennt dies „katastrophalen Genauigkeitskollaps“ (catastrophic accuracy collapse).

Die Lösung: Jet-RL (Der „Einheitliche Sprach“-Ansatz)

Die Autoren schlagen ein neues System namens Jet-RL vor. Anstatt zwischen Sprachen zu wechseln, während der Roboter übt und bewertet wird, lassen sie den Roboter für alles dieselbe Sprache (FP8) sprechen.

Die Analogie: Stellen Sie sich vor, der Roboter schreibt seine Übungsaufsätze nun mit Bleistift, und der Lehrer bewertet die Aufsätze ebenfalls mit einem bleistiftbasierten Bewertungsmaßstab.
- Konsistenz: Da das „Denken“ und das „Lernen“ im exakt gleichen niedrigauflösenden Format stattfinden, gibt es keine Verwirrung. Der Roboter lernt genau das, was er geübt hat.
- Stabilität: Selbst bei sehr langen Aufsätzen (langen Rollouts) oder sehr schwierigen Themen bleibt der Roboter stabil, da die „Bleistift-Fehler“ im gesamten Prozess konsistent bleiben.

Wie es funktioniert (Die technische Magie)

Um dies umzusetzen, musste das Team sehr geschickt mit der Mathematik umgehen:

Einheitlicher Fluss (Unified Flow): Sie stellten sicher, dass die Daten, die durch die Computerchips fließen, vom ersten Schritt des Denkens bis zum letzten Schritt der Gehirn-Aktualisierung als FP8 (niedrige Auflösung) behandelt werden.
Intelligente Gruppierung: Sie haben nicht einfach alles blind geschrumpft. Sie gruppierten Zahlen zusammen (wie das Sortieren von Büchern in einem Regal), damit die „niedrigauflösende“ Version genau präzise genug bleibt, um daraus zu lernen.
Keine Kalibrierung: Normalerweise verbringt man beim Wechsel des Formats viel Zeit mit der „Kalibrierung“ (Testen und Anpassen), um sicherzustellen, dass es funktioniert. Jet-RL überspringt diesen Schritt komplett, da das System von Anfang an auf Konsistenz ausgelegt ist.

Die Ergebnisse: Schnell und Genau

Das Paper testete dies an mehreren Modellen und fand heraus:

Geschwindigkeit: Es machte die „Denkphase“ 33 % schneller und den gesamten Trainingsprozess 16 % schneller.
Genauigkeit: Im Gegensatz zum gescheiterten Shortcut (der dazu führte, dass der Roboter versagte), behielt Jet-RL die Intelligenz des Roboters fast exakt auf dem Niveau der langsamen, hochauflösenden Version bei. Der Leistungsabfall war vernachlässigbar (weniger als 1 %).
Zuverlässigkeit: Es funktionierte selbst dann, wenn der Roboter sehr lange Antworten schreiben musste (16.000 Wörter) oder sehr schwierige Matheaufgaben lösen musste, bei denen die alte Methode abgestürzt wäre.

Zusammenfassung

Jet-RL ist eine neue Art, KI zu trainieren, die verhindert, dass der Roboter verwirrt wird, indem er zwischen „Schnellmodus“ und „Smart-Modus“ wechselt. Indem die KI sowohl beim Denken als auch beim Lernen dieselbe „schnelle Sprache“ spricht, macht Jet-RL das KI-Training viel schneller, ohne die KI dümmer zu machen. Es verwandelt einen kaputten, instabilen Shortcut in eine zuverlässige, Hochgeschwindigkeitsautobahn.

Technisches Resümee: Jet-RL

Problemstellung

Reinforcement Learning (RL) ist entscheidend geworden, um die komplexen Denkfähigkeiten von Large Language Models (LLMs) zu verbessern, insbesondere durch die Generierung von Chain-of-Thought (CoT). Die RL-Trainings-Pipelines sind jedoch rechentechnisch ineffizient, wobei die Rollout-Phase (Generierung von Antworten) über 70 % der gesamten Trainingszeit beansprucht, insbesondere wenn die Generierungslängen 8.000 Token überschreiten.

Um diesen Engpass zu adressieren, ist eine gängige Strategie die Verwendung von FP8-Quantisierung während der Rollout-Phase bei gleichzeitiger Beibehaltung der BF16-Präzision für die Trainingsphase (BF16-Train + FP8-Rollout). Während dieser Ansatz in Frameworks wie VeRL und OpenRLHF weit verbreitet ist, identifiziert dieses Paper zwei kritische Fehlermodi:

Instabilität bei langen Rollouts: Mit zunehmender Generierungslänge (z. B. >8k Token) akkumuliert der numerische Unterschied zwischen der BF16-Trainingsverteilung und der FP8-Rollout-Verteilung. Dies führt zu schwerer Trainingsinstabilität und einem katastrophalen Genauigkeitskollaps.
Versagen bei anspruchsvollen Aufgaben: Die Strategie versagt, wenn sie auf schwierige Denkaufgaben oder schwächere Basismodelle angewendet wird. In diesen Szenarien verstärkt die geringere Konfidenz des Modells die Quantisierungsfehler, was dazu führt, dass die Trainingskurve im Vergleich zu Full-Precision-Baselines rapide divergiert.

Die Ursache wird als Off-Policy-Natur identifiziert: Der Actor lernt aus Daten, die von einer Policy (FP8-Rollout) generiert wurden, die sich numerisch von der aktualisierten Policy (BF16-Training) unterscheidet, was die On-Policy-Annahme verletzt, die für stabiles RL essenziell ist.

Methodik: Jet-RL

Die Autoren schlagen Jet-RL vor, ein Framework, das darauf ausgelegt ist, ein robustes, On-Policy FP8-RL-Training zu ermöglichen, indem es einen einheitlichen Präzisionsfluss zwischen Training und Rollout erzwingt.

Kernarchitektur

Jet-RL eliminiert den Präzisionsunterschied, indem es sicherstellt, dass sowohl der Forward-Pass des Trainings als auch der Inference-Rollout denselben identischen FP8-Quantisierungsfluss nutzen.

Einheitlicher Präzisionsgraph: Das Framework modelliert das Modell als gerichteten Graphen, wobei Kanten die Tensorpropagation repräsentieren. Jet-RL stellt sicher, dass der Inference-Graph ( $\mathcal{G}_{infer}$ ) ein Subgraph des Trainings-Forward-Graphen ( $\mathcal{G}^{fwd}_{train}$ ) ist und dieselbe Quantisierungsgranularität sowie Präzision teilt.
Master-Gewichte: Während der Forward-Pass und der Rollout in FP8 operieren, werden die Master-Gewichte in BF16 vorgehalten, um die Trainings-Updates zu stabilisieren, ähnlich wie beim Standard-Mixed-Precision-Training.

Quantisierungsschema

Um die Stabilität bei gleichzeitiger Beschleunigung der Berechnungen aufrechtzuerhalten, verwendet Jet-RL eine gemischte Quantisierungsstrategie für Lineare Schichten (GEMMs):

Aktivierungen: Quantisiert mittels 1×128 Per-Group-Quantisierung.
Gewichte: Quantisiert mittels 128×128 Per-Block-Quantisierung.
Backward-Pass:
- Für den Backward-Pass gespeicherte Aktivierungen werden in FP8 gespeichert (fusioniert mit dem vorherigen Operator).
- Gradienten, die zwischen Operatoren transportiert werden, werden in BF16 gehalten, um Gradienten-Underflow und Konvergenzverschlechterung zu verhindern.
- Die Backward-GEMM-Operationen (DGrad und WGrad) werden zur Beschleunigung in FP8 durchgeführt, unter Nutzung spezifischer Kernel-Konfigurationen (z. B. 1×128 und 128×1 Quantisierung für WGrad), um die Hardwareanforderungen zu erfüllen.

Implementierung

Jet-RL wird unter Verwendung von vLLM für die Inference-Engine und VeRL für das RL-Trainings-Framework implementiert. Es nutzt modernste FP8-GEMM-Kernel von DeepGEMM sowie benutzerdefinierte Triton-Kernel für Quantisierung, Transposition und fusionierte Activation/RMSNorm-Operationen.

Kernbeiträge

Identifikation des Problems: Das Paper zeigt auf, dass die Standardstrategie BF16-Train + FP8-Rollout aufgrund numerischer Off-Policy-Diskrepanzen bei langen Rollouts und anspruchsvollen Aufgaben grundlegend fehlerhaft ist, was zu einem Trainingskollaps führt.
Jet-RL Framework: Der Vorschlag eines einheitlichen FP8-Präzisionsflusses, der eine On-Policy-Konsistenz zwischen Training und Rollout erzwingt, wodurch die Notwendigkeit einer Inter-Step-Kalibrierung entfällt und der Policy-Mismatch gelöst wird.
Leistung und Stabilität: Der Nachweis, dass Jet-RL signifikante Beschleunigungen erreicht und gleichzeitig die Konvergenz und Genauigkeit nahe an den BF16-Baselines über diverse Modelle und Aufgaben hinweg beibehält.

Experimentelle Ergebnisse

Die Autoren evaluierten Jet-RL auf Modellen wie Llama3.1-8B, Qwen2.5-7B und Qwen3-8B-Base auf Datensätzen wie GSM8K, MATH und DeepMATH.

Genauigkeit und Konvergenz

Stabilität: Im Gegensatz zum BF16-Train + FP8-Rollout-Baseline, das auf Qwen2.5-7B nicht konvergierte und bei 16k Rollouts eine signifikante Verschlechterung zeigte, konvergierte Jet-RL in allen Settings erfolgreich.
Genauigkeitslücke: Jet-RL reduzierte die Performance-Lücke gegenüber dem BF16-Training auf etwa 1 % (z. B. 1,1 % Degradation bei Qwen3-8B-Base gegenüber 2,9 % bei der Baseline). In einigen Fällen (Llama3.1-8B) übertraf Jet-RL sogar die BF16-Baseline um 2,0 %.
Robustheit: Jet-RL hielt die Performance bei schwierigen Aufgaben (DeepMATH) und langen Kontexten (16k) aufrecht, bei denen die naive FP8-Rollout-Strategie kollabierte.

Effizienz

Rollout-Beschleunigung: Die FP8-Quantisierung lieferte eine Beschleunigung in der Rollout-Phase (Tokens/s) von 1,07× bis 1,33×, wobei größere Modelle (32B) die höchsten Gewinne erzielten.
Trainings-Beschleunigung: Der einheitliche FP8-Fluss beschleunigte die Actor-Update-Phase um den Faktor 1,54× und die Inference des Reference-Modells um den Faktor 1,80×, was zu einer Beschleunigung der Trainingsphase um 1,41× führte.
End-to-End: Das Framework erreichte eine End-to-End-Beschleunigung von 1,16× für das Training von 8B-Modellen, mit der Erwartung höherer Gewinne bei größeren Modellen.

Bedeutung und Behauptungen

Das Paper behauptet, dass Jet-RL einen zuverlässigen und effizienten Pfad bietet, um FP8-Berechnungen zur Beschleunigung des großskaligen RL-Trainings anzuwenden. Durch die Adressierung der fundamentalen Instabilität, die durch Präzisionsunterschiede verursacht wird, ermöglicht Jet-RL den Einsatz von FP8 nicht nur für die Inference, sondern für den gesamten RL-Trainingszyklus. Dies erlaubt eine signifikante Beschleunigung (bis zu 33 % Rollout-Beschleunigung und 41 % Trainingsbeschleunigung), ohne die für das Training komplexer Denkmodelle erforderliche Konvergenzstabilität oder Genauigkeit zu opfern. Die Arbeit etabliert, dass ein einheitlicher Präzisionsfluss essenziell ist, um das Scaling von RL-Training mit Low-Precision-Hardware zu ermöglichen.