Pretraining Large Language Models with NVFP4

Die Studie stellt eine stabile NVFP4-Pretraining-Methode für große Sprachmodelle vor, die durch Random Hadamard-Transformationen, ein zweidimensionales Quantisierungsschema und stochastisches Runden eine Effizienzsteigerung ermöglicht, ohne die Leistung im Vergleich zu FP8-Baselines zu beeinträchtigen.

Das Wesentliche

Stell dir vor, du möchtest einen riesigen, superintelligenten Roboter (einen sogenannten "Large Language Model" oder LLM) bauen, der alles auf der Welt weiß und lernen kann. Bis jetzt war dieser Prozess wie das Füttern eines Elefanten mit Goldmünzen: Es braucht unglaublich viel Rechenleistung, riesige Datenmengen und extrem viel Energie. Das macht die Ausbildung dieser KI sehr teuer und langsam.

NVIDIA hat jetzt eine neue Methode vorgestellt, die wie ein geniales Spar- und Beschleunigungssystem funktioniert. Sie nennen es NVFP4.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Goldmünzen"-Effekt

Stell dir vor, du hast einen riesigen Berg an Daten (Bücher, Code, Gespräche), den du deinem KI-Modell zeigen willst. Um das zu tun, musst du jede Zahl in diesem Berg mit einer sehr hohen Genauigkeit speichern (wie mit einer Waage, die auf Milligramm genau wiegt). Das nennt man "FP8" oder "FP32".

• Das Problem: Diese hohe Genauigkeit braucht viel Platz (Speicher) und viel Zeit zum Rechnen. Es ist, als würdest du versuchen, einen Ozean mit einem Eimer zu leeren.

2. Die Lösung: NVFP4 – Der "Mini-Container"

NVIDIA hat einen neuen Format namens NVFP4 entwickelt.

• Die Analogie: Stell dir vor, du hast einen riesigen Lagerhaus voller Kisten.
  • Alte Methode (FP8): Du packst jeden Gegenstand in einen riesigen, schweren Holzkasten, der viel Platz wegnimmt.
  • Neue Methode (NVFP4): Du erfindest einen neuen, winzigen, aber extrem cleveren Plastikbehälter. Er ist nur halb so groß und leicht wie der alte, aber er passt trotzdem fast alles hinein.
• Der Vorteil: Da die Behälter so klein sind, passen doppelt so viele Daten in den Speicher, und der Computer kann sie doppelt so schnell verarbeiten. Das ist wie der Wechsel von einem Lastwagen zu einem schnellen Sportwagen für den gleichen Transport.

3. Die Herausforderung: Warum das nicht einfach ist

Wenn man die Kisten so stark verkleinert, gibt es ein Risiko: Die "Spitzen" brechen ab.

• Das Problem: In den Daten gibt es manchmal extrem große oder extrem kleine Zahlen (sogenannte "Ausreißer"). Wenn man sie in den winzigen NVFP4-Behälter packt, passen sie nicht rein oder werden falsch abgeschnitten. Das wäre wie wenn man versucht, einen Elefanten in einen Minivan zu quetschen – er passt nicht, und das Auto geht kaputt (das Training bricht zusammen).

4. Die Tricks: Wie NVIDIA das Problem löst

Damit der "Minivan" (NVFP4) den "Elefanten" (die KI) sicher transportiert, haben die Forscher vier geniale Tricks angewendet:

• Trick 1: Der "Hadamard-Zaubertrick" (Random Hadamard Transforms)

  • Vergleich: Stell dir vor, du hast einen Stapel Karten, bei dem eine Karte riesig ist und den Rest verdeckt. Wenn du den Stapel einfach in den Koffer legst, passt er nicht.
  • Die Lösung: Bevor du die Karten in den Koffer packst, wirfst du sie durch einen speziellen Mixer (den Hadamard-Transform). Dieser Mixer verteilt die riesige Karte so, dass sie sich in viele kleine, gleichmäßige Stücke auflöst. Jetzt passt alles perfekt in den kleinen Koffer, ohne dass etwas abgebrochen wird.

• Trick 2: Der "Zwei-Ebenen-Skalen-Meister" (Two-Level Scaling)

  • Vergleich: Stell dir vor, du hast eine ganze Bibliothek. Du brauchst einen großen Maßstab für das ganze Gebäude (Tensor-Ebene) und einen kleinen Maßstab für jedes einzelne Regal (Block-Ebene).
  • Die Lösung: NVFP4 nutzt zwei Maßstäbe gleichzeitig. Ein grober Maßstab für den großen Bereich und ein sehr genauer Maßstab für die kleinen Details. So wird sichergestellt, dass auch die kleinsten Details nicht verloren gehen, während die großen Zahlen nicht platzen.

• Trick 3: Der "Zufalls-Würfel" (Stochastic Rounding)

  • Vergleich: Wenn du eine Zahl runden musst (z.B. 3,4 auf 3 oder 4), machst du das normalerweise immer gleich (immer runter). Das führt zu einem systematischen Fehler, wie ein Waage, die immer ein bisschen zu wenig anzeigt.
  • Die Lösung: NVIDIA nutzt einen Zufallswürfel. Manchmal wird 3,4 auf 3 gerundet, manchmal auf 4. Über viele Millionen Berechnungen hinweg heben sich die Fehler gegenseitig auf. Das Training bleibt fair und genau.

• Trick 4: Die "Schutzweste" für die wichtigsten Teile (Mixed Precision)

  • Vergleich: Nicht alle Teile eines Autos müssen aus dem gleichen Material sein. Die Karosserie kann aus leichtem Plastik sein, aber die Bremsscheiben müssen aus hartem Stahl sein.
  • Die Lösung: Die meisten Teile der KI werden in der kleinen NVFP4-Version trainiert. Aber die allerwichtigsten, empfindlichsten Teile (die letzten Schichten des Modells) bleiben in der großen, sicheren Version (BF16). Das schützt das Modell vor dem Zusammenbruch am Ende des Trainings.

5. Das Ergebnis: Ein riesiger Erfolg

Die Forscher haben einen 12-Milliarden-Parameter großen KI-Modell mit dieser Methode trainiert.

• Das Ergebnis: Das Modell lernte genauso gut wie das Modell, das mit der alten, schweren Methode trainiert wurde. Es konnte genauso gut Mathe lösen, programmieren und Texte verstehen.
• Der Vergleich: Sie haben NVFP4 mit einer anderen neuen Methode (MXFP4) verglichen. NVFP4 war wie ein Sprinter, der das Ziel schneller erreichte, während der andere Sprinter mehr Strecke laufen musste, um das gleiche Ergebnis zu erzielen.

Fazit

NVIDIA hat gezeigt, dass man KI-Modelle nicht nur mit "Goldmünzen" (teurem, hohem Rechenaufwand) trainieren muss. Mit dem NVFP4-Format und ihren cleveren Tricks (Mixer, Maßstäbe, Würfel und Schutzwesten) können wir KI-Modelle schneller, günstiger und energieeffizienter trainieren, ohne dass sie dümmer werden.

Das ist ein großer Schritt in Richtung einer Zukunft, in der noch leistungsfähigere KIs für alle verfügbar sind, ohne dass die Weltbrennstoffvorräte leerlaufen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des NVIDIA-Technical Reports „Pretraining Large Language Models with NVFP4" auf Deutsch.

1. Problemstellung

Das Training von State-of-the-Art Large Language Models (LLMs) erfordert enorme Rechenressourcen (in der Größenordnung von Yottaflops), Zeit und Energie. Während das Training mit 8-Bit-Gleitkomma-Zahlen (FP8) bereits weit verbreitet ist, um die Effizienz zu steigern, bietet der Übergang zu noch schmaleren Präzisionsformaten wie 4-Bit-Gleitkomma (FP4) das Potenzial für eine weitere Verdopplung bis Verdreifachung der Rechengeschwindigkeit und eine Halbierung des Speicherverbrauchs im Vergleich zu FP8.

Das Hauptproblem bei der Nutzung von FP4 liegt jedoch in der Stabilität des Trainings. Die extrem begrenzte dynamische Reichweite von 4-Bit-Zahlen führt zu Problemen wie:

• Ausreißer (Outliers): Große Werte in den Tensor-Daten führen zu Sättigung (Clipping) oder Verlust von Information.
• Konvergenzprobleme: Quantisierungsfehler und Verzerrungen (Bias) bei der Rundung können dazu führen, dass das Modell nicht konvergiert oder die Genauigkeit drastisch sinkt.
• Kettenregel-Verletzungen: Inkonsistenzen zwischen Vorwärts- und Rückwärtsdurchlauf durch unterschiedliche Quantisierungsdarstellungen können die Gradientenberechnung stören.

Bisher fehlte ein Nachweis, dass das Pretraining von Modellen mit Milliarden von Parametern über mehrere Billionen Token hinweg in 4-Bit-Präzision stabil und genau möglich ist.

2. Methodik: Der NVFP4-Ansatz

NVIDIA stellt mit NVFP4 ein neues 4-Bit-Format vor, das auf dem „Microscaling"-Ansatz (MX) basiert, aber signifikante Verbesserungen gegenüber dem Standard-MXFP4 bietet. Um das Training stabil zu gestalten, kombiniert die Studie das NVFP4-Format mit einer spezifischen Methodik aus vier Kernkomponenten:

A. Das NVFP4-Format

Im Gegensatz zu MXFP4 (Blockgröße 32, Skalierungsfaktoren in UE8M0) nutzt NVFP4:

• Kleinere Blockgröße: 16 Elemente pro Block. Dies reduziert den dynamischen Bereich innerhalb eines Blocks und passt die Werte besser in den FP4-Bereich.
• Präzisere Skalierung: Die Block-Skalierungsfaktoren werden im Format E4M3 (statt UE8M0) gespeichert. Dies opfert etwas Exponentenbereich zugunsten von mehr Mantissen-Bits für genauere Skalierung.
• Zweistufige Skalierung: Ein FP32-Skalierungsfaktor auf Tensor-Ebene wird kombiniert mit dem E4M3-Block-Skalierungsfaktor. Dies ermöglicht eine präzisere Darstellung von Ausreißern (ca. 6,25 % der Werte in einem Block werden fast mit FP8-Genauigkeit kodiert).

B. Schlüsseltechniken für das Training

Um die Stabilität bei 4-Bit-Präzision zu gewährleisten, werden folgende Techniken angewendet:

1. Gemischte Präzision (Mixed Precision):

   • Nicht alle Schichten sind gleich empfindlich. Die Studie zeigt, dass die letzten Schichten des Netzwerks (Output-Layer) besonders empfindlich auf FP4-Quantisierung reagieren.
   • Lösung: Ein kleiner Teil der linearen Schichten (ca. 15–16 %, spezifisch die ersten zwei und die letzten acht Blöcke im getesteten 12B-Modell) bleibt in BF16 (oder FP8), während der Großteil des Netzwerks in NVFP4 trainiert wird.

2. Random Hadamard Transforms (RHT):

   • Ausreißer werden durch Multiplikation mit Hadamard-Matrizen (orthogonale Rotation) über den Tensor verteilt, um eine annähernd gaußsche Verteilung zu erzeugen.
   • Anwendung: RHT wird spezifisch auf die Eingaben für die Gewichtsgradienten (Wgrad) angewendet. Bei Vorwärts- (Fprop) und Aktivierungsgradienten (Dgrad) wurde kein signifikanter Nutzen festgestellt, während RHT auf Wgrad die Konvergenz entscheidend verbessert.
   • Größe: Eine Matrixgröße von $16 \times 16$ wurde als optimal für große Modelle befunden.

3. Zweidimensionale (2D) Block-Skalierung für Gewichte:

   • Im Rückwärtsdurchlauf werden Tensoren transponiert, was dazu führt, dass die gleiche Gewichtsmatrix in Vorwärts- und Rückwärtsdurchlauf unterschiedlich skaliert und quantisiert wird (Verletzung der Kettenregel).
   • Lösung: Gewichte werden in $16 \times 16$ Blöcken skaliert. Diese 2D-Struktur stellt sicher, dass die quantisierte Darstellung im Vorwärts- und Rückwärtsdurchlauf konsistent bleibt, was die Gradientenberechnung stabilisiert.

4. Stochastische Rundung (Stochastic Rounding):

   • Deterministische Rundung (z. B. „Runden auf das nächste gerade") führt zu systematischen Verzerrungen (Bias), besonders in Gradienten.
   • Lösung: Bei der Quantisierung der Gradienten wird stochastische Rundung verwendet (probabilistisches Runden auf die beiden nächsten darstellbaren Werte). Dies eliminiert den Bias und ist für die Konvergenz des 12B-Modells essenziell. Für Aktivierungen und Gewichte bleibt die deterministische Rundung (Round-to-nearest-even) besser.

3. Wichtige Beiträge

• Erster erfolgreicher Nachweis: Dies ist der erste öffentlich dokumentierte Nachweis des erfolgreichen Pretrainings eines Modells mit 12 Milliarden Parametern über 10 Billionen Token in 4-Bit-Präzision.
• NVFP4-Format: Einführung und Validierung des NVFP4-Formats, das durch seine zweistufige Skalierung und kleinere Blockgröße überlegene numerische Eigenschaften gegenüber MXFP4 aufweist.
• Methodologischer Rahmen: Entwicklung eines vollständigen Trainings-Stacks (RHT, 2D-Skalierung, stochastische Rundung, gemischte Präzision), der das Training in 4-Bit stabilisiert.
• Hardware-Nutzung: Demonstration der Nutzung der nativen Tensor-Cores der NVIDIA Blackwell-Architektur (GB200/GB300), die FP4-Berechnungen mit 2x bis 3x höherem Durchsatz als FP8 ermöglichen.

4. Ergebnisse

Die Studie verglich das NVFP4-Training mit einem FP8-Baseline-Modell (beide basierend auf der Nemotron-H-Architektur, 12B Parameter, 10T Token):

• Verlustkurven (Loss): Die Validierungsverlustkurve von NVFP4 folgt der FP8-Baseline sehr genau. Während der stabilen Trainingsphase liegt der relative Fehler unter 1 %. Selbst am Ende des Trainings (während des Lernraten-Abfalls) bleibt der Fehler bei ca. 1,5 %.
• Downstream-Aufgaben: Die Genauigkeit auf Benchmarks ist mit FP8 vergleichbar:
  • MMLU-Pro: NVFP4 erreicht 62,58 % vs. FP8 62,62 %.
  • MATH: NVFP4 81,48 % vs. FP8 83,32 %.
  • GSM8k: NVFP4 92,27 % vs. FP8 89,08 % (NVFP4 sogar leicht besser).
  • Hinweis: Bei Coding-Aufgaben (MBPP+) war NVFP4 leicht schlechter, was jedoch auf Rauschen in der Evaluation zurückgeführt wird.
• Vergleich NVFP4 vs. MXFP4:
  • NVFP4 konvergiert zu einem niedrigeren Verlust als MXFP4.
  • Um den Verlust von NVFP4 mit MXFP4 zu erreichen, müsste MXFP4 mit 36 % mehr Token (1,36T statt 1T) trainiert werden. Dies unterstreicht die Effizienzvorteile von NVFP4.

5. Bedeutung und Ausblick

Diese Arbeit markiert einen Meilenstein in der Entwicklung effizienter LLM-Trainingsverfahren:

• Skalierbarkeit: Sie beweist, dass 4-Bit-Präzision nicht nur für Inferenz, sondern auch für das Pretraining von Frontier-Modellen geeignet ist.
• Ressourceneffizienz: Durch die Nutzung von NVFP4 auf Blackwell-Hardware können zukünftige Modelle schneller und mit weniger Energieverbrauch trainiert werden, ohne an Leistung einzubüßen.
• Zukunftsperspektive: Die Autoren planen, die Methodik weiter zu verfeinern, um auch die verbleibenden hochpräzisen Schichten zu eliminieren, Attention-Mechanismen in 4-Bit zu integrieren und das Verfahren auf noch größere Modelle und Architekturen (z. B. Mixture-of-Experts) zu erweitern.

Zusammenfassend zeigt der Bericht, dass NVFP4 in Kombination mit den vorgestellten Algorithmen einen praktikbaren Weg für das nächste Zeitalter des effizienten LLM-Trainings darstellt.