Scalable Training of Mixture-of-Experts Models with Megatron Core

Dieser Bericht stellt das Megatron Core-Framework vor, das durch integrierte Optimierungen in den Bereichen Speicher, Kommunikation und Berechnung sowie Unterstützung für parallele Verfahren und niedrige Präzision das skalierbare Training von Mixture-of-Experts-Modellen auf Tausenden von GPUs ermöglicht und dabei hohe Rechenleistung auf NVIDIA-Hardware erreicht.

Das Wesentliche

Stellen Sie sich vor, Sie bauen eine riesige Bibliothek, in der nicht jeder Buchhalter jedes Buch lesen muss. Stattdessen gibt es Tausende von spezialisierten Experten (die "Experten" im MoE-Modell). Wenn ein Besucher eine Frage stellt, wird sie nur an die wenigen Experten geschickt, die wirklich Ahnung davon haben. Das ist extrem effizient, aber es bringt auch ein riesiges logistisches Problem mit sich: Wie koordiniert man Tausende von Experten, damit sie nicht alle gleichzeitig anrufen, wie man sie schnell findet und wie man sicherstellt, dass niemand überlastet ist, während andere faulenzen?

Genau dieses Problem löst die NVIDIA-Studie über Megatron Core für Mixture-of-Experts (MoE) Modelle. Hier ist die Erklärung, wie sie das schaffen, ohne in technischen Fachbegriffen zu ertrinken:

1. Das Grundproblem: Der "Dichte-Spalten"-Konflikt

In normalen KI-Modellen (dichte Modelle) arbeiten alle Teile gleichzeitig. Das ist wie ein Orchester, bei dem alle Musiker gleichzeitig spielen.
In MoE-Modellen ist es wie ein riesiges Call-Center mit 1.000 Spezialisten. Ein Anruf (ein Token) geht nur an 2 oder 3 von ihnen.

• Das Problem: Das System muss Platz für alle 1.000 Experten im Speicher haben (weil man nie weiß, wer gerade angerufen wird), aber die Rechenarbeit wird nur von wenigen geleistet. Das führt zu drei großen "Wänden", an denen das System scheitern könnte:
  1. Die Speicher-Wand: Der Speicherplatz reicht nicht für alle Experten.
  2. Die Kommunikations-Wand: Die Experten müssen sich ständig abstimmen (wer macht was?), was Zeit kostet.
  3. Die Rechen-Wand: Die Computerchips warten oft auf neue Aufträge, weil die Aufgaben so klein und zerstreut sind.

2. Die Lösung: "Parallel Folding" (Das Falt-Prinzip)

Früher musste das ganze Orchester (die Aufmerksamkeitsschichten) und das Call-Center (die Experten) die gleiche Aufteilung der Musiker haben. Das war ineffizient.
Megatron Core führt Parallel Folding ein. Stellen Sie sich vor, Sie haben zwei verschiedene Teams in einer Fabrik:

• Team A (Aufmerksamkeit) braucht große, breite Arbeitsbänke.
• Team B (Experten) braucht viele kleine, spezialisierte Werkbänke.
  Früher musste man beide Teams in die gleiche Halle drängen. Parallel Folding erlaubt es, die Halle so zu falten und zu teilen, dass Team A seine großen Bänke bekommt und Team B seine vielen kleinen Werkbänke, ohne sich gegenseitig im Weg zu stehen. Jeder arbeitet in seinem optimalen Umfeld.

3. Die drei Wände durchbrechen

🧱 Die Speicher-Wand: "Nur das Nötigste mitnehmen"

Stellen Sie sich vor, Sie packen für einen langen Urlaub. Früher haben Sie alles mitgenommen, auch wenn Sie es vielleicht nie brauchen.

• Die Lösung: Megatron Core packt nur das Nötigste ein.
  • Wiederverwendung: Statt alles im Koffer (Speicher) zu behalten, wird es weggeworfen und bei Bedarf neu berechnet (wie wenn Sie ein Rezept online nachschauen, statt es auswendig zu lernen).
  • Komprimierung: Sie nutzen kleinere Koffer (FP8/FP4), die weniger Platz brauchen, aber trotzdem alles enthalten.
  • Auslagern: Wenn der Koffer voll ist, wird der Rest in den Kofferraum (den Arbeitsspeicher des Computers) gelegt und nur geholt, wenn es wirklich nötig ist.

📡 Die Kommunikations-Wand: "Der Express-Kurier"

Wenn die Experten sich abstimmen müssen, war das früher wie ein langsamer Briefwechsel zwischen verschiedenen Städten.

• Die Lösung: Megatron Core nutzt DeepEP und HybridEP.
  • Stellen Sie sich vor, statt Briefe zu schreiben, schicken Sie einen Kurier, der alle Pakete auf einmal nimmt und sie direkt an die richtigen Türen bringt.
  • Überlappung: Während der Kurier unterwegs ist, arbeiten die Experten bereits am nächsten Auftrag. Die Kommunikation läuft im Hintergrund, während die Arbeit erledigt wird. Niemand wartet untätig.

⚙️ Die Rechen-Wand: "Keine Wartezeiten"

Früher mussten die Computerchips oft warten, bis der Chef (der Prozessor) ihnen einen neuen Auftrag gab. Bei MoE gab es so viele kleine Aufträge, dass der Chef kaum hinterherkam.

• Die Lösung: CUDA Graphs und Fusion.
  • Der Film: Statt jeden einzelnen Schritt neu zu planen, wird ein ganzer Film (ein Graph) aufgenommen. Der Computer spielt diesen Film einfach ab, ohne dass der Chef jedes Mal eingreifen muss.
  • Bündelung: Viele kleine Aufgaben werden zu einer großen Aufgabe zusammengefasst, damit der Computer effizienter arbeitet (wie wenn man 10 kleine Briefe in einen großen Umschlag packt, statt 10 mal den Briefkasten zu öffnen).

4. Warum ist das wichtig?

Dank dieser Tricks kann NVIDIA Modelle trainieren, die so groß sind wie DeepSeek-V3 (685 Milliarden Parameter) oder Qwen3 (235 Milliarden Parameter).

• Das Ergebnis: Diese Modelle lernen extrem schnell. Auf den neuesten NVIDIA-Chips (GB200/GB300) erreichen sie eine Geschwindigkeit, die fast 3-mal so hoch ist wie auf älteren Chips.
• Für die Zukunft: Das System ist so flexibel, dass es auch mit sehr langen Texten (wie ganze Bücher auf einmal) oder in der Robotik (Reinforcement Learning) funktioniert, wo sich die Aufgaben ständig ändern.

Zusammenfassung in einem Satz

Megatron Core ist wie ein genialer Logistikmanager, der für eine riesige, spezialisierte KI-Fabrik die Lagerplätze neu organisiert, die Kurierdienste beschleunigt und die Arbeitsabläufe so strafft, dass die Maschinen nie warten müssen – und das alles, ohne dass die Fabrik in sich zusammenfällt.

Das Paper zeigt also nicht nur, dass man riesige KI-Modelle bauen kann, sondern wie man sie effizient, schnell und ohne die Hardware zu sprengen, zum Laufen bringt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Scalable Training of Mixture-of-Experts Models with Megatron Core" auf Deutsch.

Titel: Skalierbares Training von Mixture-of-Experts-Modellen mit Megatron Core

Veröffentlichung: NVIDIA (März 2026)
Fokus: Systemoptimierung für das Training von MoE-Modellen (Mixture-of-Experts) im Trillionen-Parameter-Bereich.

---

1. Problemstellung: Die „Drei Wände" des MoE-Trainings

Das Training von Mixture-of-Experts (MoE)-Modellen unterscheidet sich fundamental vom Training dichter Transformer-Modelle. Während bei dichten Modellen die Parameterzahl und die Rechenleistung pro Token proportional skalieren, führt die Sparsity (Spärlichkeit) von MoE zu einer Entkopplung: Nur eine Teilmenge der Experten wird pro Token aktiviert.

Dies erzeugt ein Parameter-Rechen-Mismatch, das zu drei kritischen systemischen Herausforderungen führt, den sogenannten „Drei Wänden":

1. Die Speicherwand (Memory Wall):

   • Alle Experten-Parameter müssen im Speicher gehalten werden, auch wenn nur wenige aktiv sind.
   • Bei Modellen wie DeepSeek-V3 (685B Parameter, aber nur 37B aktiv pro Token) übersteigt der Speicherbedarf für Aktivierungen, Gradienten und Optimierer-Zustände oft die Kapazität einzelner GPUs (z. B. >199 GB pro GPU bei BF16 ohne Optimierung).
   • Dynamisches Routing führt zu unvorhersehbaren Lastspitzen und Speicherfragmentierung.

2. Die Kommunikationswand (Communication Wall):

   • Expert Parallelism (EP) erfordert „All-to-All"-Kommunikation, um Tokens zu den entsprechenden Experten-GPUs zu verteilen und Ergebnisse zurückzusammeln.
   • Bei großen EP-Gruppen (z. B. EP=64) wird die Kommunikation oft über Knotengrenzen hinweg (Inter-Node) durchgeführt, wo die Bandbreite um eine Größenordnung niedriger ist als innerhalb eines Nodes (NVLink).
   • Da MoE-Experten kleine Berechnungen durchführen, fehlt oft die Rechenzeit, um diese Kommunikationslatenz zu überlagern.

3. Die Effizienz-Wand (Compute Efficiency Wall):

   • Kern-Ineffizienz: Feingranulare Experten führen viele kleine GEMM-Operationen (Matrixmultiplikationen) durch, die GPU-Compute-Einheiten (Tensor Cores) nicht optimal auslasten.
   • Host-Overhead: Die große Anzahl kleiner Kernel-Launches und die Notwendigkeit von Host-GPU-Synchronisation (z. B. für dynamische Tensor-Formen bei „dropless" Routing) führen zu Leerlaufzeiten auf der GPU, da die CPU nicht schnell genug neue Aufgaben dispatchen kann.

Zusätzlich besteht ein Dicht-Sparse-Mismatch: Attention-Schichten (dicht) und MoE-Schichten (sparse) benötigen unterschiedliche Parallelisierungsstrategien, was in herkömmlichen Frameworks zu suboptimalen Konfigurationen führt.

---

2. Methodik und Architektur: Megatron-Core MoE

Megatron-Core bietet einen integrierten Stack, der diese drei Wände gleichzeitig adressiert, indem er Speicher-, Kommunikations- und Recheneffizienz über den gesamten Systemstack hinweg optimiert.

A. Parallelismus und Parallel Folding

• Multi-Dimensionaler Parallelismus: Integration von Tensor Parallelism (TP), Pipeline Parallelism (PP), Data Parallelism (DP), Context Parallelism (CP) und Expert Parallelism (EP).
• Parallel Folding: Dies ist eine Kerninnovation, die die starre Einschränkung EP ≤ DP auflöst.
  • Traditionelle Frameworks erzwingen, dass Attention- und MoE-Schichten dieselbe Parallelisierungs-Konfiguration teilen.
  • Parallel Folding entkoppelt diese Zuordnungen. Attention-Schichten können hohe TP/CP-Werte nutzen (für große Matrizen und lange Sequenzen), während MoE-Schichten hohe EP-Werte nutzen (für effiziente Experten-Verteilung), ohne die Pipeline-Parallelität zu brechen. Dies ermöglicht flexible Topologien, die auf die Hardware und das Modell zugeschnitten sind.

B. Durchbrechen der Speicherwand

• Speichereffiziente Permutation: Eliminiert redundante Zwischentensoren durch algebraische Umordnung der Routing-Gewichte (Null-Overhead).
• Präzisionsreduktion (FP8/FP4): Speicherung von Aktivierungen in FP8 oder FP4 statt BF16 reduziert den Speicherbedarf um 50–75%.
• Feingranulare Re-Berechnung (Recomputation): Statt ganzer Schichten werden nur spezifische, speicherintensive Operationen (z. B. Aktivierungsfunktionen, LayerNorm) neu berechnet, um Speicher gegen Rechenzeit zu tauschen.
• Fine-grained Offloading: Aktivierungen werden asynchron in den CPU-Speicher ausgelagert, wobei die Transfer-Latenz durch Überlappung mit Berechnungen versteckt wird.
• FSDP für MoE: Fully Sharded Data Parallelism wird mit EP kombiniert, um Parameter und Optimierer-Zustände über Daten-Parallel-Ränge zu verteilen.

C. Durchbrechen der Kommunikationswand

• Optimierte Dispatcher (DeepEP & HybridEP): Spezialisierte Kernel, die die All-to-All-Kommunikation optimieren, Permutationsschritte eliminieren und Hardware-Primitiven (wie TMA, IBGDA) nutzen, um die Bandbreite zu maximieren.
• Überlappung von Kommunikation und Berechnung: Ein 1F1B-Schema (Forward-Backward-Overlap) und W/D-Split (Trennung von Gewichts- und Daten-Gradienten) verbergen die All-to-All-Latenz hinter der Experten-Berechnung.
• HybridEP: Nutzt Multi-Node NVLink (MNNVL) für effiziente Kommunikation innerhalb von NVL72-Clustern.

D. Durchbrechen der Effizienz-Wand

• Grouped GEMM: Bündelt viele kleine Experten-GEMMs zu größeren Operationen, um die GPU-Auslastung zu erhöhen.
• Kernel Fusion: Fusioniert Routing, Permutation und Aux-Loss-Berechnungen in einzelne Kernel, um die Anzahl der Kernel-Launches zu reduzieren.
• CUDA Graphs: Erfasst statische Teile des Trainings-Graphen, um den Host-Overhead (CPU-Latenz) pro Iteration zu eliminieren.
• Sync-Free Execution für Dropless MoE: Um dynamisches Routing ohne Synchronisation zu ermöglichen, werden Techniken wie ECHO (Elastic Cloning of Hot Experts) zur Lastverteilung und Paged Stashing (speichereffizientes Management dynamischer Puffer) eingesetzt. Dies ermöglicht volle CUDA-Graph-Abdeckung auch bei dynamischen Token-Anzahlen.

E. Reduzierte Präzision (FP8/FP4)

• Selektive Präzision: Kritische Komponenten (Router, Embeddings, Optimierer-Zustände) bleiben in höherer Präzision, während Experten-GEMMs aggressiv in FP8/FP4 quantisiert werden.
• Native FP8/FP4: Eliminierung redundanter BF16-Kopien von Gewichten durch direkte Umwandlung von FP32-Master-Gewichten zu FP8/FP4.

F. Lange Kontexte und RL

• Long-Context: Nutzung von Context Parallelism (CP) und Tensor Parallelism (TP), um Aktivierungsspeicher bei langen Sequenzen (bis 64K+ Tokens) zu managen.
• Reinforcement Learning (RL): Unterstützung von gepackten Sequenzen (Packed Sequences) für variable Längen und Dynamic Context Parallelism, das die CP-Größe pro Mikro-Batch adaptiv anpasst, um Lastungleichgewichte zu vermeiden.

---

3. Wichtige Ergebnisse

Das Framework wurde auf NVIDIA GB300, GB200 und H100 GPUs getestet und zeigt state-of-the-art Ergebnisse:

• DeepSeek-V3 (685B Parameter):
  • GB300 (256 GPUs): 1.233 TFLOPS/GPU.
  • GB200 (256 GPUs): 1.048 TFLOPS/GPU.
  • H100 (1024 GPUs): 368 TFLOPS/GPU.
• Qwen3-235B (235B Parameter):
  • GB300 (256 GPUs): 974 TFLOPS/GPU.
  • GB200 (256 GPUs): 919 TFLOPS/GPU.
  • H100 (256 GPUs): 320 TFLOPS/GPU.

Schlüsselerkenntnisse:

• GB200/GB300 erreichen etwa die 3-fache Token-Throughput-Effizienz im Vergleich zu H100, dank höherer Speicherbandbreite und nativer MXFP8/FP4-Unterstützung.
• Durch die Kombination aller Optimierungen konnte der Speicherbedarf für DeepSeek-V3 von >199 GB pro GPU auf unter 80 GB reduziert werden, was das Training auf aktuellen Hardware-Generationen erst möglich macht.
• Die Kommunikationslast durch All-to-All wurde von bis zu 60% der Trainingszeit auf unter 5–10% reduziert.

---

4. Bedeutung und Fazit

Dieses Paper stellt einen Meilenstein für das Training von Trillionen-Parameter-MoE-Modellen dar.

• Systemisches Co-Design: Es demonstriert, dass MoE-Training nicht durch isolierte Optimierungen gelöst werden kann, sondern eine ganzheitliche Betrachtung von Speicher, Kommunikation und Berechnung erfordert.
• Open Source & Produktion: Megatron-Core MoE ist als Open-Source-Lösung verfügbar und wird bereits in der Industrie und Forschung für Modelle von Milliarden bis zu Billionen Parametern eingesetzt.
• Skalierbarkeit: Die Einführung von Parallel Folding und Sync-Free Execution löst fundamentale Engpässe, die bisher das Skalieren von MoE-Modellen auf Tausende von GPUs limitierten.
• Zukunftsfähigkeit: Die Unterstützung von FP8/FP4, langen Kontexten und Reinforcement Learning macht den Stack zukunftssicher für die nächste Generation von KI-Modellen (Reasoning-Modelle, RLHF).

Zusammenfassend bietet Megatron-Core MoE einen vollständigen, produktionsreifen Stack, der die „Drei Wände" des MoE-Trainings durchbricht und effizientes Training auf der aktuellen und zukünftigen NVIDIA-Hardware ermöglicht.