🤖 machine learning

Training nGPT

Dieses Paper präsentiert ein praktisches Trainingsrezept für den normalisierten Transformer (nGPT), das Techniken wie Logit Gradient Preconditioning und GatedAdamW integriert und es 14B-Parameter starken Hybrid-Mamba-Transformer-MoE-Modellen ermöglicht, die gleiche Validierungsverlustrate wie ihre unnormalisierten Gegenstücke mit etwa der Hälfte der Trainings-Token zu erreichen.

Ursprüngliche Autoren: Ilya Loshchilov, Boris Ginsburg

Veröffentlicht 2026-08-04

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ilya Loshchilov, Boris Ginsburg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich die Welt der künstlichen Intelligenz als eine riesige, geschäftige Bibliothek vor, in der Computer versuchen zu lernen, Geschichten zu schreiben, mathematische Probleme zu lösen und wie Menschen zu chatten. Um dies zu tun, verwenden sie spezielle mathematische Strukturen, die „neuronale Netze“ genannt werden, welche wie massive, miteinander verbundene Webs aus Neuronen sind. In diesen Webs bewegen sich Informationen als Zahlen, und das Netzwerk lernt, indem es die Stärke der Verbindungen zwischen diesen Neuronen anpasst. Lange Zeit haben Wissenschaftler beobachtet, dass diese Zahlen chaotisch werden können – manchmal werden sie zu groß, manchmal schrumpfen sie auf Null zusammen, und das gesamte System wird verwirrt darüber, in welche Richtung es sich bewegen soll, um klüger zu werden. Das ist ein wenig so, als würde man versuchen, einen steilen, nebligen Berg hochzuwandern, während man einen Rucksack trägt, dessen Gewicht sich ständig ändert; man macht vielleicht einen Schritt nach vorne, nur um sofort wieder zurückzurutschen. Das Ziel dieser Forschung ist es, einen besseren Weg zu finden, diesen Rucksack zu tragen, damit der Computer den Berg des Lernens viel schneller und effizienter erklimmen kann.

Das Papier, das Sie gleich lesen werden, stammt vom Team von NVIDIA unter der Leitung von Ilya Loschilovow und Boris Ginsburg. Sie gehen ein spezifisches Problem an: Wie man diese KI-Modelle besser trainiert, indem man sie dazu zwingt, all ihre internen Zahlen auf einer perfekten, unsichtbaren Kugel zu halten. Stellen Sie sich das wie eine Regel vor, die besagt: „Egal wie weit du gehst, du musst immer genau eine Meile vom Zentrum der Stadt entfernt bleiben.“ Diese Regel, genannt „Normalisierung“, verhindert, dass die Zahlen zu groß oder zu klein werden, was dem Computer hilft, fokussiert zu bleiben. Die Autoren bauten auf einer vorangegangenen Idee namens „nGPT“ (normalized GPT) auf und testeten sie an einem sehr modernen, leistungsfähigen Typ von KI, der zwei verschiedene Technologien kombiniert: „Mamba-2“ (das hervorragend darin ist, lange Sequenzen zu erinnern) und „Transformer“ (die exzellent darin sind, Kontext zu verstehen). Sie wollten sehen, ob ihr neues Set an Trainingsregeln diese Hybrid-Modelle schneller lernen lässt als die Standardmethode.

Die große Idee: Ein neues Trainingsrezept

Die Autoren haben nicht nur eine Kleinigkeit angepasst; sie haben ein ganz neues „Trainingsrezept“ für diese KI-Modelle gekocht. Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei. Die alte Methode (unter Verwendung einer Standardmethode namens AdamW) ist wie ein Roboter, der herumstolpert, manchmal riesige, tollpatschige Schritte macht und andere Male winzige, zögerliche Schritte, in der Hoffnung, dass er schließlich den Pfad findet. Das neue Rezept, das sie das nGPT-Trainingsrezept nennen, ist wie ein Laufband für den Roboter mit einem sehr spezifischen Satz von Regeln, um seine Schritte perfekt zu halten.

Hier ist ihre Vorgehensweise, unterteilt in einfache, alltägliche Konzepte:

1. Die „Logit Gradient Preconditioning“ (Der Lautstärkeregler)
Wenn die KI versucht, das nächste Wort in einem Satz vorherzusagen, erzeugt sie eine Liste von Werten, die „Logits“ genannt werden. Im alten System konnte die Lautstärke dieser Werte im Laufe des Trainings seltsam laut oder leise werden, was den Roboter verwirrte, wie stark er drücken sollte. Die Autoren fügten einen speziellen „Lautstärkeregler“ (einen lernbaren Skalierungsvektor) hinzu, den man anpassen konnte. Aber hier kommt der clevere Teil: Sie erkannten, dass es das Gedächtnis des Roboters bezüglich des Gehens durcheinanderbringen würde, wenn sie einfach nur den Regler drehten. Also erfanden sie einen Trick namens Logit Gradient Preconditioning. Es ist wie ein Lautstärkeregler, der den Ton verändert, den man hört, aber wenn der Roboter aus einem Fehler lernen will, dreht das System die Lautstärke automatisch wieder auf Normalniveau zurück, damit der Roboter nicht verwirrt wird. Dies hält den Lernprozess stabil, selbst wenn die „Lautstärke“ der Vorhersagen sich ändert.

2. Die „Logarithmic Learning Rate Decay“ (Der Rennfahrer)
Normalerweise wird beim Training einer KI mit einer hohen Lerngeschwindigkeit begonnen und diese dann langsam verringert, wie ein Rennfahrer, der das Gaspedal langsam loslässt. Die Autoren fanden heraus, dass die Standardmethode des Verlangsamens (wie eine glatte Kurve) für ihr neues „Sphären“-System nicht das Beste war. Stattdessen verwendeten sie eine „Logarithmic Learning Rate Decay“. Stellen Sie sich ein Rennauto vor, das mit einem extremen Schwung startet, sich am Anfang sehr schnell abbremst, um sich zu orientieren, und dann für den Rest des Rennens in einem langen, stetigen Tempo dahinzieht. Dieser „frontlastige“ Zeitplan lässt das Modell die Grundlagen schnell lernen und seine Fähigkeiten über einen langen Zeitraum hinweg verfeinern, was sich als viel effizienter erwies.

3. „GatedAdamW“ (Der kluge Türsteher)
Die Standardmethode, mit der das Gehirn des Robotors aktualisiert wird, heißt AdamW. Die Autoren haben dies zu GatedAdamW aufgewertet. Denken Sie an die Standardmethode als einen Türsteher, der jedes Update durchlässt, selbst wenn das Update winzig und kaum wahrnehmbar ist. Manchmal sind diese winzigen Updates nur Rauschen. Der neue GatedAdamW hat ein „kluges Tor“, das jedes Update prüft. Wenn ein Update zu klein ist (wie ein Flüstern), sagt der Türsteher sanft: „Nicht heute“, und blockiert es. Wenn das Update ein Schrei (eine signifikante Änderung) ist, schwingt das Tor weit auf. Dies verhindert, dass der Roboter Energie für winzige, nutzlose Anpassungen verschwendet, und hilft ihm, sich auf die großen, wichtigen Änderungen zu konzentrieren.

4. Der „Angular Step Cap“ (Die Sicherheitsleine)
Da der Roboter auf einer Kugel läuft, könnte ein zu großer Schritt dazu führen, dass er die Kontrolle verliert oder auf die andere Seite der Welt springt. Die Autoren fügten einen „Angular Step Cap“ hinzu, der wie eine Sicherheitsleine funktioniert. Wenn der Roboter versucht, einen zu großen Schritt zu machen, zieht die Leine ihn sanft zu einem sicheren, kleineren Winkel zurück. Dies stellt sicher, dass der Roboter niemals einen wilden, gefährlichen Sprung macht, wodurch seine Reise glatt und stabil bleibt.

Die Ergebnisse: Effizienteres Lernen

Das Team testete dieses neue Rezept an einer Reihe von KI-Modellen, die von 1 Milliarde bis 14 Milliarden Parametern (der „Gehirngröße“ des Roboters) reichten. Sie verglichen ihre neuen nGPT-Modelle mit den Standard-GPT-Modellen, die mit den alten Methoden trainiert wurden.

Die Ergebnisse waren beeindruckend. Die neuen nGPT-Modelle erreichten konsequent niedrigere Fehlerraten (gemessen am „Validation Loss“) als die Standardmodelle. Speziell erreichte das 14-Milliarden-Parameter-nGPT-Modell das gleiche Geschicksniveau wie das Standard-14-Milliarden-Modell, benötigte dafür jedoch ungefähr halb so viele Trainings-Token (die Menge an Text, die das Modell liest). Mit anderen Worten: Um dasselbe Ziel zu erreichen, musste das nGPT-Modell etwa halb so viel Text lesen wie das Standardmodell.

Das Papier legt nahe, dass diese Verbesserung aus der Kombination all dieser neuen Regeln resultiert, die zusammenwirken, und nicht nur aus einem einzelnen Trick. Sie testeten auch eine spezifische Einstellung für ihr „kluges Tor“ (den sogenannten Schärfeparameter $a$ ) und fanden heraus, dass ein weicheres Tor ( $a=0.5$ ) etwas besser funktionierte als ein strenges, aber der größte Gewinn kam durch das gesamte neue Trainingssystem, nicht nur durch das Tor selbst.

Was dies bedeutet

Die Autoren weisen vorsichtig darauf hin, dass sie nicht jede mögliche Variation dieser Regeln getestet haben (sie haben keine „vollständige Ablationsstudie“ durchgeführt), sodass es noch bessere Einstellungen geben könnte, die sie noch nicht gefunden haben. Die Ergebnisse, die sie jedoch gefunden haben, sind solide: Indem sie die KI zwingen, auf einer perfekten Kugel zu wandern, und eine intelligentere, kontrolliertere Art und Weise verwenden, Schritte zu machen, können wir diese massiven Modelle mit deutlich weniger Daten und Zeit klüger machen. Es ist ein praktisches Rezept, das darauf hindeutet, dass wir bessere KIs bauen können, ohne ihnen das gesamte Internet füttern zu müssen, sondern nur einen viel effizienteren Teil davon.

Technisches Resümee: Training von nGPT auf modernen hybriden MoE-Modellen

Problemstellung

Das Framework des normalisierten Transformers (nGPT) schlägt vor, Modellparameter und Aktivierungen auf einer Einheits-Hypersphäre darzustellen, um hypersphärisches Repräsentationslernen zu erleichtern. Während die ursprüngliche nGPT-Formulierung (Loshchilov et al., 2024) die Durchführbarkeit dieses Ansatzes in dichten Transformer-Umgebungen demonstrierte, erfordert die Anwendung auf moderne, großskalige hybride Architekturen – insbesondere jene, die Mamba-2 State-Space-Modelle mit Transformer Mixture-of-Experts (MoE) kombinieren – ein robustes Trainingsrezept. Standard-Optimizer wie AdamW, die für unbeschränkte euklidische Räume entwickelt wurden, interagieren möglicherweise nicht optimal mit den geometrischen Beschränkungen von nGPT, insbesondere im Hinblick auf die Gradientenskalierung, Lernraten-Schedules und den Umgang mit kleinen Zweitmoment-Statistiken.

Methodik

Die Autoren schlagen ein umfassendes „nGPT-Trainingsrezept“ vor, das speziell auf hybride Mamba-2–Transformer-MoE-Modelle (speziell die Nemotron-3-Architektur) zugeschnitten ist. Dieses Rezept integriert Normalisierungsbeschränkungen mit spezifischen Optimierungsmodifikationen, um das Training zu stabilisieren und die Konvergenz zu verbessern.

1. Normalisierung und Skalierung

Parameterbeschränkungen: Alle Parametervektoren, die Matrizen bilden, werden auf eine Einheitsnorm entlang der Embedding-Dimension beschränkt.
Aktivierungsnormalisierung: Verdeckte Zustände (Hidden States) werden nach der Rekombination mit Attention-/SSM- und MLP/MoE-Outputs re-normalisiert.
Lernbare Skalierungsvektoren: Um eine Überbeschränkung in nichtlinearen Schichten zu verhindern, verwendet das Modell lernbare Skalierungsvektoren:
- $s_{qk}$ zur Reskalierung normalisierter Queries und Keys.
- $s_u$ zur Reskalierung intermediärer MLP/MoE-Aktivierungen.
- $s_z$ zur Reskalierung der Output-Logits, um die Schärfe der Verteilung zu steuern.
Mamba-2 und MoE-Spezifika: Trainierbare Skalare ( $s_{mamba}$ , $s_{moe}$ ) werden eingeführt, um Eingaben an SiLU- bzw. Sigmoid-Router-Funktionen zu skalieren, was Standard-Normalisierungsschichten wie RMSNorm ersetzt.

2. Optimierungs-Komponenten

Das Rezept führt neuartige Komponenten in den Optimierungsprozess ein:

Logit Gradient Preconditioning (LGP): In nGPT wächst der gelernte Logit-Skalierungsvektor $s_z$ während des Trainings logarithmisch, was als versteckter, zeitvarianter Multiplikator auf die Gradienten wirkt. LGP entkoppelt diesen Effekt durch Normalisierung der Rückwärtsgradienten-Skala: $\partial L / \partial u \leftarrow (s_z / \text{mean}(s_z))^q \odot \partial L / \partial z$ . Mit $q=1$ wird der globale Mittelwert-Skalierungsfaktor entfernt, während die relativen Variationen auf Vokabular-Ebene erhalten bleiben, was den Gradientenfluss stabilisiert, ohne den Vorwärtspass zu verändern.
Logarithmischer Lernraten-Abfall (Learning Rate Decay): Anstelle eines Standard-Cosine-Decays verwenden die Autoren einen logarithmischen Decay-Schedule. Dieser legt das Budget der Lernrate in die Anfangsphase vor (front-loading), was einen schärferen anfänglichen Abfall gefolgt von einem langen Auslauf ermöglicht, was besser mit den beschränkten Parameterdynamiken von nGPT korreliert.
GatedAdamW: Dieser Optimizer erweitert AdamW, indem er die numerische Stabilität von der Update-Unterdrückung trennt.
- Er verwendet eine numerische Konstante $\epsilon_{num}$ rein zur Stabilität.
- Er führt ein Soft-Gate $\gamma_t = \sigma(a \log(d_t / \epsilon_{gate}))$ basierend auf der Skala des Zweitmoments $d_t$ ein.
- Dies ermöglicht eine explizite Kontrolle darüber, welche Koordinaten Updates erhalten, wenn die Zweitmoment-Statistiken klein sind, wodurch die Unterdrückung von Updates verhindert wird, die bei einem einzelnen $\epsilon$ -Wert in Standard-AdamW auftreten könnten.
Geometrische Kontrollen:
- Angular Step Cap (ASC): Begrenzt die Winkelverschiebung normalisierter Nicht-Embedding-Parameter, um die geometrische Stabilität zu gewährleisten.
- Second-Moment Growth Clipping (SMGC): Eine Sicherheitsmaßnahme gegen extreme Gradientenspitzen durch Begrenzung des Wachstums der Zweitmomente.
- Post-Moment Exploration Noise (PMEN): Fügt Rauschen hinzu, um die Exploration in Regionen mit geringer Varianz zu fördern.

Kernergebnisse

Die Autoren evaluierten das Rezept auf hybriden Mamba-2–Transformer-MoE-Modellen mit einer Größe von 1B bis 14B Gesamtparametern unter Verwendung einer industriellen Datenmischung.

Dateneffizienz: Die primäre Erkenntnis ist eine signifikante Verbesserung der Dateneffizienz. Insbesondere erreicht das 14B-Parameter nGPT-Modell denselben Validierungsverlust wie ein unnormalisiertes GPT-Baseline-Modell (trainiert mit AdamW) mit etwa der Hälfte der Trainings-Token. Dieses Ergebnis leitet sich aus der Interpolation der Loss-Token-Kurven in Abbildung 7 ab, nicht aus einem direkten Tabellenvergleich über alle Modellgrößen hinweg.
Konsistente Skalierung: Die Leistungssteigerungen sind über alle Modellgrößen (1B, 2B, 4B, 7B und 14B) hinweg konsistent. Die nGPT-Varianten erzielen konsistent Validierungsverluste, die etwa 2,5 % niedriger sind als die ihrer unnormalisierten Gegenstücke, die mit AdamW trainiert wurden.
Konvergenzdynamik: nGPT zeigt eine langsamere anfängliche Verlustabnahme, gefolgt von einer schnelleren Konvergenz im weiteren Verlauf des Trainings – ein Verhalten, das darauf zurückzuführen ist, dass der Lernraten-Schedule die effektive Schrittweite in Abwesenheit von Weight-Decay-Interaktionen direkter steuert.
Komponenten-Analyse: Ablationsstudien zum Gating-Schärfeparameter $a$ in GatedAdamW deuten darauf hin, dass $a=0.5$ zwar einen moderaten Vorteil gegenüber $a=1$ bietet (was das Standard-Adam-Verhalten wiederherstellt), der Großteil des Leistungsgewinns jedoch aus der normalisierten Parametrisierung und dem vollständigen Trainingsrezept resultiert und nicht allein aus dem Gating-Mechanismus.

Bedeutung und Ansprüche

Das Paper behauptet, ein praktisches Trainingsrezept bereitzustellen, das nGPT erfolgreich von dichten Transformern auf moderne, großskalige hybride MoE-Architekturen erweitert. Die Autoren betonen, dass die Kernverbesserungen in der Dateneffizienz nicht spezifisch für MoE-Modelle sind, sondern ein Ergebnis der Synergie zwischen Normalisierung und Optimierung.

Die Arbeit ist hinsichtlich ihres Umfangs bescheiden formuliert:

Die Experimente wurden mit einem begrenzten Rechenbudget durchgeführt, wobei der Fokus auf einem Rezept lag, das „in der Praxis funktionierte“, anstatt auf einer erschöpfenden Ablationsstudie jedes Hyperparameters.
Die Autoren geben explizit an, dass umfassende komponentenweise Ablationsstudien und Hyperparameter-Skalierungsgesetze der zukünftigen Arbeit vorbehalten sind.
Die Bedeutung liegt darin, zu zeigen, dass hypersphärisches Repräsentationslernen auf 14B-Parameter-Modelle mit erheblichen Gewinnen bei der Trainingseffizienz skaliert werden kann, was eine lebensfähige Alternative zu Standard-Transformer-Trainingspipelines darstellt.