Technische Zusammenfassung: Über die versunkenen Kosten hinaus: Steigerung der Effizienz beim Vortraining von LLMs durch orthogonales Wachstum von Mixture-of-Experts

Problemstellung

Der Rechenaufwand für das Vortraining von Large Language Models (LLMs) steigt rapide, doch bestehende vortrainierte Checkpoints bleiben aufgrund architektonischer Einschränkungen oft unzureichend genutzt. Aktuelle Strategien zum Modellwachstum konzentrieren sich typischerweise auf die Erweiterung von Modellen in frühen Trainingsphasen und versäumen es, die erheblichen „versunkenen Kosten" (vorherige Recheninvestitionen) gut konvergierter Checkpoints zu nutzen. Darüber hinaus wurde die Anwendung von Modellwachstum auf Mixture-of-Experts (MoE)-Architekturen, die bei großen LLMs zunehmend dominieren, nicht systematisch untersucht. Die Kernherausforderung besteht darin, herauszufinden, wie konvergierte MoE-Modelle effektiv „recycelt" werden können, um größere, leistungsfähigere Modelle zu schaffen, ohne das erlernte Wissen und die optimierten Parameter des Basismodells zu verwerfen.

Methodik

Die Autoren schlagen ein Framework für „orthogonales Wachstum" vor, das darauf ausgelegt ist, konvergierte MoE-Modelle entlang zweier unabhängiger Dimensionen zu erweitern: Tiefe (Erhöhung der Schichten) und Breite (Erhöhung der Anzahl der Experten).

1. Tiefenwachstum: Interpositionales vs. Stapelndes Wachstum

Die Arbeit kontrastiert zwei Methoden zur Erweiterung der Modelltiefe:

• Stapelndes Wachstum (Stacking): Konkatenation der ursprünglichen Abfolge von Schichten $k$-mal ($l_1, \dots, l_n, l_1, \dots, l_n$).
• Interpositionales Wachstum: Duplizierung jeder Schicht an Ort und Stelle ($l_1, l_1, \dots, l_2, l_2, \dots$).

Kern-Erkenntnis: Die Analyse vortrainierter LLMs zeigt eine charakteristische schichtweise Verteilung der Gewichtsnormen: Die Normen sind in den initialen Schichten klein, steigen monoton durch die Mitte an und nehmen gegen Ende leicht ab. Dieses Muster ist ein strukturelles Merkmal einer gesunden Konvergenz.

• Stapelndes Wachstum unterbricht diesen monotonen Trend, indem es Normen früher Schichten hinter Normen später Schichten platziert, was zu scharfen Diskontinuitäten führt, die das Modell während des weiteren Trainings „reparieren" muss.
• Interpositionales Wachstum bewahrt die erlernte Gewichtsnorm-Trajektorie, indem es Schichten an Ort und Stelle dupliziert und so den glatten strukturellen Fortschritt aufrechterhält.
• Schwellenwert: Die Überlegenheit des interpositionalen Wachstums wird kritisch, sobald das Basismodell über die rechenoptimalen FLOPs hinaus trainiert wurde, die durch die Chinchilla-Skalierungsgesetze definiert sind (ca. $1\times F_c$).

2. Breitenwachstum: Noise-behaftete Experten-Duplizierung

Um die Modellbreite zu erweitern, verdoppeln die Autoren sowohl die Gesamtzahl der Experten ($E \to 2E$) als auch die Anzahl der aktivierten Experten ($k \to 2k$).

• Initialisierungsstrategie: Neue Experten werden initialisiert, indem die Gewichte bestehender Experten kopiert und eine kleine Menge Gaußschen Rauschens hinzugefügt wird ($\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ mit $\alpha \approx 0.01$).
• Begründung: Eine exakte Duplizierung erzeugt perfekte Symmetrie, was eine funktionale Divergenz verhindert. Eine kleine Störung bricht diese Symmetrie gerade genug auf, damit der Router während des weiteren Trainings die Experten unterscheiden kann, während die erlernten Repräsentationen erhalten bleiben. Dies steht im Gegensatz zum „Upcycling" von dichten Modellen, das oft hohe Rauschpegel ($\ge 50\%$) und eine zufällige Router-Initialisierung erfordert.

3. Orthogonalität

Die Arbeit zeigt, dass Tiefen- und Breitenwachstum orthogonal sind.

• Strukturelle Disjunktheit: Tiefenwachstum fügt neue Schichten hinzu; Breitenwachstum fügt neue Experten innerhalb bestehender Schichten hinzu. Sie operieren auf sich nicht überlappenden Parametersätzen.
• Optimierungsdynamik: Die Gradientenanalyse zeigt, dass die Optimierungsrichtungen für tiefen- und breitenvergrößerte Modelle nahezu orthogonal zur Richtung vor dem Wachstum sowie zueinander sind.
• Reihenfolgeunabhängigkeit: Die Endleistung ist invariant gegenüber der Reihenfolge der Erweiterung (Tiefe dann Breite vs. Breite dann Tiefe), was bestätigt, dass die Strategien flexibel integriert werden können.

Wichtige Ergebnisse

Das Framework wurde durch umfangreiche Experimente an Modellen im Bereich von 3 bis 70 Milliarden Parametern unter Verwendung eines Datensatzes mit 1 Billion Token validiert.

• Wirksamkeit des Tiefenwachstums: Bei einem 3-Milliarden-Parameter-MoE-Modell, das auf 6 Milliarden Parameter erweitert wurde, schnitt die interpositionale Methode beim Trainingsverlust und der downstream-Genauigkeit konsistent besser ab als das stapelnde Wachstum. Die Leistungslücke vergrößerte sich, je konvergierter das Basismodell wurde.
• Korrelation mit versunkenen Kosten: Es besteht eine starke positive Korrelation zwischen der Menge der „versunkenen FLOPs" (Trainingschritte vor dem Wachstum) und der Endgenauigkeit des erweiterten Modells. Modelle, die von späteren, konvergierteren Checkpoints aus erweitert wurden, erreichten eine höhere Endleistung als solche, die von früheren Checkpoints aus erweitert wurden, selbst bei identischen zusätzlichen Rechenbudgets.
• Vergleich mit Training von Grund auf:
  • Unter einem festen zusätzlichen Rechenbudget schnitt das Modellwachstum deutlich besser ab als das Training eines großen Modells von Grund auf (z. B. eine Genauigkeitsverbesserung von 10,6 % im 70-Milliarden-Experiment).
  • Unter einem festen Gesamt-Rechenbudget (versunken + zusätzlich) erzielte das Modellwachstum Ergebnisse, die mit dem Training von Grund auf vergleichbar oder leicht überlegen waren, vorausgesetzt, das Wachstum wurde von einem Checkpoint mit ausreichenden versunkenen Kosten initiiert.
• Skalierbarkeit: Die Methode skalierte erfolgreich ein 17-Milliarden-Parameter-MoE-Modell (trainiert auf ~600 Milliarden Token) auf 70 Milliarden Parameter (trainiert auf insgesamt 1 Billion Token). Das finale 70-Milliarden-Modell erreichte eine durchschnittliche Genauigkeit von 64,17 und übertraf das 17-Milliarden-Baseline-Modell um 5,62 Punkte sowie das von Grund auf trainierte 70-Milliarden-Baseline-Modell um einen relativen Gewinn von 10,6 % unter demselben Budget an zusätzlichen FLOPs.

Bedeutung und Behauptungen

Die Arbeit behauptet, einen kosteneffektiven Bauplan für eine nachhaltige Entwicklung großer LLMs zu liefern. Ihre primäre Bedeutung liegt in:

1. Recycling versunkener Kosten: Der Nachweis, dass vortrainierte Checkpoints, die oft als verwertbare Zwischenassets betrachtet werden, systematisch genutzt werden können, um größere Modelle zu schaffen, wodurch der Wert vorheriger Recheninvestitionen erhalten bleibt.
2. Optimale Wachstumsstrategien: Die Feststellung, dass für gut konvergierte Modelle die interpositionale Schichtkopie und die minimal-noise-behaftete Experten-Duplizierung dem traditionellen stapelnden Wachstum und der zufälligen Initialisierung überlegen sind.
3. Orthogonale Skalierung: Der Beweis, dass Tiefe und Breite unabhängig und in beliebiger Reihenfolge erweitert werden können, ohne dass es zu Interferenzen kommt, was Flexibilität in ressourcenbeschränkten Skalierungsszenarien bietet.
4. Effizienz: Der Nachweis, dass Wachstum Leistungssteigerungen erzielen kann, die das Training von Grund auf unter identischen zusätzlichen Rechenbudgets übertreffen, wodurch effektiv die Hürde für das Vortraining von Modellen auf Frontier-Skala gesenkt wird.

Die Autoren betonen, dass diese Arbeit keine neuen gesellschaftlichen Risiken einführt, die über die in LLMs inhärenten hinausgehen, sondern darauf abzielt, den ökologischen Fußabdruck der Modellentwicklung durch die Verbesserung der Trainingseffizienz zu verringern.