💬 NLP

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning

Das Paper stellt SPARKLING vor, ein neuartiges Framework für die mittlere Breitenexpansion in der progressiven Lernphase, das die Erhaltung von Signalen und Symmetriebrechung ausbalanciert, um Trainingsinstabilitäten zu überwinden, wodurch die Rechenkosten um bis zu 35 % reduziert werden und gleichzeitig das Training von Grund auf übertrifft.

Ursprüngliche Autoren: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen eine riesige, unglaublich komplexe Bibliothek (ein Large Language Model), um das Wissen der Menschheit zu speichern und zu verstehen. Normalerweise muss man, um die größte, klügste Bibliothek zu bauen, das gesamte Gebäude von Grund auf neu errichten, Stein für Stein, alles auf einmal. Das ist unglaublich teuer und kostet eine enorme Menge an Zeit und Energie.

Progressives Lernen ist eine intelligentere Art dies zu tun: Sie beginnen mit einem kleinen, gemütlichen Lesesaal und fügen nach und nach weitere Räume hinzu, während Sie voranschreiten. Das spart Geld, weil Sie nicht den ganzen Palast bauen müssen, bevor Sie überhaupt mit dem Lesen beginnen können.

Es gibt jedoch einen Haken: Während Forscher herausgefunden haben, wie man problemlos mehr Stockwerke (Tiefe) hinzufügt, ist das Hinzufügen von mehr Räumen auf demsselben Stockwerk (Breite) mitten im Bauprozess ein Albtraum. Wenn Sie einfach neue Räume ohne Sorgfalt an das bestehende Gebäude klatschen, fängt das Ganze an zu wackeln und einzustürzen.

Das Paper stellt eine neue Methode namens SPARKLING vor (was für balancing Signal Preservation And symmetRy breaKing for width-progressive LearnING steht), um dies zu beheben. Denken Sie an SPARKLING als den Werkzeugkasten eines Meisterarchitekten, um die Bibliothek sicher während des Baus zu erweitern.

So funktioniert es, unter Verwendung einfacher Analogien:

Die zwei großen Probleme

Wenn Sie versuchen, die Bibliothek mitten im Bauprozess zu verdoppeln, gehen zwei Dinge schief:

Der „Volumenschock“ (Signal Preservation/Signalerhaltung):
Stellen Sie sich vor, die Bibliothek hat eine strikte Regel: Der Geräuschpegel in jedem Flur muss exakt gleich sein. Wenn Sie plötzlich eine ganze Menge neuer, leerer Räume hinzufügen, ändern sich die Akustik und die Atmosphäre. Der Klang (die Daten) wird in den neuen Bereichen zu leise oder zu laut, was die Bibliothekare (die Neuronen des Modells) verwirrt.
- Die SPARKLING-Lösung: Sie verwenden eine Technik namens RMS-Skalenkonsistenz. Es ist, als würde man in jedem neuen Raum einen „Lautstärkeregler“ installieren. Bevor die neuen Räume genutzt werden, werden sie so abgestimmt, dass der Geräuschpegel perfekt mit den alten Räumen übereinstimmt. Dies stellt sicher, dass die Daten reibungslos fließen, ohne das System zu schocken.
Die „Klon-Falle“ (Symmetry Breaking/Symmetriebrechung):
Der einfachste Weg, einen neuen Raum hinzuzufügen, ist, den Bauplan eines bestehenden Raums exakt zu kopieren. Aber hier liegt das Problem: Wenn Sie zwei identische Räume mit identischen Möbeln und identischen Bibliothekaren haben, werden sie genau das Gleiche tun. Sie werden exakt dieselben Anweisungen erhalten und sich exakt auf die gleiche Weise bewegen. Sie werden zu „Klonen“, die nichts Neues lernen; sie wiederholen einfach das, was der ursprüngliche Raum tut. Die Bibliothek wird zwar größer, aber nicht klüger.
- Die SPARKLING-Lösung: Sie durchbrechen die „Klon-Falle“ mit zwei Tricks:
  - Der „Frische Start“ (Optimizer State Reset): Obwohl der neue Raum dem alten gleicht, wischen sie die Tafel für die neuen Bibliothekare sauber. Sie geben den neuen Bibliothekaren nicht die Erinnerungen oder Gewohnheiten der alten Bibliothekare mit. Dies zwingt sie dazu, die Dinge selbst herauszufinden.
  - Der „Besondere Schub“ (Asymmetric Learning Rate): Sie geben den neuen Bibliothekaren ein vorübergehend etwas lauter werdendes Megafon (eine höhere Lernrate). Dies ermutigt sie, neue Dinge auszuprobieren und zu explorieren, während die alten Bibliothekare in ihrem normalen Tempo weiterarbeiten. Dies stellt sicher, dass die neuen Räume eine eigene, einzigartige Persönlichkeit entwickeln, anstatt nur den alten Raum zu kopieren.

Die Ergebnisse

Die Forscher haben dies an zwei Arten von Bibliotheken getestet:

Dichte Modelle (Dense Models): Eine Standardbibliothek, in der jedes Buch in jedem Regal steht.
MoE (Mixture-of-Experts): Eine hochtechnologische Bibliothek mit spezialisierten „Experten-Räumen“, die nur geöffnet werden, wenn sie benötigt werden.

Sie fanden heraus, dass SPARKLING wie Magie wirkt:

Es spart Geld: Indem sie die Bibliothek mitten im Prozess erweiterten, sparten sie im Vergleich zum Aufbau der großen Bibliothek von Grund auf bis zu 35 % der gesamten Baukosten (Rechenleistung).
Es funktioniert besser: Trotz der geringeren Energienutzung war die fertige Bibliothek tatsächlich klüger und schnitt in Tests besser ab als Bibliotheken, die auf die traditionelle, teure Weise gebaut wurden.

Das Fazit

SPARKLING ist eine neue Art, KI-Modelle wachsen zu lassen, die besagt: „Kopiere nicht einfach neue Teile per Copy-Paste; stimme sie so ab, dass sie zum bestehenden Klang passen, und gib ihnen dann einen kleinen Schubs, um einzigartig zu sein.“ Dies ermöglicht es uns, massive, leistungsstarke KI-Systeme viel schneller und kostengünstiger als bisher zu bauen, ohne dass das System während der Erweiterung zusammenbricht.

Technisches Resümee: SPARKLING

Problemstellung

Progressives Lernen (Progressive Learning, PL) zielt darauf ab, den Rechenaufwand beim Training von Large Language Models (LLMs) zu reduzieren, indem die Modellskalierung während des Trainings schrittweise erweitert wird, anstatt das volle Modell von Grund auf neu zu trainieren. Während die bestehende PL-Forschung intensiv die Tiefenerweiterung (z. B. Layer Stacking) untersucht hat, bleibt die Breitenerweiterung (Width Expansion) signifikant unteruntersucht. Vorangegangene Methoden zur Breitenerweiterung sind weitgehend auf die frühen Stadien des Trainings beschränkt (z. B. <10–30 % der Token), was nur vernachlässigbare Rechenvorteile gegenüber dem Training des Ziel-Breitenmodells von Grund auf bietet.

Die Erweiterung der Breite während der Mittelphase des Pre-Trainings ist entscheidend für die Maximierung der Rechenersparnis, stellt jedoch enorme Herausforderungen dar. Das Paper identifiziert zwei Kernprobleme, die zu Instabilität im Training und Leistungsdegradierung in diesem Regime führen:

Versagen der Signalerhaltung (Signal Preservation Failure): Eine naive Initialisierung am Erweiterungspunkt stört die statistische Verteilung der intermediären Aktivierungen (speziell die Root-Mean-Square- oder RMS-Skala). Diese Diskrepanz verändert die Schicht-weise Signalmagnituden und destabilisiert die Optimierung, selbst wenn der unmittelbare Loss nicht sprunghaft ansteigt.
Symmetrie-Lock (Symmetry Locking): Eine kopierbasierte Initialisierung bewahrt zwar die Vorwärtsfunktion, induziert jedoch eine Rückwärts-Symmetrie. Duplizierte Kanäle erhalten identische Gradienten, und falls auch die Optimizer-Zustände symmetrisch sind, entwickeln sie sich identisch. Dies verhindert, dass die neue Kapazität in unterschiedliche Merkmale divergiert, wodurch die erweiterten Parameter funktional redundant werden. Dieses Problem besteht über verschiedene Optimizer-Familien hinweg, einschließlich elementweiser Optimizer (AdamW) und spektraler Optimizer (Muon).

Methodik: SPARKLING

Die Autoren schlagen SPARKLING vor (Signal Preservation And Symmetry Keeping for width-progressive LearnING), ein Framework, das darauf ausgelegt ist, die Balance zwischen Signalerhaltung und Symmetriebrechung während der Breitenerweiterung in der Mittelphase zu halten. Das Framework besteht aus vier konkreten Mechanismen:

1. Signalerhaltung durch RMS-Skalen-Konsistenz

Die Autoren argumentieren, dass echte Signalerhaltung die Aufrechterhaltung der statistischen Verteilung der verborgenen Repräsentationen erfordert, speziell der RMS-Skala, und nicht nur die Erhaltung der Funktion (Loss-Kontinuität).

Mechanismus: Sie leiten Rescaling-Faktoren für Gewichte während der Erweiterung ab, um sicherzustellen, dass die Ausgangs-RMS-Skala invariant bleibt.
- Fan-out Erweiterung: Neue Ausgangskanäle werden durch Kopieren oder zufälliges Sampling aus derslich Verteilung der bestehenden Gewichte initialisiert.
- Fan-in Erweiterung: Neue Eingangskanäle erfordern eine spezifische Gewichtsskalierung. Wenn neue Koordinaten zufällig oder einseitig kopiert werden, werden die Gewichte mit $\sqrt{d_{in}/d'_{in}}$ skaliert. Wenn beide Seiten kopiert werden (Duplizierung bestehender Dimensionen), werden die Gewichte mit $1/\sqrt{1+3c}$ skaliert (wobei $c$ das Kopierverhältnis ist), um den quadratischen Beitrag der Kovarianz zu berücksichtigen.
- RMSNorm Erweiterung: Neue RMSNorm-Parameter werden durch Kopieren oder zufälliges Sampling ohne zusätzliche Skalierung initialisiert, da die Anzahl der Parameter im Vergleich zu linearen Schichten vernachlässigbar ist.

2. Symmetriebrechung durch asymmetrische Interventionen

Um den „Symmetry Lock“ zu lösen, bei dem kopierte Komponenten nicht divergieren, führt SPARKLING gezielte Interventionen ein, die nur auf die Rückwärts-Dynamik wirken, während die Vorwärtsfunktion erhalten bleibt.

Asymmetrischer Optimizer-State-Reset: Anstatt die Optimizer-Zustände (Momentum) zu kopieren oder global zurückzusetzen, behält das Framework die Optimizer-Zustände für die ursprünglichen Parameter ( $W$ ) bei, setzt aber die Zustände für die neu eingeführten Parameter ( $\tilde{W}$ ) auf Null zurück. Dies bricht die Gradienten-Kopplung sofort auf und ermöglicht es den neuen Parametern zu divergieren.
Asymmetrisches Lernraten-Re-Warmup: Am Erweiterungspunkt setzen die ursprünglichen Parameter ihren Baseline-Lernraten-Zeitplan fort. Die neuen Parameter durchlaufen ein Re-Warmup, das bei der aktuellen Lernrate ( $\eta_e$ ) beginnt und über ein kurzes Zeitfenster ( $\tau_w$ ) zu einem höheren Peak ( $\hat{\eta}_{max} = \rho \cdot \eta_e$ ) ansteigt, bevor es zum gemeinsamen Minimum zurückkehrt. Dies injiziert eine kontrollierte Optimierungs-Asymmetrie, um die Feature-Diversifizierung zu stimulieren, ohne das gut adaptierte vortrainierte Modell global zu stören.

Wichtigste Beiträge

Identifikation von Herausforderungen in der Mittelphase: Das Paper stellt fest, dass der Erfolg der Breitenerweiterung in der Mittelphase von zwei komplementären Prinzipien abhängt: Signalerhaltung (Stabilisierung der Aktivierungsstatistiken via RMS-Konsistenz) und Symmetriebrechung (Auflösung der Gradienten-Kopplung bei kopierbasierter Initialisierung).
Das SPARKLING-Framework: Eine praktische Implementierung, die RMS-erhaltende Skalierung, kopierbasierte Initialisierung, asymmetrischen Optimizer-State-Reset und asymmetrisches Lernraten-Re-Warmup kombiniert.
Empirische Validierung: Umfangreiche Experimente über dichte Architekturen und Mixture-of-Experts (MoE) Architekturen, mehrere Breitenachsen (Hidden Dimension und MoE Expert Intermediate Dimension) und Optimizer-Familien (AdamW und Muon) hinweg.

Ergebnisse

Leistung: Unter einem festen Token-Budget übertrifft SPARKLING konsistent das Training des Voll-Modells von Grund auf bei Downstream-Evaluierungen (z. B. ARC, MMLU, HellaSwag) und erreicht oder übertrifft die Leistung naiver, funktionserhaltender Baselines.
Effizienz: SPARKLING reduziert die Trainingskosten erheblich. Bei einer 2× Breitenerweiterung erzielt es eine Reduktion der Trainings-FLOPs um bis zu 35 % und eine Steigerung der Wall-Clock-Geschwindigkeit um bis zu das 1,49-fache im Vergleich zum Training des erweiterten Modells von Grund auf.
Konvergenz: Die RMS-erhaltende Skalierung verbessert die Konvergenz in der Spätphase im Vergleich zu naiver, unskalierter Initialisierung. Asymmetrische Interventionen (State Reset und Re-Warmup) sind entscheidend für das Brechen des Symmetry Locks, wobei die Kombination aus Copy-Copy-Initialisierung und diesen Interventionen den besten finalen Loss aller Varianten erreicht.
Generalisierbarkeit: Die Methode generalisiert auf dichte Modelle, verschiedene Optimizer (einschließlich Muon) und iterative Multi-Stage-Erweiterungen (z. B. 256 $\to$ 512 $\to$ 1024).

Bedeutung und Behauptungen

Das Paper behauptet, dass SPARKLING die Breitenerweiterung in der Mittelphase praktisch praktikabel macht und damit die primäre Motivation des Progressiven Lernens adressiert: die Reduzierung der Trainingskosten bei gleichzeitiger Beibehaltung oder Übertreffung der Leistung der Ziel-Breite-Modelle.

Die Autoren betonen, dass ihr Ansatz das Spannungsfeld zwischen Vorwärts-Kontinuität (Erhalt der vortrainierten Funktion) und Rückwärts-Diversität (Ermöglichen, dass neue Parameter distinkte Merkmale lernen) löst. Durch die Entkopplung dieser beiden Aspekte – die Erhaltung der Signalstatistiken bei gleichzeitiger Brechung der Symmetrie in den Optimierungsdynamiken – ermöglicht SPARKLING die effiziente Skalierung von LLMs. Die Arbeit legt nahe, dass das Framework ein günstigeres Compute-Loss-Scaling-Verhalten bietet und bei gleichem Rechenbudget einen niedrigeren Loss als das Training von Grund auf erreicht.

Das Paper schließt mit dem Hinweis, dass die Ergebnisse vielversprechend sind, aber zukünftige Arbeit nötig ist, um ein vereinheitlichtes Prinzip für die simultane Breiten- und Tiefenerweiterung zu etablieren und zu untersuchen, ob die RMS-Erhaltungsstrategie die $\mu$ P-Bedingung (maximal update parameterization) für die Hyperparameter-Übertragbarkeit erfüllt.