💬 NLP

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

Dieser Artikel zeigt, dass Decoder-only-Transformer weiterhin effektiv lernen können, indem sie neue Blöcke auf einen eingefrorenen Substrat mit einem begrenzten Budget aktiver Parameter aufsetzen, was die Durchführbarkeit einer modularen, schichtweisen Erweiterung selbst unter extremen Einschränkungen wie einer binären Token-Schnittstelle mit niedrigem Rang beweist, wenngleich dies mit einem Kompromiss bei der finalen Perplexität im Vergleich zu vollständig trainierbaren monolithischen Modellen einhergeht.

Ursprüngliche Autoren: A. Bochkov

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: A. Bochkov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen Wolkenkratzer, aber Sie unterliegen einer sehr strengen Regel: Sie dürfen zu jedem Zeitpunkt nur an der obersten Etage arbeiten. Sobald eine Etage fertig ist, versiegeln Sie sie mit Beton, verriegeln die Türen und dürfen niemals wieder hineingehen, um etwas zu reparieren oder zu ändern. Sie haben zudem ein begrenztes Budget für Bauarbeiter, sodass Sie nicht jedes Mal eine ganze neue Mannschaft einstellen können, wenn Sie eine Etage hinzufügen; Sie verlegen Ihr kleines Team einfach in die neue Ebene.

Dieser Artikel stellt eine einfache Frage: Können Sie unter diesen extremen Regeln dennoch einen nützlichen, hohen Wolkenkratzer bauen?

Hier ist die Aufschlüsselung der Forschung unter Verwendung alltäglicher Analogien:

1. Das Problem des „eingefrorenen Fundaments"

Normalerweise muss ein Computer beim Training eines riesigen KI-Modells (wie eines großen Sprachmodells) daran denken, wie er jeden einzelnen Teil des Gebäudes anpassen kann, während es lernt. Dies erfordert einen enormen Speicherbedarf, ähnlich wie ein riesiges Lagerhaus, in dem Baupläne für jeden einzelnen Ziegelstein aufbewahrt werden müssen.

Die Forscher wollten herausfinden, ob sie ein Modell trainieren können, während sie den „aktiven" Teil (den Teil, den sie ändern können) klein und konstant halten.

Die Strategie: Sie beginnen mit einem kleinen Gebäude. Sie trainieren es, frieren es dann ein (versiegeln es). Anschließend fügen sie eine neue Etage oben hinzu und trainieren nur diese neue Etage.
Der Haken: Sie gehen niemals zu den alten Etagen zurück, um sie zu justieren. Sie halten zudem die Anzahl der „Arbeiter" (trainierbare Parameter) ungeachtet dessen, wie hoch das Gebäude wird, annähernd gleich.

2. Der „schlechte Aufzug"-Test

Um diese Idee wirklich zu belasten, schufen die Forscher ein extremes Szenario. Stellen Sie sich vor, das Erdgeschoss (wo das Gebäude mit der Straße verbunden ist) ist defekt.

Das Setup: Statt eines reichen, detaillierten Eingangs verfügt das Gebäude nur über einen winzigen, 16-Bit-Binärcode (wie einen einfachen „Ein/Aus"-Schalter), um zu identifizieren, in welchem Raum Sie sich befinden. Es ist eine sehr schlechte, qualitativ minderwertige Schnittstelle.
Die Frage: Wenn der Eingang so schlecht ist und die unteren Etagen fest eingefroren sind, können die oberen Etagen dann dennoch lernen, komplexe Aufgaben zu bewältigen?
Das Ergebnis: Überraschenderweise ja. Selbst mit diesem schrecklichen, eingefrorenen Eingang war die KI in der Lage, höher zu wachsen und nützliche Dinge zu lernen. Es bewies, dass man nicht unbedingt einen perfekten, flexiblen Eingang benötigt, damit das gesamte Gebäude funktioniert; die oberen Etagen können herausfinden, wie sie die begrenzten Informationen, die sie erhalten, sinnvoll verarbeiten.

3. Der „Sanierungs"-Kompromiss (LoRA)

Bei den längeren Experimenten erkannten die Forscher, dass das Gebäude etwas zu starr wird, wenn die unteren Etagen zu stark eingefroren sind. Um dies zu beheben, ohne ihre Regel des „kleinen Budgets" zu brechen, verwendeten sie eine Technik namens LoRA.

Die Analogie: Stellen Sie sich LoRA als das Hinzufügen von dünnem, flexiblem Gerüst oder Haftnotizen an den Wänden jeder Etage vor. Sie bauen die Wände nicht um (die Hauptstruktur ist weiterhin eingefroren), aber Sie können kleine, vorübergehende Anpassungen daran vornehmen, wie die Räume verbunden sind.
Der Vorteil: Dies ermöglichte dem Modell, sich global „neu zu justieren", ohne das gesamte massive Gebäude entsperren und neu trainieren zu müssen.

4. Der Zielkonflikt: Qualität vs. Effizienz

Der Artikel ist sehr ehrlich bezüglich der Ergebnisse. Er behauptet nicht, dass diese Methode besser ist als die Standardmethode des Bauens (bei der Sie jede Etage gleichzeitig justieren können).

Die Standardmethode: Wenn Sie genügend Speicher und Geld haben, erzeugt das gleichzeitige Bauen des gesamten Gebäudes (monolithisches Training) ein etwas „intelligenteres" Gebäude (niedrigere Perplexität, bessere Bewertungen).
Die neue Methode: Die „mit-wachsend"-Methode erzeugt ein Gebäude, das etwas weniger perfekt ist, aber deutlich effizienter. Es benötigt signifikant weniger „aktive Arbeiter" (in ihren Tests etwa 105 Millionen gegenüber 247 Millionen) und weniger Speicher.

Das Fazit

Der Artikel kommt zu dem Schluss, dass nützliches Lernen auch unter sehr strengen Einschränkungen stattfinden kann.

Sie können den unteren Teil des Modells eingefroren lassen.
Sie können die Anzahl der trainierbaren Teile klein halten.
Sie können sogar mit einer sehr schlechten, festen Eingabeschnittstelle beginnen.

Obwohl dies nicht der „beste" Weg ist, die intelligenteste mögliche KI zu bauen, beweist es, dass Sie nicht das gesamte Gebäude entsperren müssen, um weiterhin nützliche Höhe hinzuzufügen. Es ist eine tragfähige Strategie für Situationen, in denen der Speicher knapp ist oder Sie ein Modell stufenweise ohne massive Rechenkosten wachsen lassen möchten.

Was der Artikel NICHT sagt:

Er behauptet nicht, dass dies der beste Weg ist, KI für den allgemeinen Gebrauch zu bauen.
Er behauptet nicht, dass diese Methode die höchstmögliche Intelligenz erzeugt.
Er schlägt nicht vor, dass dies ohne weitere Tests für den klinischen oder kommerziellen Einsatz bereit ist.

Es beweist einfach, dass Wachstum möglich ist, selbst wenn Sie durch strenge Speicher- und Trainingsregeln gefesselt sind.

Technischer Zusammenfassung: Wachsende Transformer: Modulare Komposition und schichtweise Expansion auf einem eingefrorenen Substrat

1. Problemstellung

Das Training von Sprachmodellen in großem Maßstab wird häufig eher durch den Speicherbedarf für Optimierer-Zustände als allein durch die Anzahl der Parameter begrenzt. Beim standardmäßigen dichten monolithischen Pretraining erzeugt die Aufrechterhaltung von Optimierer-Zuständen für alle trainierbaren Parameter unter festen Speicherbudgets der Beschleuniger einen Skalierungsengpass.

Dieser Artikel untersucht ein eingeschränktes Trainingsregime, um eine spezifische Machbarkeitsfrage zu beantworten: Kann die Modelltiefe weiter wachsen, wenn die Token-Schnittstelle festgelegt ist, zuvor trainierte dichte Blöcke eingefroren bleiben und der aktive Satz trainierbarer Parameter annähernd konstant gehalten wird? Die Autoren positionieren dies ausdrücklich als Untersuchung von Kompromissen und Machbarkeit, nicht als Behauptung, dass dieses Regime das abgestimmte dichte monolithische Pretraining übertrifft.

2. Methodik

Das vorgeschlagene Regime, bezeichnet als „Konstruktives Wachstum", operiert unter vier strengen Einschränkungen:

Feste Token-Schnittstelle: Die Eingabe-Embedding-Schicht ist während des gesamten Trainings fest und deterministisch. Der Artikel untersucht zwei Varianten:
- Eine eingefrorene visuelle Unicode-Schnittstelle (aus vorheriger Arbeit).
- Ein extremer Stresstest: ein eingefrorener 16-dimensionaler binärer Token-ID-Code. Hier wird jedes Token durch einen 16-Bit-binären Code (seine Token-ID) dargestellt, der deterministisch über Koordinatenwiederholung auf die Modell-Dimension ( $d_{model}$ ) gehoben wird. Dies resultiert in einer Eingabe-Embedding-Matrix mit einem Rang von höchstens 16, wodurch sichergestellt wird, dass am Eingang keine gelernten hochdimensionalen Semantiken existieren.
Eingefrorenes Substrat: Sobald ein Block (oder eine Gruppe von Blöcken) trainiert ist, wird er eingefroren. Er wird niemals für vollständige Parameter-Updates wieder geöffnet.
Begrenztes aktives Budget: Mit zunehmender Tiefe werden nur die neu hinzugefügten Blöcke und der Sprachmodell-(LM)-Kopf trainiert. Die Anzahl der aktiven trainierbaren Parameter bleibt annähernd konstant.
Optionale LoRA-Nachjustierung: Bei längeren Läufen werden LoRA-Stufen (Low-Rank Adaptation) zwischen den Wachstumsphasen eingefügt. Diese Stufen verteilen dasselbe aktive trainierbare Budget neu auf Adapter über alle Schichten, um eine begrenzte globale Nachjustierung zu ermöglichen, ohne die dichten Gewichte wieder zu öffnen.

Trainingsverfahren:

Initialisierung eines flachen Modells über der festen Schnittstelle.
Training des aktuellen oberen Stapels.
Einfrieren der trainierten dichten Blöcke.
Hinzufügen einer neuen Blockgruppe oben.
Training nur der neuen Gruppe und des LM-Kopfes.
(Optional) Einfügen von LoRA-Stufen zur Anpassung globaler Repräsentationen unter Beibehaltung des aktiven Parameterbudgets.

3. Hauptbeiträge und Behauptungen

Der Artikel stellt enge, empirisch fundierte Behauptungen anstelle von breiten Behauptungen zur algorithmischen Überlegenheit auf:

Definition eines eingeschränkten Regimes: Die Autoren definieren ein spezifisches Trainingsprotokoll, das eine feste deterministische Token-Schnittstelle, eingefrorene untere Blöcke und ein begrenztes aktives Parameterbudget kombiniert.
Machbarkeit des Wachstums auf minimalen Schnittstellen: Die Studie zeigt, dass nützliches fortgesetztes Lernen auch über einer 16-dimensionalen binären Token-ID-Schnittstelle möglich ist, wobei die Dimension des Eingangs-Unterraums höchstens 16 beträgt. Dies legt nahe, dass semantisch reiche, trainierbare Eingabe-Embeddings keine strikte Voraussetzung für die Bildung nützlicher interner Repräsentationen in tieferen Schichten sind.
Qualität-Speicher-Kompromiss: Der Artikel quantifiziert den Kompromiss zwischen der Anzahl aktiver Parameter und der finalen Perplexität.
- In einer kontrollierten 9-Schichten-Studie verwendet das konstruktive eingefrorene Modell 105,0 Mio. aktive trainierbare Parameter im Vergleich zu 180,5 Mio. für eine schnittstellenangepasste monolithische eingefrorene Baseline und 247,6 Mio. für eine vollständig trainierbare monolithische Baseline.
- Diese Reduktion der aktiven Parameter geht mit Kosten einher: Die finale Trainingsperplexität steigt von 3,71 (monolithisch eingefroren) auf 4,12 (konstruktiv eingefroren).
Machbarkeit des Wachstums über lange Horizonte: Ein 16-Schichten-Experiment auf einem 68,9 Mrd.-Token-Datensatz (FineWeb-Edu + Cosmopedia) unter Verwendung der 16-dimensionalen binären Schnittstelle und eingefügter LoRA-Stufen erreichte 28,92 % MMLU. Dies dient als Machbarkeitsnachweis, dass Wachstum unter extremen Einschränkungen fortschreiten kann, obwohl die sich ändernde Datenmischung einen sauberen kausalen Vergleich verhindert.

4. Ergebnisse

Kontrollierte 9-Schichten-Studie:
- Das konstruktive Wachstum war stabil und zeigte vorübergehende Verlustspitzen beim Stapeln neuer Schichten, gefolgt von einer schnellen Erholung.
- Das konstruktive Modell (105 Mio. aktive Parameter) erreichte eine Downstream-Leistung (MMLU, ARC, SQuAD) im selben breiten Bereich wie monolithische Baselines, wenn auch mit höherer Perplexität.
- Das konstruktive Modell, das über der 16-dimensionalen binären Schnittstelle trainiert wurde, konvergierte stabil und bewies, dass die extreme Rangbeschränkung (Rang $\le$ 16) das Modell nicht daran hindert, nützliche Repräsentationen in den oberen Schichten zu lernen.
Langer 16-Schichten-Lauf:
- Ein 269,7 Mio. Parameter großes Modell (Basisgröße), das mit eingefügten LoRA-Stufen trainiert wurde, erreichte 28,92 % MMLU.
- Die Autoren stellen fest, dass dieses Ergebnis aufgrund der sich ändernden Datenmischung über die Stufen hinweg (zunehmende Mischung aus Instruktionen/SFT) als Demonstration der Machbarkeit und nicht als kausale Schätzung der Wachstumseffizienz interpretiert wird.

5. Bedeutung und Einschränkungen

Bedeutung:
Der primäre Beitrag des Artikels ist eine „enge, aber nützliche Behauptung": Nützliches fortgesetztes Lernen kann über einer festen minimalen Schnittstelle unter einem begrenzten aktiven trainierbaren Parameterbudget fortschreiten. Dies ist für Praktiker mit begrenzten Speicherbudgets von Bedeutung, die die Modelltiefe erweitern möchten, ohne den Speicher-Overhead für die Aufrechterhaltung von Optimierer-Zuständen für das gesamte Modell. Es stellt die Annahme in Frage, dass gelernte, hochkapazitive Eingabe-Embeddings für das Wachstum der Tiefe strikt notwendig sind.

Bescheidenheit und Einschränkungen:
Die Autoren sind explizit darüber, was der Artikel nicht behauptet:

Er behauptet nicht, dass konstruktives Wachstum die Qualität von abgestimmtem dichtem monolithischem Pretraining erreicht (die Perplexität ist schlechter).
Er behauptet nicht, dass zufällig initialisiertes Stapeln die beste generische Wachstumsstrategie im Vergleich zu funktionserhaltenden Methoden (z. B. Net2Net) ist.
Die kontrollierten Vergleiche sind Einzelläufe; kleine Unterschieden in Metriken sind statistisch nicht gesichert.
Die 9-Schichten-Studie verwendet ein gemeinsames Protokoll ohne baselinespezifische Hyperparameter-Optimierung, was sie zu einem Regime-Vergleich statt zu einem optimierten Best-vs-Best-Vergleich macht.
Der lange Lauf vermischt die kausale Zuordnung aufgrund sich ändernder Datenmischungen.
Die 16-dimensionale binäre Schnittstelle verwendet eine spezifische deterministische Codezuweisung; systematische Vergleiche alternativer Codezuweisungen bleiben zukünftiger Arbeit vorbehalten.

Zusammenfassend stellt der Artikel fest, dass zwar das dichte monolithische Training bei Vorhandensein von Ressourcen die stärkere Baseline für die Qualität bleibt, ein eingeschränktes Regime der schichtweisen Expansion auf einem eingefrorenen Substrat jedoch eine viable Alternative für Szenarien darstellt, in denen aktive Parameterbudgets strikt begrenzt werden müssen.