💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

Dieses Paper schlägt ein Offline-Rezept zur progressiven Erweiterung der Transformer-Breite vor, das einen geschlossenen Small Residual Integration Operator (SRIO) mit blokkspezifischen Expansionsstrategien und einem skalaren Warmup-Gate kombiniert, um den Trainingsverlust signifikant zu verbessern und gelernte Verhaltensweisen während des Modellwachstums zu bewahren.

Ursprüngliche Autoren: Ramasubramanian B

Veröffentlicht 2026-08-05

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ramasubramanian B

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Geschichtenerzählen beizubringen. Sie beginnen mit einem winzigen Roboter, der ein sehr kleines Gehirn hat. Er lernt die Grundlagen schnell, ist aber zu einfach, um ein Meisterwerk zu schreiben. Um ihn besser zu machen, könnten Sie den kleinen Roboter einfach wegwerfen und einen riesigen von Grund auf neu bauen, aber das dauert ewig und kostet ein Vermögen an Strom. Alternativ könnten Sie versuchen, das Gehirn des kleinen Roboters zu „züchten“, indem Sie neue Neuronen hinzufügen, um es breiter und intelligenter zu machen. Dies nennt man Modell-Expansion.

Der schwierige Teil beim Wachsenlassen eines Gehirns ist, dass die neuen Teile nicht wissen, wie sie mit den alten Teilen kommunizieren sollen. Wenn Sie einfach einen neuen Abschnitt anbauen, ignoriert das alte Gehirn ihn vielleicht, oder das neue Gehirn löscht versehentlich die Erinnerungen, an denen das alte so hart gearbeitet hat. Es ist wie das Anbauen eines neuen Flügels an ein Haus, ohne den Flur zu verbinden; das neue Zimmer ist zwar da, aber niemand kommt hinein, oder schlimmer noch, das ganze Haus beginnt zu wackeln. Wissenschaftler versuchen seit langem, den perfekten „Kleber“ zu finden, um diese alten und neuen Gehirnteile zu verbinden, damit der Roboter seine alten Fähigkeiten behält, während er neue lernt. In diesem Paper geht es darum, diesen perfekten Kleber zu finden.

Das Rezept zur Gehirn-Boostung: Ein neuer Weg, KI wachsen zu lassen

Der Autor dieses Papers, Ramasubramanian B von Tech-Aarvam, hat ein cleveres „Rezept“ entwickelt, um KI-Modelle (die Robotergehirne) offline wachsen zu lassen. Anstatt die KI lernen zu lassen, wie sie wächst, während sie läuft, erledigt er die schwere Arbeit im Voraus, so wie ein Koch, der die Zutaten vorbereitet, bevor die Gäste eintreffen. Ihr Ziel ist es, ein kleineres Modell zu nehmen und es zu erweitern, um es breiter zu machen, ohne den Fortschritt, den es bereits gemacht hat, zu verlieren.

Stellen Sie sich das KI-Modell wie ein Team von Arbeitern vor, die einen Wassereimer in einer Reihe weiterreichen. Die „Breite“ des Modells ist die Anzahl der Leute in dieser Reihe. Wenn Sie mehr Leute in die Reihe aufnehmen, müssen Sie sicherstellen, dass die neuen Leute genau wissen, wie sie den Eimer halten und weiterreichen sollen, ohne auch nur einen Tropfen zu verschütten. Das Paper schlägt vor, dass der beste Weg hierfür aus drei spezifischen Zutaten besteht: einem speziellen Rotations-Trick, unterschiedlichen Wachstumsregeln für verschiedene Aufgaben und einem sanften „Warm-up“ für die neuen Arbeiter.

1. Der magische Spin: SRIO

Der Star der Show ist etwas namens SRIO (Small Residual Integration Operator). Stellen Sie sich vor, der alte Teil des Gehirns und der neue Teil des Gehirns sprechen zwei verschiedene Sprachen. Wenn Sie neue Neuronen hinzufügen, sprechen sie einen leicht anderen Dialekt. Wenn Sie sie einfach nur einstecken, verstehen die alten Neuronen die neuen vielleicht nicht, und die neuen könnten durch die alten verwirrt werden.

SRIO fungt als Übersetzer, der eine präzise „Drehung“ oder Rotation der Daten durchführt. Es verändert nicht die Information selbst, aber es rotiert die Richtung der neuen Daten so, dass sie perfekt mit den alten Daten übereinstimmen. Speziell rotiert es die „Durchschnittsrichtung“ der neuen Neuronen in Richtung der alten. Dies bewirkt, dass die alten Gewichte (die Erinnerungen des Gehirns) die neuen Eingaben viel stärker wahrnehmen. Der Autor fand heraus, dass diese Rotation eine geschlossene mathematische Lösung (closed-form solution) ist, was bedeutet, dass es eine feste Formel ist, die man sofort berechnen kann, anstatt dass die KI sie langsam lernen muss. Es ist wie eine vorgefertigte Karte, die einem genau sagt, wie man das neue Zimmer drehen muss, damit es mit dem alten Flur verbunden ist.

2. Unterschiedliche Regeln für unterschiedliche Jobs

Das Paper entdeckte, dass man nicht jeden Teil des Gehirns gleich behandeln kann. Die KI hat zwei Haupttypen von Arbeitern: Attention-Arbeiter (die entscheiden, worauf man Aufmerksamkeit schenkt) und FFN-Arbeiter (die die Informationen verarbeiten).

Für die Attention-Arbeiter: Der Autor verwendete eine „konvexe Expansion“. Stellen Sie sich vor, Sie nehmen die bestehenden Arbeiter und erschaffen neue, indem Sie deren Fähigkeiten mischen, wie das Mischen zweier Farben, um einen neuen Farbton zu erhalten. Dies erzeugt neue Arbeiter, die eine sanfte Mischung der alten sind.
Für die FFN-Arbeiter: Sie verwendeten eine „gekachelte Kopie“ (tiled copy). Dies ist so, als würde man einen einzelnen Arbeiter nehmen und ihn fotokopieren, um den neuen Platz zu füllen. Da diese Arbeiter spezifische Merkmale handhaben, funktioniert das direkte Kopieren besser als das Mischen.

Das Paper zeigt, dass das Mischen dieser beiden Strategien – Blenden für die Attention und Kopieren für die Verarbeitung – viel besser funktioniert als die Verwendung von nur einer Methode für alles.

3. Das sanfte Warm-up

Selbst mit der perfekten Rotation und der richtigen Expansion könnten die neuen Arbeiter zu eifrig sein und sofort über die alten hereinbrüllen. Um dies zu verhindern, fügte der Autor ein skalares Warm-up Gate hinzu. Denken Sie an dies als einen Lautstärkeregler. Wenn die neuen Arbeiter neu dazukommen, ist ihre Lautstärke auf Null gedreht. Über einen kurzen Zeitraum (etwa 40 Millionen Wörter des Trainings) wird die Lautstärke langsam hochgedreht. Dies ermöglicht es dem alten Gehirn, seinen Job weiter zu machen, während das neue Gehirn langsam lernt, wie es beitragen kann, ohne Chaos zu verursachen.

Was sie fanden

Der Autor testete dieses Rezept, indem er ein Modell von einer Breite von 256 auf 384 wachsen ließ. Er verglich seine Methode mit zwei anderen Ansätzen: nichts Besonderes zu tun (einfach nur neue Teile hinzufügen) und einer anderen Methode namens LiGO (die versucht, die Wachstumsregeln während des Laufs zu lernen).

Die Ergebnisse waren eindeutig:

Der „Nichts tun“-Ansatz ergab einen Trainingsverlust (training loss) von 4,2527.
Der LiGO-Ansatz (in seinem Code reimplementiert) ergab einen Verlust von 4,2606.
Ihr vollständiges Rezept (SRIO + spezifische Expansion + Warm-up) erreichte einen Verlust von 4,2111.

In der Welt des KI-Trainings bedeutet eine niedrigere „Loss“-Zahl, dass das Modell weniger Fehler macht. Also war ihre Methode der klare Gewinner und übertraf die anderen um einen merklichen Abstand. Sie zeigten auch, dass dies funktioniert, selbst wenn man das Modell mehrmals wachsen lässt, von 24 Millionen Parametern bis hinauf zu 120 Millionen Parametern, was beweist, dass dies ein Rezept ist, das wiederholt angewendet werden kann.

Was sie ausschlossen

Das Paper testete auch mehrere andere Ideen, um zu sehen, ob sie funktionieren. Sie probierten verschiedene Größen des Rotationsoperators (mittlere und große Versionen) aus und fanden heraus, dass die „kleine“ Version (SRIO) genauso gut, wenn nicht sogar besser und viel einfacher war. Sie testeten auch, ob die KI die Rotationsregeln während des Trainings lernen sollte („Learning“-Modus) oder ob sie eine feste mathematische Formel verwenden sollte („Static“-Modus). Sie fanden heraus, dass die statische, vorab berechnete Formel genauso gut funktionierte wie diejenige, die die KI zu lernen versuchte, was bedeutet, dass man keine Zeit damit verschwenden muss, der KI das Wachsen beizubringen; man kann ihr einfach die Anweisungen geben.

Warum es wichtig ist

Die Schönheit dieser Methode liegt darin, dass sie offline ist. Die komplexe Mathematik und die Rotationen finden statt, bevor das Modell wieder mit dem Training beginnt. Sobald das Modell gewachsen ist, werden die speziellen Rotations-Tricks in die Gewichte des Modells „eingefaltet“ und verschwinden. Das bedeutet, dass die KI keine zusätzliche Rechenleistung benötigt, um zu laufen; sie ist einfach eine etwas größere, intelligentere Version des ursprünglichen Modells, das schneller und kostengünstiger gelernt hat.

Kurz gesagt: Der Autor hat einen Weg gefunden, neue Räume zu einem Haus hinzuzufügen, ohne die Wände einzureißen oder die Bewohner zu verwirren. Durch den Einsatz einer präzisen mathematischen Drehung, das Mischen der richtigen Expansionsstrategien und das langsame Hochdrehen der Lautstärke hat er gezeigt, dass man KI-Modelle effizient wachsen lassen kann, wodurch Zeit und Energie gespart werden, während die Intelligenz des Modells intakt bleibt.

Technisches Resümee: Geschlossene Form der Residuenraum-Rotation für das Offline-Wachstum der Transformer-Breite

Problemstellung

Progressives Modelltraining zielt darauf ab, die Rechenkosten und die Wandzeit zu reduzieren, indem man mit einem kleineren Modell beginnt und dieses über mehrere Stufen zu einer gewünschten Größe erweitert. Die Erweiterung der Breite stellt jedoch eine kritische Herausforderung dar: die Balance zwischen der Bewahrung bereits gelernter Verhaltensweisen und der Lerneffizienz neu hinzugefügter Parameter zu halten. Wenn die Interaktion zwischen alten und neuen Subräumen zu begrenzt ist, tragen die vortrainierten Gewichte wenig zu neuen Eingaben bei; wenn sie ohne Kontrolle vermischt werden, kann die Erweiterung die gelernte Funktion stören. Bestehende Methoden konzentrieren sich primär auf funktionserhaltende Transformationen oder gelernte Wachstumsoperatoren und vernachlässigen dabei oft die spezifische geometrische Interaktion zwischen den „Eins-Einsen“-Richtungen (Mittelwert) der alten und neuen Subräume.

Methodik

Der Autor schlägt ein Offline-Wachstumsrezept vor, das aus drei primären Komponenten besteht, die darauf ausgelegt sind, den Übergang von einer kleineren Breite ( $d_{old}$ ) zu einer größeren Breite ( $d_{new}$ ) zu steuern.

1. Small Residual Integration Operator (SRIO)

Die zentrale Innovation ist eine offline angewendete, geschlossene orthogonale Rotation, die an den Eingangs- und Ausgangs-Residuengrenzen der Transformer-Blöcke operiert.

Mechanismus: SRIO operiert auf der zweidimensionalen Ebene, die von den All-Eins-Einheitsvektoren des alten Subraums ( $u_{old}$ ) und des neuen Subraums ( $u_{grow}$ ) aufgespannt wird.
Transformation:
- Ausgangsseite: Rotiert die Komponente des alten Subraums entlang $u_{old}$ in Richtung $u_{grow}$ .
- Eingangsseite: Wendet die inverse Rotation an, welche die Komponente des neuen Subraums entlang $u_{grow}$ in Richtung $u_{old}$ rotiert. Dies verbessert die „Lesestärke“ alter Gewichte für neue Eingaben.
Geschlossene Lösung: Der Operator wird durch eine kompakte $2 \times 2$ Zeilensummenmatrix ( $RSIO_{2\times2}$ ) definiert, die von einem einzelnen Hyperparameter $\epsilon$ abgeleitet ist. Dieser Parameter steuert den Input-Gain des neuen Blocks ( $RT_{new} = \epsilon$ ). Ein niedrigeres $\epsilon$ rotiert die Mittelrichtung des neuen Subraums aggressiver in Richtung des alten Subraums, was die Nutzung bestehender Gewichte priorisiert und gleichzeitig den Einfluss der neuen Gewichte auf sowohl alte als auch neue Eingaben drosselt.
LayerNorm-Transformation: Dieselbe orthogonale Matrix ( $SRIO\_R$ ) wird auf die LayerNorm-Skalierung ( $\gamma$ ) und den Shift ( $\beta$ ) angewendet, um die Gradienten-RMS-Verhältnisse zugunsten der neuen Blöcke zu verstärken.

2. Blockspezifische statische Expansionsstrategien

Der Autor stellte fest, dass Attention- und Feed-Forward-Netzwerk (FFN)-Blöcke unterschiedliche Expansionsstrategien benötigen:

Attention-Blöcke: Nutzen eine konvexe Expansion (inspiriert durch LiGO). Neue Eingabespalten und Ausgangszeilen werden durch konvexe Kombinationen bestehender Spalten und Zeilen unter Verwendung nicht-negativer Koeffizienten erzeugt, deren Summe eins ergibt.
FFN-Blöcke: Nutzen eine Tiled-Copy-Strategie. Die alten Gewichte werden in den „Neu-Neu“-Teil der Gewichtmatrizen für sowohl die Up-Projektion ($fc1$) als auch die Down-Projektion ($fc2$) gekachelt und beschnitten. Dies bewahrt die Funktion bestehender Neuronen, während es sie repliziert.

3. Skalarer Warmup-Gate

Ein Skalar-Gate ( $new\_dim\_alpha\_gate$ ) wird am Ausgang von Attention- und FFN-Blöcken vor der Residuen-Addition angewendet.

Funktion: Es beginnt bei Null und steigt über eine kurze initiale Trainingsdauer (2 Shards, ca. 40 Mio. Token) auf eins an.
Zweck: Dies begünstigt anfangs die Funktionserhaltung, indem es neue Ausgaben unterdrückt, und führt dann schrittweise den neuen Teil des Residuenstroms ein.

Wichtigste Beiträge und Experimentelles Setup

Die Studie evaluiert diese Komponenten mittels eines progressiven Trainingsprotokolls auf den Datensätzen OpenWebText, FineWeb und FineWeb-Edu. Die Modelle reichen von 24M bis 120M Parametern mit einer Kontextlänge von 256 Token. Das Training folgt einer Chinchilla-optimalen Token-Anzahl (20x Parameteranzahl) pro Stufe.

Vergleichende Varianten:
Das Paper evaluiert mehrere Residual Integration Operator (RIO) Varianten:

NRIO: Keine Operator (Baseline).
SRIO: Small RIO (vorgeschlagener geschlossener Form).
MRIO: Medium RIO (berücksichtigt mehrere Wachstumsstufen/Alter).
LRIO: Large RIO (vollständig dicht, über 100 Schritte gelernt, ähnlich wie LiGO).

Ergebnisse

In abgestimmten Experimenten, bei denen die Residuenbreite von 256 auf 384 erweitert wurde ( $d256 \to d384$ ):

Performance: Das vollständige Rezept (SRIO + blockspezifische Expansion + Warmup-Gate) erreichte einen Trainingsverlust von 4.2111.
Baselines: Dies übertraf die No-Operator-Baseline (4.2527) und eine Reimplementierung der LiGO-Kontrollen (4.2606) innerhalb derselben Codebasis.
Operator-Vergleich: Unter den Operatoren war die Reihenfolge der Performance im Allgemeinen $NRIO > LRIO > SRIO$. Die gelernte orthogonale Variante (SRIO-LO) schnitt geringfügig besser ab als die statische orthogonale Variante (SRIO-SO), aber der Unterschied lag innerhalb der Bereich der Run-to-Run-Seed-Variabilität, was darauf hindeutet, dass die statische geschlossene Lösung ausreichend ist.
Mehrstufige Machbarkeit: Die Methode wurde erfolgreich auf wiederholte Wachstumsstufen von 24M bis 120M Parametern angewendet, was die Machbarkeit für progressives Scaling demonstriert.
Komponenten-Impact: Der SRIO-Operator und die blockspezifischen Expansionsstrategien lieferten den signifikantesten positiven Effekt. Das Warmup-Gate zeigte konfigurationsabhängige Vorteile und war besonders nützlich bei LRIO und weniger kritisch bei der Kombination mit SRIO.

Bedeutung und Behauptungen

Das Paper behauptet, dass der vorgeschlagene Ansatz eine recheneffiziente Alternative zu gelernten Wachstumsoperatoren bietet. Durch die Ableitung einer geschlossenen Form der orthogonalen Rotation (SRIO), die gezielt auf die Interaktion zwischen den alten und neuen Mittelwertrichtungen abzielt, erreicht der Autor Funktionserhaltung und verbesserte Lerneffizienz, ohne den Laufzeit-Overhead von gelernten Operatoren während der Expansionsphase zu verursachen.

Der Autor betont:

Offline-Effizienz: SRIO und die Expansionsstrategien werden offline in die Modellgewichte integriert, sodass keine dauerhaften Laufzeit-Operatoren während des Trainings oder der Inferenz erforderlich sind (nur das kurze Warmup-Gate ist aktiv).
Subraum-Interaktion: Die Arbeit hebt die Wichtigkeit hervor, die geometrische Beziehung zwischen den alten und neuen Subräumen zu verwalten, insbesondere die „All-Eins“-Richtungen, um zu verhindern, dass die neuen Parameter die gelernte Funktion überwältigen oder isoliert bleiben.
Begrenzter Umfang: Die Studie beschränkt sich auf die Breitenexpansion (nicht Tiefe), verwendet ein spezifisches Vokabular (GPT-2 BPE) und operiert auf Modellen bis zu 120M Parametern. Der Autor merkt an, dass die Verifizierung auf Milliarden-Parameter-Skalen und mit anderen Vokabularien zukünftige Arbeit bleibt. Er räumt zudem ein, dass die spezifischen Auswirkungen von Residuen-Skew auf das nachfolgende Fine-Tuning (SFT) weiterer Untersuchungen bedarf.