💻 computer science

Closed-Form Residual-Space Rotation for Offline Transformer Width Growth

Dit artikel stelt een offline recept voor het progressief uitbreiden van de Transformer-breedte voor, dat een gesloten vorm van een Small Residual Integration Operator (SRIO) combineert met blokspecifieke expansiebeleid en een scalaire warmup-gate om de trainingsverlies aanzienlijk te verbeteren en geleerde gedragingen tijdens modelgroei te behouden.

Oorspronkelijke auteurs: Ramasubramanian B

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ramasubramanian B

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om verhalen te schrijven. Je begint met een piepkleine robot die een heel klein brein heeft. Het leert de basis snel, maar het is te simpel om een meesterwerk te schrijven. Om het beter te maken, zou je de kleine robot gewoon kunnen weggooien en een gigantische robot vanaf nul kunnen bouwen, maar dat duurt eeuwen en kost een fortuin aan elektriciteit. Je kunt ook proberen het brein van de kleine robot te "laten groeien", door nieuwe neuronen toe te voegen om het breder en slimmer te maken. Dit wordt modelexpansie genoemd.

Het lastige deel van het laten groeien van een brein is dat de nieuwe onderdelen niet weten hoe ze met de oude onderdelen moeten communicen. Als je er zomaar een nieuw gedeelte tegenaan bout, kan het oude brein het nieuwe gedeelte negeren, of kan het nieuwe brein per ongeluk de herinneringen die het oude brein zo hard heeft opgebouwd, verstoren. Het is als het toevoegen van een nieuwe vleugel aan een huis zonder de gang te verbinden; de nieuwe kamer is er wel, maar niemand kan erin komen, of erger nog, het hele huis begint te schudden. Wetenschappers proberen al een tijdje de perfecte "lijm" te vinden om deze oude en nieuwe hersendelen te verbinden, zodat de robot zijn oude vaardigheden behoudt terwijl hij nieuwe leert. Dit artikel gaat over het vinden van die perfecte lijm.

Het Recept voor Breinversterking: Een Nieuwe Manier om AI te laten Groeien

De auteur van dit artikel, Ramasubramanian B van Tech-Aarvam, heeft een slim "recept" bedacht om AI-modellen (de robotbreinen) offline te laten groeien. In plaats van de AI te laten leren hoe hij moet groeien terwijl hij draait, doen zij het zware werk vooraf, zoals een chef die ingrediënten voorbereidt voordat de gasten arriveren. Hun doel is om een kleiner model te nemen en het uit te breiden om breder te worden zonder de voortgang die het al heeft gemaakt te verliezen.

Beschouw het AI-model als een team van arbeiders die een emmer water in een lijn doorgeven. De "breedte" van het model is hoeveel mensen er in die lijn staan. Wanneer je meer mensen aan de lijn toevoegt, moet je ervoor zorgen dat de nieuwe mensen precies weten hoe ze de emmer moeten vasthouden en doorgeven zonder een druppel te morsen. Het artikel suggereert dat de beste manier om dit te doen bestaat uit drie specifieke ingrediënten: een speciale rotatietruc, verschillende groeiregels voor verschillende taken, en een zachte "opwarming" voor de nieuwe arbeiders.

1. De Magische Draai: SRIO

De ster van de show is iets genaamd SRIO (Small Residual Integration Operator). Stel je voor dat het oude deel van het brein en het nieuwe deel van het brein twee verschillende talen spreken. Wanneer je nieuwe neuronen toevoegt, spreken ze een iets ander dialect. Als je ze er zomaar bij plugt, begrijpen de oude neuronen de nieuwe misschien niet, en kunnen de nieuwe neuronen in de war raken door de oude.

SRIO werkt als een vertaler die een precieze "draai" of rotatie op de data uitvoert. Het verandert de informatie zelf niet, maar het roteert de richting van de nieuwe data zodat deze perfect uitlijnt met de oude data. Specifiek roteert het de "gemiddelde" richting van de nieuwe neuronen naar de oude toe. Dit zorgt ervoor dat de oude gewichten (de herinneringen van het brein) de nieuwe inputs veel sterker lezen. De auteur ontdekte dat deze rotatie een "closed-form" wiskundige oplossing is, wat betekent dat het een vaste formule is die ze direct kunnen berekenen, in plaats van iets dat de AI langzaam moet leren. Het is als het hebben van een kant-en-klare kaart die je precies vertelt hoe je de nieuwe kamer moet draaien zodat deze aansluit op de oude gang.

2. Verschillende Regels voor Verschillende Taken

Het artikel ontdekte dat je niet elk deel van het brein op dezelfde manier kunt behandelen. De AI heeft twee hoofdtypen arbeiders: Attention-arbeiders (die beslissen waar ze op moeten letten) en FFN-arbeiders (die de informatie verwerken).

Voor de Attention-arbeiders: De auteur gebruikte een "convex expansie". Stel je voor dat je de bestaande arbeiders neemt en nieuwe creëert door hun vaardigheden te mengen, zoals het mengen van twee kleuren verf om een nieuwe tint te krijgen. Dit creëert nieuwe arbeiders die een vloeiende mix zijn van de oude.
Voor de FFN-arbeiders: Zij gebruikten een "tiled copy". Dit is also kind van een enkele arbeider nemen en hem fotokopiëren om de nieuwe ruimte te vullen. Omdat deze arbeiders specifieke kenmerken afhandelen, werkt het kopiëren van hen direct beter dan het mengen.

Het artikel laat zien dat het mengen van deze twee strategieën — mengen voor aandacht en kopiëren voor verwerking — veel beter werkt dan slechts één methode voor alles te gebruiken.

3. De Zachte Opwarming

Zelfs met de perfecte rotatie en de juiste expansie, kunnen de nieuwe arbeiders te enthousiast zijn en direct over de oude heen schreeuwen. Om dit op te lossen, voegde de auteur een scalar warmup gate toe. Denk aan dit als een volumeknop. Wanneer de nieuwe arbeiders net zijn toegetreden, staat hun volume volledig op nul. Gedurende een korte periode (ongeveer 40 miljoen woorden aan training) wordt het volume langzaam omhoog gedraaid. Dit laat het oude brein zijn werk blijven doen terwijl het nieuwe brein langzaam leert hoe het kan bijdragen zonder chaos te veroorzaken.

Wat Ze Hebben Gevonden

De auteur testte dit recept door een model te laten groeien van een breedte van 256 naar 384. Ze vergeleken hun methode met twee andere benaderingen: niets bijzonders doen (gewoon willekeurige nieuwe onderdelen toevoegen) en een andere methode genaamd LiGO (die probeert de groeiregels tijdens het proces te leren).

De resultaten waren duidelijk:

De "Niets doen"-benadering resulteerde in een trainingsverlies van 4.2527.
De LiGO-benadering (geherimplementeerd in hun code) resulteerde in een verlies van 4.2606.
Hun volledige recept (SRIO + specifieke expansie + warmup) bereikte een verlies van 4.2111.

In de wereld van AI-training betekent een lager "loss"-getal dat het model minder fouten maakt. Hun methode was dus de duidelijke winnaar en versloeg de anderen met een merkbare marge. Ze lieten ook zien dat dit werkt, zelfs wanneer het model meerdere keren wordt uitgebreid, van 24 miljoen parameters tot wel 120 miljoen parameters, wat bewijst dat dit een recept is dat herhaaldelijk kan worden gebruikt.

Wat Ze Hebben Uitgesloten

Het artikel testte ook verschillende andere ideeën om te zien of ze werkten. Ze probeerden verschillende maten van de rotatie-operator (Medium en Large versies) en vonden dat de "Kleine" versie (SRIO) net zo goed, zo niet zelfs beter, was en veel eenvoudiger. Ze testten ook of de AI de rotatieregels tijdens de training moest leren (een "leer"-modus) versus het gebruik van hun vaste wiskundige formule (een "statische" modus). Ze ontdekten dat de statische, vooraf berekende formule net zo goed werkte als de formule die de AI probeerde te leren, wat betekent dat je geen tijd hoeft te verspillen aan het leren van de AI hoe hij moet groeien; je kunt hem gewoon de instructies geven.

Waarom Het Belangrijk Is

De schoonheid van deze methode is dat deze offline is. De complexe wiskunde en rotaties vinden plaats voordat het model opnieuw begint te trainen. Zodra het model is gegroeid, zijn de speciale rotatietrucs in de gewichten van het model "gevouwen" en verdwijnen ze. Dit betekent dat de AI geen extra rekenkracht nodig heeft om te draaien; het is gewoon een iets grotere, slimmere versie van het origineel die sneller en goedkoper heeft geleerd.

Kortom, de auteur heeft een manier gevonden om kamers aan een huis toe te voegen zonder de muren neer te halen of de bewoners in de war te brengen. Door een precieze wiskundige draai te gebruiken, de juiste expansiestrategieën te mengen en het volume langzaam omhoog te draaien, hebben ze aangetoond dat je AI-modellen efficiënt kunt laten groeien, waardoor tijd en energie worden bespaard terwijl de intelligentie van het model intact blijft.

Technische Samenvatting: Closed-Form Residual-Space Rotatie voor Offline Transformer Breedtegroei

Probleemstelling

Progressieve modeltraining streeft naar het verminderen van computationele kosten en de wandkloktijd door te beginnen met een kleiner model en dit over meerdere fasen uit te breiden naar de gewenste omvang. Echter, breedte-expansie vormt een kritieke uitdaging: het balanceren van het behoud van eerder geleerde gedragingen met de leereffectiviteit van nieuw toegevoegde parameters. Als de interactie tussen oude en nieuwe subruimtes te beperkt is, dragen de vooraf getrainde gewichten weinig bij aan nieuwe inputs; als ze zonder controle worden gemengd, kan de expansie de geleerde functie verstoren. Bestaande methoden richten zich primair op functie-behoudende transformaties of geleerde groeiautoriteiten, waarbij de specifieke geometrische interactie tussen de "all-ones" (gemiddelde) richtingen van de oude en nieuwe subruimtes vaak wordt verwaarloosd.

Methodologie

De auteur stelt een offline groeirecept voor dat uit drie primaire componenten bestaat, ontworpen om de overgang van een kleinere breedte ( $d_{old}$ ) naar een grotere breedte ( $d_{new}$ ) te beheren.

1. Small Residual Integration Operator (SRIO)

De kerninnovatie is een offline, closed-form orthogonale rotatie die wordt toegepast op de input- en output-residuele grenzen van transformer-blokken.

Mechanisme: SRIO opereert op het tweedimensionale vlak gespannen door de all-ones eenheidsvectoren van de oude subruimte ( $u_{old}$ ) en de nieuwe subruimte ( $u_{grow}$ ).
Transformatie:
- Output-zijde: Roteert de component van de oude subruimte langs $u_{old}$ naar $u_{grow}$ .
- Input-zijde: Past de inverse rotatie toe, waarbij de component van de nieuwe subruimte langs $u_{grow}$ naar $u_{old}$ wordt geroteerd. Dit verbetert de "leessterkte" van oude gewichten voor nieuwe inputs.
Closed-Form Oplossing: De operator wordt gedefinieerd door een compacte $2 \times 2$ rij-som matrix ( $RSIO_{2\times2}$ ) afgeleid van een enkele hyperparameter $\epsilon$ . Deze parameter controleert de input nieuwe-blok winst ( $RT_{new} = \epsilon$ ). Een lagere $\epsilon$ roteert de gemiddelde richting van de nieuwe subruimte agressiever naar de oude subruimte, wat de prioriteit geeft aan het gebruik van bestaande gewichten terwijl de invloed van de nieuwe gewichten op zowel oude als nieuwe inputs wordt afgeremd.
LayerNorm Transformatie: Dezelfde orthogonale matrix ( $SRIO\_R$ ) wordt toegepast op de LayerNorm schaal ( $\gamma$ ) en verschuiving ( $\beta$ ) parameters om de gradiënt RMS-ratio's in het voordeel van de nieuwe blokken te verhogen.

2. Blok-Specifieke Statische Expansiebeleid

De auteur stelde vast dat Attention- en Feed-Forward Network (FFN) blokken baat hebben bij verschillende expansiestrategieën:

Attention Blokken: Gebruiken een convexe expansie (geïnspireerd door LiGO). Nieuwe inputkolommen en outputrijen worden gecreëerd via convexe combinaties van bestaande kolommen en rijen met behulp van niet-negatieve coëfficiënten die samen één vormen.
FFN Blokken: Gebruiken een tiled-copy strategie. De oude gewichten worden getiled en bijgesneden in de nieuwe "nieuwe-nieuwe" delen van de gewichtsmatrices voor zowel de up-projectie ($fc1$) als de down-projectie ($fc2$) lagen. Dit behoudt de functie van bestaande neuronen terwijl ze worden gerepliceerd.

3. Scalaire Warmup Gate

Een scalaire gate ( $new\_dim\_alpha\_gate$ ) wordt toegepast op de output van attention en FFN blokken vóór de residuele optelling.

Functie: Het begint bij nul en neemt geleidelijk toe naar één over een korte initiële trainingsduur (2 shards, ca. 40M tokens).
Doel: Dit bevoordeelt initieel de functie-behoud door nieuwe outputs te onderdrukken, en introduceert vervolgens geleidelijk het nieuwe deel van de residuele stroom.

Belangrijkste Bijdragen en Experimentele Opzet

De studie evalueert deze componenten met behulp van een progressief trainingsprotocol op OpenWebText, FineWeb en FineWeb-Edu datasets. Modellen variëren van 24M tot 120M parameters, met een contextlengte van 256 tokens. Training volgt een Chinchilla-optimale tokencount (20x parametercount) per fase.

Vergelijkbare Varianten:
Het paper evalueert verschillende Residual Integration Operator (RIO) varianten:

NRIO: Geen operator (baseline).
SRIO: Small RIO (voorgestelde closed-form).
MRIO: Medium RIO (houdt rekening met meerdere groeifases/ouderdommen).
LRIO: Large RIO (volledig dicht, geleerd over 100 stappen, vergelijkbaar met LiGO).

Resultaten

In overeenstemstige experimenten waarbij de residuele breedte werd vergroot van 256 naar 384 ( $d256 \to d384$ ):

Prestaties: Het volledige recept (SRIO + blok-specifieke expansie + warmup gate) bereikte een trainingsverlies van 4.2111.
Baselines: Dit presteerde beter dan de no-operator baseline (4.2527) en een reimplementatie van LiGO controls (4.2606) binnen dezelfde codebase.
Operator Vergelijking: Onder de operators was de volgorde van prestaties over het algemeen $NRIO > LRIO > SRIO$. De geleerde orthogonale variant (SRIO-LO) presteerde iets beter dan de statische orthogonale variant (SRIO-SO), maar het verschil lag binnen de marge van de run-to-run seed variabiliteit, wat suggereert dat de statische closed-form oplossing voldoende is.
Multi-Stage Haalbaarheid: De methode werd succesvol toegepast op herhaalde groeifases van 24M naar 120M parameters, wat de haalbaarheid voor progressieve schaling aantoont.
Component Impact: De SRIO operator en de blok-specifieke expansiebeleid leverden de meest significante positieve impact. De warmup gate toonde configuratie-afhankelijke voordelen, waarbij deze het meest nuttig was met LRIO en minder kritiek was wanneer gecombineerd met SRIO.

Betekenis en Claims

Het paper claimt dat de voorgestelde methode een computationeel efficiënt alternatief biedt voor geleerde groeiautoriteiten. Door een closed-form orthogonale rotatie (SRIO) af te leiden die specifiek gericht is op de interactie tussen de oude en nieuwe gemiddelde richtingen, bereikt de auteur zowel functie-behoud als verbeterde leereffectiviteit zonder de runtime overhead van geleerde operatoren tijdens de expansiefase.

De auteur benadrukt dat:

Offline Efficiëntie: De SRIO en expansiebeleid worden offline in de modelgewichten verwerkt, waardoor er geen persistente runtime-operatoren nodig zijn tijdens training of inferentie (alleen de korte warmup gate is actief).
Subspace Interactie: Het werk benadrukt het belang van het beheren van de geometrische relatie tussen oude en nieuwe subruimtes, specif{%}