💬 NLP

Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

Dit artikel toont aan dat decoder-only Transformers effectief kunnen blijven leren door nieuwe blokken te stapelen op een bevroren substraat met een begrensde actieve parameterbegroting, waarmee de levensvatbaarheid van modulaire, laagsgewijze expansie wordt aangetoond, zelfs onder extreme beperkingen zoals een low-rank binaire token-interface, zij het met een afweging in de uiteindelijke perplexiteit ten opzichte van volledig trainbare monolithische modellen.

Oorspronkelijke auteurs: A. Bochkov

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: A. Bochkov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wolkenkrabber bouwt, maar je hebt een zeer strenge regel: je mag op elk gegeven moment alleen aan de bovenste verdieping werken. Zodra een verdieping klaar is, verzegeld je deze met beton, sluit je de deuren en mag je nooit meer terug naar binnen om iets te repareren of te veranderen. Je hebt ook een beperkt budget voor bouwvakkers, dus je kunt niet elke keer een heel nieuw team inhuren als je een verdieping toevoegt; je verplaatst je kleine team gewoon naar het nieuwe niveau.

Dit artikel stelt een simpele vraag: Kun je onder deze extreme regels nog steeds een bruikbare, hoge wolkenkrabber bouwen?

Hier is de uiteenzetting van het onderzoek met behulp van alledaagse analogieën:

1. Het probleem van de "Bevroren Fundering"

Normaal gesproken moet bij het trainen van een gigantische AI (zoals een groot taalmodel) de computer onthouden hoe het elk onderdeel van het gebouw moet aanpassen terwijl het leert. Dit vereist een enorme hoeveelheid geheugen, net als het nodig hebben van een gigantisch magazijn om blauwdrukken voor elke baksteen op te slaan.

De onderzoekers wilden zien of ze een model konden trainen terwijl ze het "actieve" deel (het deel dat ze kunnen veranderen) klein en constant hielden.

De Strategie: Ze beginnen met een klein gebouw. Ze trainen het, en bevriezen het vervolgens (sluiten het af). Dan voegen ze een nieuwe verdieping bovenop toe en trainen ze alleen die nieuwe verdieping.
De Vangst: Ze gaan nooit terug naar de oude verdiepingen om ze aan te passen. Ze houden ook het aantal "werkers" (trainbare parameters) ongeveer gelijk, ongeacht hoe hoog het gebouw wordt.

2. De "Slechte Lift"-test

Om dit idee echt op de proef te stellen, creëerden de onderzoekers een extreem scenario. Stel je voor dat de begane grond (waar het gebouw de straat verbindt) kapot is.

De Opzet: In plaats van een rijke, gedetailleerde ingang, heeft het gebouw alleen een kleine, 16-bits binaire code (zoals een simpele "aan/uit"-schakelaar) om te identificeren in welke kamer je je bevindt. Het is een zeer armzalige, laagwaardige interface.
De Vraag: Als de ingang zo slecht is en de onderste verdiepingen volledig bevroren zijn, kunnen de bovenste verdiepingen dan nog steeds complexe taken leren?
Het Resultaat: Verrassend genoeg, ja. Zelfs met deze verschrikkelijke, bevroren ingang, kon de AI groeien en bruikbare dingen leren. Het bewees dat je niet per se een perfecte, flexibele ingang nodig hebt voor het hele gebouw om te functioneren; de bovenste verdiepingen kunnen erachter komen hoe ze de beperkte informatie die ze ontvangen, moeten interpreteren.

3. Het "Renovatie"-compromis (LoRA)

In de langere experimenten realiseerden de onderzoekers zich dat als de onderste verdiepingen te bevroren zijn, het gebouw een beetje stijf wordt. Om dit op te lossen zonder hun "kleine budget"-regel te breken, gebruikten ze een techniek genaamd LoRA.

De Analogie: Denk aan LoRA als het toevoegen van dunne, flexibele steigers of post-its aan de muren van elke verdieping. Je herbouwt de muren niet (de hoofdstructuur is nog steeds bevroren), maar je kunt kleine, tijdelijke aanpassingen maken aan hoe de kamers met elkaar verbonden zijn.
Het Voordeel: Dit stelde het model in staat om globaal te "herjusteren" zonder het hele enorme gebouw te hoeven ontgrendelen en opnieuw te trainen.

4. De Ruil: Kwaliteit versus Efficiëntie

Het artikel is zeer eerlijk over de resultaten. Het beweert niet dat deze methode beter is dan de standaard manier van bouwen (waarbij je elke verdieping tegelijk kunt aanpassen).

De Standaard Manier: Als je genoeg geheugen en geld hebt, levert het tegelijkertijd bouwen van het hele gebouw (monolithische training) een iets "slimmer" gebouw op (lagere perplexiteit, betere scores).
De Nieuwe Manier: De "groeien-terwijl-je-bouwt"-methode levert een gebouw op dat iets minder perfect is, maar veel efficiënter is. Het gebruikt aanzienlijk minder "actieve werkers" (ongeveer 105 miljoen versus 247 miljoen in hun tests) en vereist minder geheugen.

De Conclusie

Het artikel concludeert dat bruikbare leerprocessen kunnen plaatsvinden, zelfs onder zeer strenge beperkingen.

Je kunt de onderkant van het model bevroren houden.
Je kunt het aantal trainbare onderdelen klein houden.
Je kunt zelfs beginnen met een zeer slechte, vaste invoerinterface.

Hoewel dit niet de "beste" manier is om de slimst mogelijke AI te bouwen, bewijst het dat je niet het hele gebouw hoeft te ontgrendelen om nog steeds bruikbare hoogte toe te voegen. Het is een haalbare strategie voor situaties waar het geheugen krap is of waar je een model in fasen wilt laten groeien zonder enorme rekenkosten.

Wat het artikel NIET zegt:

Het beweert niet dat dit de beste manier is om AI voor algemeen gebruik te bouwen.
Het beweert niet dat deze methode de hoogst mogelijke intelligentie produceert.
Het suggereert niet dat dit klaar is voor klinische of commerciële inzet zonder verder onderzoek.

Het bewijst simpelweg dat groei mogelijk is, zelfs als je handboeien hebt aan strenge geheugen- en trainingsregels.

Technische Samenvatting: Groeiende Transformers: Modulaire Compositie en Laagsgewijze Uitbreiding op een Bevroren Substraat

1. Probleemstelling

Het trainen van taalmodellen op grote schaal wordt vaak beperkt door het geheugen voor optimizer-toestanden en niet alleen door het aantal parameters. Bij standaard dichte monolithische voortraining creëert het behouden van optimizer-toestanden voor alle trainbare parameters een schaalingsbottleneck onder vaste accelerator-geheugenbudgetten.

Dit artikel onderzoekt een beperkt trainingsregime om een specifieke haalbaarheidsvraag te beantwoorden: Kan de modeldiepte blijven groeien als de token-interface vastligt, eerder getrainde dichte blokken bevroren blijven en het actieve trainbare parameterpakket ongeveer constant wordt gehouden? De auteurs positioneren dit expliciet als een studie van afwegingen en levensvatbaarheid, niet als een bewering dat dit regime getuned dichte monolithische voortraining overtreft.

2. Methodologie

Het voorgestelde regime, genaamd "Constructieve Groei", werkt onder vier strikte beperkingen:

Vaste Token-interface: De invoer-embeddingslaag is tijdens de hele training vast en deterministisch. Het artikel onderzoekt twee varianten:
- Een bevroren visuele Unicode-interface (uit eerder werk).
- Een extreme stress-test: een bevroren 16-dimensionale binaire token-ID-code. Hierbij wordt elke token weergegeven door een 16-bits binaire code (de token-ID) die deterministisch wordt omgezet naar de modeldimensie ( $d_{model}$ ) via coördinatieherhaling. Dit resulteert in een invoer-embeddingsmatrix met een rang van maximaal 16, waardoor er geen geleerde hoogdimensionale semantiek aan de invoer bestaat.
Bevroren Substraat: Zodra een blok (of groep blokken) is getraind, wordt het bevroren. Het wordt nooit opnieuw geopend voor updates van alle parameters.
Beperkt Actief Budget: Naarmate de diepte toeneemt, worden alleen de nieuwst toegevoegde blokken en het Taalmodel (LM)-hoofd getraind. Het aantal actieve trainbare parameters blijft ongeveer constant.
Optionele LoRA-hernieuwing: Bij langere runs worden LoRA-stadia (Low-Rank Adaptation) tussen de groeifases ingevoegd. Deze stadia herschikken hetzelfde actieve trainbare budget naar adapters over alle lagen om beperkte globale hernieuwing mogelijk te maken zonder de dichte gewichten opnieuw te openen.

Trainingsprocedure:

Initialiseer een ondiep model boven de vaste interface.
Train de huidige bovenste stapel.
Bevries de getrainde dichte blokken.
Voeg een nieuwe blokgroep bovenop toe.
Train alleen de nieuwe groep en het LM-hoofd.
(Optioneel) Voeg LoRA-stadia in om globale representaties aan te passen terwijl het actieve parameterbudget wordt gehandhaafd.

3. Belangrijkste Bijdragen en Beweringen

Het artikel maakt nauwe, empirisch onderbouwde beweringen in plaats van brede beweringen over algoritmische superioriteit:

Definitie van een Beperkt Regime: De auteurs definiëren een specifiek trainingsprotocol dat een vaste deterministische token-interface, bevroren onderste blokken en een beperkt actief parameterbudget combineert.
Haalbaarheid van Groei op Minimale Interfaces: De studie toont aan dat nuttige voortdurende leerprocessen mogelijk zijn, zelfs boven een 16-dimensionale binaire token-ID-interface, waarbij de dimensie van de invoer-ruimte maximaal 16 is. Dit suggereert dat semantisch rijke trainbare invoer-embeddings geen strikte voorwaarde zijn voor het vormen van nuttige interne representaties in diepere lagen.
Kwaliteit-Geheugen Afweging: Het artikel kwantificeert de afweging tussen het aantal actieve parameters en de uiteindelijke perplexiteit.
- In een gecontroleerde studie met 9 lagen gebruikt het constructieve bevroren model 105,0M actieve trainbare parameters, vergeleken met 180,5M voor een interface-gelijkgestelde monolithische bevroren baseline en 247,6M voor een volledig trainbare monolithische baseline.
- Deze vermindering van actieve parameters komt met een prijs: de uiteindelijke trainingsperplexiteit stijgt van 3,71 (monolithisch bevroren) naar 4,12 (constructief bevroren).
Levensvatbaarheid van Groei op Lange Termijn: Een experiment met 16 lagen op een dataset van 68,9 miljard tokens (FineWeb-Edu + Cosmopedia) met de 16-dimensionale binaire interface en ingevoegde LoRA-stadia bereikte 28,92% MMLU. Dit dient als een demonstratie van levensvatbaarheid dat groei kan doorgaan onder extreme beperkingen, hoewel de veranderende data-mix een schone causale vergelijking verhindert.

4. Resultaten

Gecontroleerde Studie met 9 Lagen:
- Constructieve groei was stabiel, met transient verliespieken bij het stapelen van nieuwe lagen gevolgd door een snelle herstel.
- Het constructieve model (105M actieve parameters) behaalde downstream-prestaties (MMLU, ARC, SQuAD) in hetzelfde brede bereik als monolithische baselines, hoewel met een hogere perplexiteit.
- Het constructieve model dat boven de 16-dimensionale binaire interface werd getraind, convergeerde stabiel, wat bewijst dat de extreme rangbeperking (rang $\le$ 16) het model niet verhindert nuttige representaties in de bovenste lagen te leren.
Lange-termijn Run met 16 Lagen:
- Een model van 269,7M parameters (basissize) getraind met ingevoegde LoRA-stadia behaalde 28,92% MMLU.
- De auteurs merken op dat omdat de data-mix tussen de stadia veranderde (met toenemende instructie/SFT-mixing), dit resultaat wordt geïnterpreteerd als een demonstratie van levensvatbaarheid en niet als een causale schatting van groeidoeltreffendheid.

5. Betekenis en Beperkingen

Betekenis:
De primaire bijdrage van het artikel is een "nauwe maar nuttige bewering": nuttige voortdurende leerprocessen kunnen doorgaan boven een vaste minimale interface onder een beperkt actief trainbaar-parameterbudget. Dit is significant voor praktici met beperkte geheugenbudgetten die de modeldiepte willen uitbreiden zonder het geheugenoverhead van het behouden van optimizer-toestanden voor het hele model. Het daagt de aanname uit dat geleerde, hoogcapaciteits invoer-embeddings strikt noodzakelijk zijn voor dieptegroei.

Bescheidenheid en Beperkingen:
De auteurs zijn expliciet over wat het artikel niet beweert:

Het beweert niet dat constructieve groei de kwaliteit van getuned dichte monolithische voortraining evenaart (de perplexiteit is slechter).
Het beweert niet dat willekeurig geïnitieerd stapelen de beste generieke groeistrategie is in vergelijking met functiehoudende methoden (bijv. Net2Net).
De gecontroleerde vergelijkingen zijn experimenten met één run; kleine metrische verschillen zijn niet statistisch vastgesteld.
De studie met 9 lagen gebruikt een gemeenschappelijk protocol zonder hyperparameter-tuning specifiek voor de baseline, waardoor het een regimevergelijking is in plaats van een geoptimaliseerde beste-tegen-beste vergelijking.
De lange-termijn run verwardt causale toewijzing door veranderende data-mixen.
De 16-dimensionale binaire interface gebruikt een specifieke deterministische code-toewijzing; systematische vergelijkingen van alternatieve code-toewijzingen worden overgelaten aan toekomstig werk.

Kortom, het artikel stelt vast dat hoewel dichte monolithische training de sterkere baseline blijft voor kwaliteit wanneer middelen het toelaten, een beperkt regime van laagsgewijze uitbreiding op een bevroren substraat een levensvatbaar alternatief is voor scenario's waarbij actieve parameterbudgetten strikt begrensd moeten worden.