🤖 machine learning

Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

Dit artikel introduceert een strategie voor "orthogonale groei" die bestaande geconvergeerde Mixture-of-Experts-checkpoints hergebruikt door hun diepte en breedte uit te breiden, en toont aan dat deze aanpak aanzienlijk beter presteert dan training vanaf nul onder identieke rekenbudgetten door gebruik te maken van eerdere "verzonken kosten" om een hogere nauwkeurigheid te bereiken.

Oorspronkelijke auteurs: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Zonk Kosten"-Valstrik

Stel je voor dat je jaren en miljoenen dollars hebt besteed aan het bouwen van een enorme, hoogopgeleide bibliotheek van boeken (een voorgetraind AI-model). Je hebt het getraind op een enorme hoeveelheid data en het is uitstekend in wat het doet. Maar dan realiseer je je dat je een grotere bibliotheek nodig hebt om nog complexere vragen te kunnen beantwoorden.

De oude manier om dit te doen, is je bestaande bibliotheek af te breken en een nieuwe, grotere vanaf nul te bouwen. Dit is ongelooflijk duur en verspillend, omdat je al het werk dat je al hebt verzet, weggooit. In zakelijke termen is dit een "zonk kosten" (sunk cost) – geld en moeite die al zijn besteed en die je niet terug kunt krijgen.

Dit artikel vraagt: Kunnen we die oude bibliotheek recyclen in plaats van hem weg te gooien? Kunnen we het bestaande, goed getrainde model nemen en het laten "groeien" tot een groter, beter model zonder opnieuw te beginnen?

De Oplossing: "Orthogonale Groei"

De auteurs stellen een methode voor die Orthogonale Groei heet. Denk aan "orthogonaal" als "rechthoekig" of "onafhankelijk". Ze vonden twee verschillende manieren om het model groter te maken die elkaar niet beïnvloeden. Ze kunnen in elke volgorde worden uitgevoerd, zoals sokken aan doen voor schoenen of schoenen voor sokken – het resultaat is hetzelfde.

1. Dieptegroei: Meer Verdiepingen Toevoegen (De "Interpositie"-Truc)

Stel je voor dat je model een wolkenkrabber is met 20 verdiepingen. Om het hoger te maken, kun je gewoon een ander gebouw van 20 verdiepingen bovenop het eerste stapelen.

De Oude Manier (Stapelen): Als je gewoon een nieuw gebouw bovenop stapelt, moet de lift (de dataflow) springen van de bovenste verdieping van het oude gebouw direct naar de onderste verdieping van het nieuwe gebouw. Dit veroorzaakt een storende onderbreking. De "sfeer" van het gebouw verandert abrupt.
De Nieuwe Manier (Interpositie): In plaats van te stapelen, suggereren de auteurs het invoegen van kopieën van de bestaande verdiepingen tussen de originele verdiepingen.
- Analogie: Stel je een muzikale toonladder voor. Als je de noten C, D, E, F, G... hebt en je wilt het liedje langer maken, herhaal je niet het hele liedje aan het einde. In plaats daarvan voeg je een tweede "C" direct na de eerste "C" in, een tweede "D" na de eerste "D", en zo verder. Dit houdt het melodie glad en continu.
- Waarom het werkt: Het artikel vond dat goed getrainde modellen een specifiek "ritme" hebben in hoe hun lagen werken. Het invoegen van kopieën behoudt dit ritme, terwijl stapelen het verstoort. Deze methode werkt het beste wanneer het model al volledig getraind is (geconvergeerd).

2. Breedtegroei: Meer Experts Toevoegen (De "Specialist"-Truc)

Stel je nu voor dat het model een ziekenhuis is. In elke kamer (laag) zitten een paar artsen (experts) die gespecialiseerd zijn in verschillende dingen. Het model heeft een "router" die beslist welke arts er moet worden geroepen voor een specifieke patiënt.

De Oude Manier: Als je de artsen gewoon exact kopieert, heb je twee identieke artsen in de kamer. Ze zullen precies hetzelfde doen, wat overbodig en verwarrend is.
De Nieuwe Manier: De auteurs suggereren de artsen te kopiëren, maar een klein beetje "statische storing" of "ruis" aan de nieuwe toe te voegen.
- Analogie: Stel je voor dat je een meesterkok hebt. Je huurt een kloon van die kok in, maar je geeft de kloon een iets ander kruidenrek of een kleine kras op zijn schort. Dit kleine verschil dwingt de kloon zijn eigen unieke stijl te ontwikkelen en zich te specialiseren in iets andere gerechten, in plaats van de meester perfect te kopiëren.
- Waarom het werkt: Dit kleine beetje ruis helpt de nieuwe experts om te leren verschillende taken te doen (specialisatie) zonder de kennis die de oorspronkelijke experts al hebben, te vernietigen.

De Resultaten: Meer Buit voor je Geld

De onderzoekers testten dit op modellen variërend van 3 miljard tot 70 miljard parameters. Hier is wat ze vonden:

Recyclen Werkt: Je kunt een kleiner, volledig getraind model nemen en het laten uitgroeien tot een enorm model.
Beter dan Van Nieuws Beginnen: Toen ze het laten groeien van een model vergeleken met het trainen van een nieuw, groot model vanaf nul met dezelfde hoeveelheid extra rekenkracht, was het "groeimodel" 10,6% nauwkeuriger.
Meer Investering = Betere Resultaten: Hoe meer "zonk kosten" (trainingsduur en data) je in het oorspronkelijke kleine model steekt voordat je het laat groeien, hoe beter het uiteindelijke grote model presteert. Het is als investeren in een sterke fundering; hoe hoger je erop bouwt, hoe beter het gebouw staat.
Volgorde Maakt Niet Uit: Je kunt eerst verdiepingen toevoegen en dan experts, of eerst experts en dan verdiepingen. Het uiteindelijke resultaat is hetzelfde.

De Conclusie

Dit artikel biedt een blauwdruk voor "duurzame" AI-ontwikkeling. In plaats van constant geld te verbranden om nieuwe modellen vanaf nul te bouwen, kunnen we de modellen die we al hebben, voorzichtig uitbreiden met deze twee trucs (lagen invoegen en ruis toevoegen aan experts), en zo een aanzienlijk slimmer, groter model krijgen voor minder geld. Het verandert de "afval" van zonk kosten in een waardevol bezit.

Technische Samenvatting: Voorbij Zinkende Kosten: Verbetering van de Efficiëntie van Pre-training van Grootte Taalmodellen via Orthogonale Groei van Mixtures-of-Experts

Probleemstelling

De rekenkundige eisen voor pre-training van Grootte Taalmodellen (LLMs) stijgen sterk, doch bestaande voorgeïmplementeerde checkpoints worden vaak onvoldoende benut vanwege architecturale beperkingen. Huidige strategieën voor modelgroei richten zich doorgaans op het uitbreiden van modellen tijdens de vroege trainingsfasen, waardoor ze niet inspelen op de aanzienlijke "zinkende kosten" (eerdere rekenkundige investering) van goed geconvergeerde checkpoints. Bovendien is de toepassing van modelgroei op Mixture-of-Experts (MoE)-architecturen, die steeds dominanter worden in grootschalige LLM's, niet systematisch onderzocht. De kernuitdaging ligt in het bepalen hoe geconvergeerde MoE-modellen effectief kunnen worden "gerecycleerd" om grotere, capabelere modellen te creëren zonder de geleerde kennis en geoptimaliseerde parameters van het basismodel te verwerpen.

Methodologie

De auteurs stellen een framework voor "orthogonale groei" voor dat is ontworpen om geconvergeerde MoE-modellen uit te breiden langs twee onafhankelijke dimensies: Diepte (verhogen van het aantal lagen) en Breedte (verhogen van het aantal experts).

1. Dieptegroei: Interpositioneel versus Stapelen

Het artikel vergelijkt twee methoden voor het uitbreiden van de modeldiepte:

Stapelen: Het concateneren van de oorspronkelijke reeks lagen $k$ keer ( $l_1, \dots, l_n, l_1, \dots, l_n$ ).
Interpositionele Groei: Het dupliceren van elke laag op zijn plaats ( $l_1, l_1, \dots, l_2, l_2, \dots$ ).

Kerninzicht: Analyse van voorgeïmplementeerde LLM's onthult een karakteristieke verdeling van de genormeerde gewichten per laag: de normen zijn klein in de eerste lagen, nemen monotoon toe door het midden heen en nemen licht af tegen het einde. Dit patroon is een structurele signatuur van gezonde convergentie.

Stapelen verstoort deze monotoon trend door normen van vroege lagen na normen van late lagen te plaatsen, waardoor scherpe discontinuïteiten ontstaan die het model tijdens verdere training moet "repareren".
Interpositionele Groei behoudt de geleerde trajecten van de gewichtsnormen door lagen op hun plaats te dupliceren, waardoor de gladde structurele progressie behouden blijft.
Drempel: De superioriteit van interpositionele groei wordt kritiek zodra het basismodel is getraind voorbij de compute-optimale FLOPs zoals gedefinieerd door de Chinchilla-schaalwetten (ongeveer $1\times F_c$ ).

2. Breedtegroei: Ruizige Expertduplicatie

Om de modelbreedte uit te breiden, verdubbelen de auteurs zowel het totale aantal experts ( $E \to 2E$ ) als het aantal geactiveerde experts ( $k \to 2k$ ).

Initialisatiestrategie: Nieuwe experts worden geïnitieerd door de gewichten van bestaande experts te kopiëren en een kleine hoeveelheid Gaussisch ruis toe te voegen ( $\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ met $\alpha \approx 0.01$ ).
Redenering: Exacte duplicatie creëert perfecte symmetrie, wat functionele divergentie verhindert. Een kleine verstoring breekt deze symmetrie net genoeg om de router in staat te stellen experts te onderscheiden tijdens verdere training, terwijl de geleerde representaties behouden blijven. Dit contrasteert met "upcycling" vanuit dichte modellen, wat vaak hoge ruisniveaus ( $\ge 50\%$ ) en een willekeurige routerinitialisatie vereist.

3. Orthogonaliteit

Het artikel toont aan dat diepte- en breedtegroei orthogonaal zijn.

Structurele Disjunctie: Dieptegroei voegt nieuwe lagen toe; breedtegroei voegt nieuwe experts toe binnen bestaande lagen. Ze werken op niet-overlappende parameterreeksen.
Optimalisatiedynamiek: Gradiëntanalyse toont aan dat de optimalisatierichtingen voor diepte-uitgebreide en breedte-uitgebreide modellen bijna orthogonaal zijn ten opzichte van de richting voor de groei en ten opzichte van elkaar.
Onafhankelijkheid van Volgorde: De uiteindelijke prestatie is invariant ten opzichte van de volgorde van uitbreiding (diepte dan breedte versus breedte dan diepte), wat bevestigt dat de strategieën flexibel kunnen worden geïntegreerd.

Belangrijkste Resultaten

Het framework is gevalideerd door uitgebreide experimenten op modellen variërend van 3B tot 70B parameters, gebruikmakend van een dataset van 1 biljoen tokens.

Effectiviteit van Dieptegroei: Op een 3B MoE-model dat is uitgegroeid tot 6B, presteerde de interpositionele methode consistent beter dan stapelen, zowel in trainingsverlies als in downstream-nauwkeurigheid. Het prestatieverschil nam toe naarmate het basismodel meer geconvergeerd was.
Correlatie met Zinkende Kosten: Er is een sterke positieve correlatie tussen de hoeveelheid "zinkende FLOPs" (trainingsstappen voor de groei) en de uiteindelijke nauwkeurigheid van het gegroeide model. Modellen die zijn gegroeid vanuit latere, meer geconvergeerde checkpoints, bereikten hogere uiteindelijke prestaties dan die welke zijn gegroeid vanuit eerdere checkpoints, zelfs met identieke extra rekenbudgetten.
Vergelijking met Training van Scratch:
- Onder een vast extra rekenbudget presteerde modelgroei aanzienlijk beter dan het trainen van een groot model vanaf nul (bijvoorbeeld een verbetering van 10,6% in de nauwkeurigheid in het 70B-experiment).
- Onder een vast totaal rekenbudget (zinkend + extra) leverde modelgroei resultaten op die vergelijkbaar waren met of licht superieur waren aan training vanaf nul, mits de groei werd gestart vanuit een checkpoint met voldoende zinkende kosten.
Schaalbaarheid: De methode slaagde erin een 17B MoE-model (getraind op ~600B tokens) uit te breiden naar 70B parameters (getraind op in totaal 1T tokens). Het uiteindelijke 70B-model behaalde een gemiddelde nauwkeurigheid van 64,17, wat 5,62 punten hoger was dan de 17B-baseline en een relatieve winst van 10,6% bood ten opzichte van de 70B-baseline getraind vanaf nul, onder hetzelfde budget voor extra FLOPs.

Betekenis en Beweringen

Het artikel claimt een kosteneffectief blauwdruk voor duurzame grootschalige LLM-ontwikkeling te bieden. De primaire betekenis ligt in:

Recyclen van Zinkende Kosten: Aantonen dat voorgeïmplementeerde checkpoints, die vaak worden gezien als wegwerpbare tussenliggende activa, systematisch kunnen worden benut om grotere modellen te creëren, waardoor de waarde van eerdere rekenkundige investeringen wordt behouden.
Optimale Groeistrategieën: Vaststellen dat voor goed geconvergeerde modellen interpositionele laagkopie en duplicatie van experts met minimale ruis superieur zijn aan traditioneel stapelen en willekeurige initialisatie.
Orthogonale Schaling: Bewijzen dat diepte en breedte onafhankelijk en in elke volgorde kunnen worden uitgebreid zonder interferentie, wat flexibiliteit biedt in schalingsscenario's met beperkte middelen.
Efficiëntie: Aantonen dat groei prestatiewinst kan behalen die training vanaf nul overtreft onder identieke extra rekenbudgetten, waardoor de drempel voor pre-training van modellen op de voorgrond van de technologie effectief wordt verlaagd.

De auteurs benadrukken dat dit werk geen nieuwe maatschappelijke risico's introduceert die verder gaan dan die inherent zijn aan LLM's, maar wel beoogt de ecologische voetafdruk van modelontwikkeling te verminderen door de trainings-efficiëntie te verbeteren.