🤖 machine learning

Training nGPT

Dit artikel presenteert een praktisch trainingsrecept voor de genormaliseerde Transformer (nGPT) dat technieken zoals Logit Gradient Preconditioning en GatedAdamW incorporeert, waardoor 14B-parameter hybride Mamba-Transformer MoE-modellen dezelfde validatieverlies bereiken als hun ongenormaliseerde tegenhangers met ongeveer de helft van de trainingstokens.

Oorspronkelijke auteurs: Ilya Loshchilov, Boris Ginsburg

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ilya Loshchilov, Boris Ginsburg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van kunstmatige intelligentie voor als een enorme, bruisende bibliotheek waar computers proberen te leren verhalen te schrijven, wiskundige problemen op te lossen en te chatten als mensen. Om dit te doen, gebruiken ze speciale wiskundige structuren die "neurale netwerken" worden genoemd, die lijken op massieve, onderling verbonden webben van neuronen. Binnen deze webben reist informatie als getallen, en het netwerk leert door de sterkte van de verbindingen tussen deze neuronen aan te passen. Al een tijdje merken wetenschappers dat deze getallen rommelig kunnen worden—soms groeien ze te groot, soms krimpen ze tot niets, en raakt het hele systeem in de war over welke richting het moet op om slimmer te worden. Dit is een beetje alsof je een steile, mistige berg op probeert te lopen terwijl je een rugzak draagt die constant van gewicht verandert; je neemt misschien een stap vooruit, om vervolgens direct weer naar beneden te glijden. Het doel van dit onderzoek is om een betere manier te vinden om die rugzak te dragen, zodat de computer de berg van het leren veel sneller en efficiënter kan beklimmen.

Het artikel dat u zojuist heeft gelezen, komt van het team bij NVIDIA, onder leiding van Ilya Loshchilov en Boris Ginsburg. Zij pakken een specifiek probleem aan: hoe we AI-modellen beter kunnen laten leren door al hun interne getallen te dwingen om op een perfecte, onzichtbare sfeer te blijven. Denk hierbij aan een regel die zegt: "Hoe ver je ook loopt, je moet altijd precies één mijl van het centrum van de stad blijven." Deze regel, genaamd "normalisatie", houdt de getallen ervan tegen dat ze te groot of te klein worden, wat de computer helpt gefocust te blijven. De auteurs bouwden voort op een eerder idee genaamd "nGPT" (normalized GPT) en testten dit op een zeer moderne, krachtige vorm van AI die twee verschillende technologieën mengt: "Mamba-2" (dat geweldig is in het onthouden van lange sequenties) en "Transformers" (die uitstekend zijn in het begrijpen van context). Ze wilden zien of hun nieuwe set trainingsregels deze hybride modellen sneller kon laten leren dan de standaardmethode.

Het Grote Idee: Een Nieuw Trainingsrecept

De auteurs hebben niet alleen aan één ding gesleuteld; ze hebben een heel nieuw "trainingsrecept" samengesteld voor deze AI-modellen. Stel je voor dat je een robot leert lopen. De oude manier (met behulp van een standaardmethode genaamd AdamW) is als het laten struikelen van de robot, waarbij hij soms enorme, onhandige stappen zet en op andere momenten kleine, aarzelende stapjes, terwijl hij hoopt uiteindelijk het pad te vinden. Het nieuwe recept, dat ze het nGPT-trainingsrecept noemen, is als het zetten van de robot op een loopband met een zeer specifieke set regels om zijn stappen perfect te houden.

Hier is hoe ze het deden, onderverdeeld in eenvoudige, alledaagse concepten:

1. De "Logit Gradient Preconditioning" (De Volumeknop)
Wanneer de AI probeert het volgende woord in een zin te raden, produceert het een lijst met scores genaamd "logits". In het oude systeem kon het volume van deze scores tijdens de training vreemd hard of juist heel zacht worden, wat de robot in verwarring bracht over hoe hard hij moest duwen. De auteurs voegden een speciale "volumeknop" toe (een leerbaar schaalvector) die ze konden aanpassen. Maar hier komt het slimme deel: ze realiseerden zich dat als ze alleen maar aan de knop zouden draaien, het de herinnering van de robot aan hoe hij moest lopen zou verstoren. Dus bedachten ze een truc genaamd Logit Gradient Preconditioning. Het is als een volumeknop die het geluid dat je hoort verandert, maar wanneer de robot probeert te leren van een fout, past het systeem het volume automatisch weer terug naar normaal, zodat de robot niet in de war raakt. Dit houdt het leerproces stabiel, zelfs als de "luidheid" van de voorspellingen verandert.

2. De "Logarithmic Learning Rate Decay" (De Speed Racer)
Normaal gesproken, wanneer je een AI traint, begin je met een hoge leersnelheid en vertraag je deze langzaam, zoals een coureur die de gaspedaal steeds minder diep indrukt. De auteurs ontdekten dat de standaard manier van vertragen (zoals een vloeiende curve) niet het beste was voor hun nieuwe "sfeer"-systeem. In plaats daarvan gebruikten ze een "Logarithmic Learning Rate Decay". Stel je een raceauto voor die met een enorme snelheid wegrijdt, in het begin zeer snel afremt om zijn weg te vinden, en vervolgens een lange, stabiele staart volgt voor de rest van de race. Deze "front-geladen" planning laat het model de basis snel leren en daarna de vaardigheden over een lange periode verfijnen, wat veel efficiënter bleek te zijn.

3. "GatedAdamW" (De Slimme Poortwachter)
De standaard manier om de hersenen van de robot bij te werken, wordt AdamW genoemd. De auteurs hebben dit geüpgraded naar GatedAdamW. Denk aan de standaardmethode als een poortwachter die elke update doorlaat, zelfs als de update minuscuul is en nauwelijks opvalt. Soms zijn deze kleine updates slechts ruis. De nieuwe GatedAdamW heeft een "slimme poort" die naar elke update kijkt. Als een update te klein is (als een fluistering), zegt de poortwachter zachtjes: "Niet vandaag," en blokkeert de update. Als de update een schreeuw is (een significante verandering), zwaait de poort wijd open. Dit voorkomt dat de robot energie verspilt aan kleine, nutteloze aanpassingen en helpt hem te focussen op de grote, belangrijke veranderingen.

4. De "Angular Step Cap" (Het Veiligheidslijntje)
Omdat de robot op een sfeer loopt, kan het nemen van een te grote stap ervoor zorgen dat hij de controle verliest of naar de verkeerde kant van de wereld springt. De auteurs voegden een "Angular Step Cap" toe, wat werkt als een veiligheidslijntje. Als de robot probeert een stap te nemen die te groot is, trekt het lijntje hem voorzichtig terug naar een veilige, kleinere hoek. Dit zorgt ervoor dat de robot nooit een wilde, gevaarlijke sprong maakt, waardoor zijn reis soepel en stabiel blijft.

De Resultaten: Efficiënter Leren

Het team heeft dit nieuwe recept getest op een reeks AI-modellen, variërend van 1 miljard tot 14 miljard parameters (de "hersengrootte" van de robot). Ze vergeleken hun nieuwe nGPT-modellen met de standaard GPT-modellen die met de oude methoden werden getraind.

De resultaten waren indrukwekkend. De nieuwe nGPT-modellen behaalden consequent lagere foutmarges (gemeten als "validation loss") dan de standaardmodellen. Specifiek bereikte het 14-miljard-parameter nGPT-model hetzelfde niveau van vaardigheid als het standaard 14-miljard model, maar had het ongeveer de helft van de trainingstokens (de hoeveelheid tekst die het model leest) nodig om daar te komen. Met andere woorden: om hetzelfde doel te bereiken, hoefde het nGPT-model ongeveer de helft van de tekst te lezen vergeleken met het standaardmodel.

Het artikel suggereert dat deze verbetering komt door de combinatie van al deze nieuwe regels die samenwerken, en niet door slechts één enkele truc. Ze hebben ook een specifieke instelling voor hun "slimme poort" (de scherpteparameter $a$ ) getest en vonden dat een zachtere poort ( $a=0.5$ ) iets beter werkte dan een strikte poort, maar de grootste winst kwam door het hele nieuwe trainingssysteem, en niet alleen door de poort zelf.

Wat Dit Betekent

De auteurs merken er voorzichtig bij op dat ze niet elke mogelijke variatie van deze regels hebben geprobeerd (ze hebben geen "volledige ablatie-studie" uitgevoerd), dus er kunnen nog betere instellingen zijn die ze nog niet hebben gevonden. De resultaten die ze wel hebben gevonden zijn echter solide: door de AI te dwingen op een perfecte sfeer te lopen en een slimmere, meer gecontroleerde manier te gebruiken om stappen te zetten, kunnen we deze enorme modellen slimmer maken met aanzienlijk minder data en tijd. Het is een praktisch recept dat suggereert dat we betere AI kunnen bouden zonder dat we ze de volledige internetwereld hoeven te voeren, maar slechts een veel efficiënter deel ervan.

Technische Samenvatting: Training van nGPT op Moderne Hybride MoE-modellen

Probleemstelling

Het genormaliseerde Transformer-framework (nGPT) stelt voor om modelparameters en activaties op een eenheids-hypersfeer te representeren om hypersferisch representatie-leren te faciliteren. Hoewel de oorspronkelijke nGPT-formulering (Loshchilov et al., 2024) de levensvatbaarheid van deze aanpak in dichte Transformer-instellingen heeft aangetoond, vereist het toepassen ervan op moderne, grootschalige hybride architecturen—specifiek die combinaties van Mamba-2 state-space modellen met Transformer Mixture-of-Experts (MoE)—een robuust trainingsrecept. Standaardoptimizers zoals AdamW, ontworpen voor onbeperkte Euclidische ruimtes, werken mogelijk niet optimaal samen met de geometrische beperkingen van nGPT, met name wat betreft gradiëntschaling, learning rate-schema's en de afhandeling van kleine tweede-moment statistieken.

Methodologie

De auteurs stellen een uitgebreid "nGPT trainingsrecept" voor dat specifiek is afgestemd op hybride Mamba-2–Transformer MoE-modellen (specifiek de Nemotron-3 architectuur). Dit recept integreert normalisatiebeperkingen met specifieke optimalisatiemodificaties om training te stabiliseren en convergentie te verbeteren.

1. Normalisatie en Schaling

Parameterbeperkingen: Alle parametervectoren die matrices vormen, worden beperkt tot een eenheidsnorm langs de embedding-dimensie.
Activatie-normalisatie: Verborgen toestanden (hidden states) worden opnieuw genormaliseerd na recombinatie met aandacht/SSM en MLP/MoE-outputs.
Leerbare Schalingsvectoren: Om overmatige beperking in niet-lineaire lagen te voorkomen, gebruikt het model leerbare schalingsvectoren:
- $s_{qk}$ voor het herschalen van genormaliseerde queries en keys.
- $s_u$ voor het herschalen van intermediaire MLP/MoE-activaties.
- $s_z$ voor het herschalen van output-logits om de distributie-scherpte te controleren.
Mamba-2 en MoE Specifieke zaken: Leerbare scalairen ( $s_{mamba}$ , $s_{moe}$ ) zijn geïntroduceerd om inputs naar SiLU en sigmoid router-functies te herschalen, als vervanging voor standaard normalisatielagen zoals RMSNorm.

2. Optimalisatie-ingrediënten

Het recept introduceert enkele nieuwe componenten in het optimalisatieproces:

Logit Gradient Preconditioning (LGP): In nGPT groeit de geleerde logit-schalingsvector $s_z$ logaritmisch tijdens de training, wat fungeert als een verborgen, tijdvariabele multiplier op gradiënten. LGP ontkoppelt dit effect door de backward gradiënt-schaal te normaliseren: $\partial L / \partial u \leftarrow (s_z / \text{mean}(s_z))^q \odot \partial L / \partial z$ . Met $q=1$ verwijdert dit de globale gemiddelde schaal terwijl relatieve vocabulaire-wijze variaties behouden blijven, wat de gradiëntstroom stabiliseert zonder de forward pass te veranderen.
Logaritmische Learning Rate Decay: In plaats van standaard cosine decay gebruiken de auteurs een logaritmisch decay-schema. Dit legt het learning rate-budget naar de voorkant, waardoor een scherpere initiële afname gevolgd wordt door een lange staart, wat beter aansluit bij de beperkte parameterdynamiek van nGPT.
GatedAdamW: Deze optimizer breidt AdamW uit door numerieke stabiliteit te scheiden van update-onderdrukking.
- Het gebruikt een numerieke constante $\epsilon_{num}$ strikt voor stabiliteit.
- Het introduceert een zachte gate $\gamma_t = \sigma(a \log(d_t / \epsilon_{gate}))$ gebaseerd op de tweede-moment schaal $d_t$ .
- Dit maakt expliciete controle mogelijk over welke coördinaten updates ontvangen wanneer de tweede-moment statistieken klein zijn, wat voorkomt dat updates worden onderdrukt die zouden kunnen optreden met een enkele $\epsilon$ -waarde in standaard AdamW.
Geometrische Controles:
- Angular Step Cap (ASC): Beperkt de angulaire verplaatsing van genormaliseerde niet-embedding parametervectoren om geometrische stabiliteit te waarborgen.
- Second-Moment Growth Clipping (SMGC): Een veiligheidsmaatregel tegen extreme gradiënt-spikes door de groei van tweede momenten te knippen (clipping).
- Post-Moment Exploration Noise (PMEN): Voegt ruis toe om exploratie in gebieden met lage variantie te stimuleren.

Belangrijkste Resultaten

De auteurs evalueerden het recept op hybride Mamba-2–Transformer MoE-modellen variërend van 1B tot 14B totale parameters, gebruikmakend van een industriële data-blend.

Data-efficiëntie: De belangrijkste bevinding is een significante verbetering in data-efficiëntie. Specifiek bereikt het 14B-parameter nGPT-model dezelfde validatieverlies als een ongenormaliseerde GPT-baseline (getraind met AdamW) met ongeveer de helft van het aantal trainings-tokens. Dit resultaat is afgeleid van interpolatie van de loss–token curves in Figuur 7, in plaats van een directe tabelvergelijking over alle modelgroottes.
Consistente Schaling: De prestatiewinsten zijn consistent over verschillende modelgroottes (1B, 2B, 4B, 7B en 14B). De nGPT-varianten behalen consistent validatieverliezen die ongeveer 2,5% lager zijn dan hun ongenormaliseerde tegenhangers getraind met AdamW.
Convergentie-dynamiek: nGPT vertoont een tragere initiële loss-afname gevolgd door snellere convergentie later in de training, een gedrag dat wordt toegeschreven aan het learning rate-schema dat de effectieve stapgrootte directer controleert in de afwezigheid van weight decay-interacties.
Component-analyse: Ablatie-studies naar de gating-scherpte parameter $a$ in GatedAdamW suggereren dat hoewel $a=0.5$ een bescheiden voordeel biedt ten opzichte van $a=1$ (wat standaard Adam-gedrag herstelt), de bulk van de prestatiewinst voortkomt uit de genormaliseerde parametrisering en het volledige trainingsrecept, in plaats van alleen de gating-mechanisme alleen.

Betekenis en Claims

Het artikel beweert een praktisch trainingsrecept te bieden dat succesvol nGPT uitbreidt van dichte Transformers naar moderne, grootschalige hybride MoE-architecturen. De auteurs benadrukken dat de kernverbeteringen in data-efficiëntie niet specifiek zijn voor MoE-modellen, maar een resultaat zijn van de synergie tussen normalisatie en optimalisatie.

Het werk wordt met bescheidenheid gepresenteerd met betrekking tot de reikwijdte:

De experimenten werden uitgevoerd met een beperkt rekenbudget, waarbij de focus lag op een recept dat "in de praktijk werkte" in plaats van een uitputtende ablatie-studie van elke hyperparameter.
De auteurs geven expliciet aan dat uitgebreide component-gewijze ablaties en hyperparameter schalingwetten (scaling laws) aan toekomstig onderzoek worden overgelaten.
De betekenis ligt in het demonstreren dat hypersferisch representatie-leren kan worden opgeschaald naar 14B-parameter modellen met substantiële winsten in trainingsefficiëntie, wat een levensvatbaar alternatief biedt voor standaard Transformer-trainingspipelines.