🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

Het artikel stelt M+Adam voor, een nieuwe optimizer die additieve en multiplicatieve updates combineert om de complementaire faalmodi van training met lage precisie te overwinnen, waardoor stabiele en nauwkeurige training van LLaMA-stijl modellen mogelijk wordt met uitsluitend BF16, FP8 en FP4 mastergewichten.

Oorspronkelijke auteurs: Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, hyperintelligente robot (een Large Language Model) probeert te leren schrijven als een mens. Om dit te doen, moet je miljoenen kleine draaiknoppen op de hersenen van de robot aanpassen. Normaal gesproken worden deze draaiknoppen met extreme precisie aangepast, zoals het met een microscoop een schroefje draaien. Maar microscopen zijn zwaar, traag en duur.

De paper vraagt: Wat als we een goedkope, lichtgewicht moersleutel gebruiken?

Dit is de wereld van low-precision training. In plaats van deze "master weights" (het geheugen van de robot over de draaiknoppen) met hoge precisie te bewaren, proberen onderzoekers ze op te slaan in een kleiner, grover formaat zoals BF16, FP8 of zelfs FP4. Het is alsof je de hoogte van een berg probeert te meten met een liniaal die alleen markeringen heeft om de 3 meter.

Het Probleem: De "Afrondingsval"

De auteurs ontdekten dat wanneer je deze grove linialen gebruikt, standaard trainingsmethoden (genaamd Adam) tegen een muur aanlopen. Hier is waarom:

Het Grote Bergprobleem: Wanneer een draaiknop op een enorm hoog getal staat, staan de markeringen op de "liniaal" heel ver uit elkaar. Als de robot de draaiknop slechts een klein beetje moet verplaatsen, kan de liniaal dat niet zien. De kleine beweging wordt afgerond naar nul, en de robot denkt: "Ik heb niets bewogen!" De robot zit vast en kan de berg niet beklimmen.
Het Nul-dal Probleem: Andere methoden probeerden dit op te lossen door multiplicatieve updates te gebruiken (zoals Madam). In plaats van een klein getal op te tellen, vermenigvuldig je de draaiknop met een factor. Dit werkt geweldig voor grote bergen, omdat de stapgrootte meegroeit met de draaiknop. Echter, als een draaiknop precies op nul staat, kun je hem niet door vermenigvuldiging in beweging krijgen. Het is alsof je een auto probeert te duwen die geen wielen heeft; vermenigvuldigen van nul met wat dan ook levert nog steeds nul op. Ook, als de draaiknop van positief naar negatief moet veranderen (door nul heen kruisen), raken deze methoden in de war en kunnen ze die overstap niet maken.

De Oplossing: M+Adam (De Twee-Gereedschap-Kit)

De paper introduceert M+Adam, een nieuwe optimizer die werkt als een slimme monteur die twee verschillende gereedschappen tegelijk bij zich draagt. Het combineert het beste van beide werelden om de "complementaire faalmodi" op te lossen.

Gereedschap 1: De Additieve Moersleutel (Adam-stijl). Dit gereedschap is goed voor kleine, precieze aanpassingen. Het kan een draaiknop van nul wegduwen, het teken laten omslaan van positief naar negatief, en kleine bewegingen nabij de bodem van het dal afhandelen.
Gereedschap 2: De Multiplicatieve Hefboom (Madam-stijl). Dit gereedschap is goed voor het zware werk. Wanneer een draaiknop enorm groot is en de additieve moersleutel wordt "afgerond" naar niets, komt de multiplicatieve hefboom in actie. Het schaalt de draaiknop omhoog of omlaag, waardoor de robot vooruitgang blijft boeken, zelfs op de hoogste bergen.

M+Adam gebruikt beide gereedschappen gelijktijdig. Als het additieve gereedschap vastloopt door afronding, houdt het multiplicatieve gereedschap de robot in beweging. Als het multiplicatieve gereedschap niet uit nul kan ontsnappen, duwt het additieve gereedschap het eruit.

Het Bewijs: Werkt het?

De auteurs hebben niet alleen gegesteld; ze hebben dit op enorme schaal getest.

De Test: Ze trainden "LLaMA-stijl" taalmodellen variërend van 60 miljoen tot 1 miljard parameters.
Het Budget: Ze gebruikten trainingsbudgetten van 1x tot 8x het standaard "Chinchilla"-budget (een standaardmaatstaf voor hoeveel data een model ziet).
De Precisie: Ze testten met BF16, FP8 en NVFP4 master weights.

De Resultaten:
In elke enkele test versloeg M+Adam consequent de standaard Adam-optimizer.

In de meest extreme low-precision setting (NVFP4), verminderde M+Adam de "perplexity" (een maatstaf voor hoe verward het model is) met 16,6% voor het 350M-model vergeleken met Adam.
Zelfs met 1 miljard parameters liet M+Adam duidelijke verbeteringen zien ten opzichte van Adam in alle precisie-regimes.

De paper bewijst wiskundig dat deze gecombineerde aanpak garandeert dat de trainingsverlies zal dalen (een "monotone daling"), wat betekent dat de robot altijd leert en nooit in een lus vast komt te zitten.

Wat het NIET is

Het is belangrijk om te weten wat deze paper niet beweert:

Het zegt niet dat M+Adam een wondermiddel is dat alle geheugenkosten elimineert. Sterker nog, de paper merkt op dat M+Adam een klein beetje extra geheugen toevoegt (één extra "state" voor het multiplicatieve gerek), maar ze laten zien dat dit later gecomprimeerd kan worden.
Het beweert niet dat standaardmethoden zoals Stochastic Rounding (een techniek om afrondingsfouten te herstellen) nutteloos zijn. Ze hebben Adam met Stochastic Rounding getest, en M+Adam presteerde nog steeds beter.
Het suggereert niet dat we volledig moeten stoppen met het gebruik van high-precision hardware. In plaats daarvan laat het zien dat als we moeten werken met low-precision opslag, M+Adam de juiste manier is om het te doen.

De Kernboodschap

De paper suggereert dat wanneer je gedwongen bent om "grove" linialen (low-precision weights) te gebruiken om gigantische AI-modellen te trainen, je niet op slechts één type beweging kunt vertrouwen. Je hebt een hybride aanpak nodig. M+Adam is die hybride, die zowel additieve als multiplicatieve stappen gebruikt om ervoor te zorgen dat de robot nooit vastloopt, of hij nu een gigantische berg beklimt of probeert te ontsnappen aan een nul-dal. Het is een principiële stap naar het efficiënt trainen van massieve AI-modellen zonder de zware, dure high-precision geheugens die we gewoonlijk nodig hebben.

Technische Samenvatting: M+Adam – Low-Precision Training via Additive–Multiplicative Optimization

Probleemstelling

Het trainen van grote taalmodellen (LLM's) in volledige precisie (FP32) brengt aanzienlijke kosten met zich mee voor geheugen, rekenkracht en energie. Hoewel moderne versnellers ondersteuning bieden voor verminderde precisieformaten zoals BF16, FP8 en FP4, behouden standaard trainingspipelines doorgaans hoogprecisie "master weights" om stabiliteit te waarborgen. Direct trainen met low-precision master weights leidt echter vaak tot een verslechterde nauwkeurigheid en instabiliteit.

De auteurs identificeren een specifieke foutmodus in low-precision optimalisatie: grove kwantiseringsresolutie bij grote gewichtsmagnitudes. In floating-point systemen groeit de afstand tussen vertegenwoordigbare waarden (kwantiseringsbins) met de magnitude van het getal. Bijgevolg falen standaard additive optimizers (zoals Adam) vaak bij het maken van progressie wanneer de gewichtsmagnitudes groot zijn, omdat de berekende update-stappen kleiner zijn dan de lokale kwantiseringsstap en naar nul worden afgerond. Daarentegen falen puur multiplicative optimizers (zok als Madam), die gewichten schalen relatief aan hun huidige magnitude, bij de nulwaarde of wanneer er tekenveranderingen vereist zijn, omdat ze niet uit een exacte nul-initialisatie kunnen ontsnappen of effectief van teken kunnen veranderen.

Methodologie: M+Adam

Het paper stelt M+Adam voor, een nieuwe optimizer die de complementaire sterktes van additive en multiplicative update-mechanismen combineert om de beperkingen van low-precision rekenkunde te overwinnen.

Kernmechanisme

M+Adam houdt twee parallelle update-branches bij die in elke stap worden gecombineerd:

Additive Branch (Adam-stijl): Werkt direct op de gewichtsruimte. Het berekent standaard eerste en tweede momenten van de gradiënt ( $g$ ) om een additive update $u^{(a)}$ te produceren. Deze branch is effectief voor het afhandelen van kleine magnitudes, het ontsnappen aan nul-initialisatie en het faciliteren van tekenveranderingen.
Multiplicative Branch (Madam-stijl): Werkt op de logaritmische schaal (exponentruimte). Het berekent de gradiënt ten opzichte van de exponent, $g^{(e)} = (\ln 2) w_t g$ , en gebruikt adaptieve momenten om een relatieve multiplicative update $u^{(m)}$ te produceren. Deze branch zorgt voor progressie bij grote magnitudes waar additive updates weggerond zouden worden.

De gewichtsupdate-regel wordt gedefinieerd als:
$w_{t+1} = w_t + w_t u^{(m)}_t + u^{(a)}_t$
Deze structuur stelt de optimizer in staat om schaalbewuste relatieve updates uit te voeren wanneer de magnitudes groot zijn (via de multiplicative term), terwijl de flexibiliteit behouden blijft om van teken te veranderen en waarden nabij nul bij te werken (via de additive term).

Theoretische Analyse

De auteurs bieden een theoretische garantie voor M+Adam onder standaard smoothnes-aannames. Ze modelleren de update als een "scale-then-add" operatie in lokale coördinaten. Stelling 4.1 stelt dat als de learning rates en smoothness-constanten aan specifieke voorwaarden voldoen, de methode monotone daling ( $L(w_{t+1}) < L(w_t)$ ) garandeert, tenzij de gradiënt nul is. Dit bewijst dat de gecombineerde geometrie een geldige optimalisatiestrategie is.

Implementatiedetails

Precisie-ondersteuning: De methode is ontworpen voor BF16, FP8 en NVFP4 master weight opslag.
State Management: M+Adam introduceert één extra optimizer state (de second-moment accumulator voor de multiplicative branch). De auteurs demonstreren dat deze state kan worden gecomprimeerd met low-rank benaderingen (specifiek Apollo-E, een rank-4 benadering) om de geheugenoverhead te minimaliseren, waardoor de footprint dicht bij de standaard BF16-state AdamW blijft.
Geen Stochastic Rounding: In tegenstelling tot sommige eerdere benaderingen bereikt M+Adam stabiliteit zonder dat stochastic rounding (SR) of Kahan-stijl gecompenseerde accumulatie vereist is, hoewel het er wel compatibel mee is.

Belangrijkste Bijdragen

Identificatie van Complementaire Foutmodi: Het paper karakteriseert formeel de foutmodi van additive optimizers (stagneren bij grote magnitudes door afronding) en multiplicative optimizers (stagneren bij nul en onvermogen om van teken te veranderen), en toont aan dat deze complementair zijn.
M+Adam Algoritme: Een nieuwe optimizer die deze twee geometrieën verenigt, wat een principiële aanpak biedt voor low-precision training zonder FP32 master weights.
Theoretische Descent Garantie: Een bewijs van monotone daling voor de gecombineerde additive-multiplicative update-regel onder standaard smoothness-aannames.
Empirische Validatie op Schaal: Uitgebreide experimenten op LLaMA-stijl modellen variërend van 60M tot 1B parameters over 1–8× Chinchilla training-budgets.

Experimentele Resultaten

De auteurs evalueerden M+Adam over verschillende precisie-regimes: BF16/BF16, BF16/FP8, FP8/FP8, en NVFP4/FP8.

Consistente Verbetering: M+Adam presteerde consequent beter dan getunede AdamW baselines over alle modelgroottes en precisie-regimes.
Perplexity Reducties: In de meest agressieve low-precision setting (NVFP4/FP8), verminderde M+Adam de perplexity met significante marges vergeleken met AdamW (bijv. 16,6% verbetering voor het 350M model). Zelfs in BF16/BF16 training verminderde M+Adam de perplexity met 2,8% tot 13,3%, afhankelijk van de modelgrootte.
Robuustheid: De methode bleef stabiel zonder stochastic rounding. Het presteerde ook beter dan AdamW gecombineerd met stochastic rounding (AdamW+SR) en Kahan-compensatie.
Schaalbaarheid: De prestatiewinsten hielden stand naarmate het trainingsbudget toenam (tot 8× Chinchilla) en naarmate de modelgrootte schaalde naar 1B parameters.
Geheugenefficiëntie: Door de Apollo-E compressietechniek te gebruiken, werd de extra geheugenstate vereist voor de multiplicative branch verminderd, wat resulteerde in een optimizer state footprint die slechts iets groter is dan de standaard BF16 AdamW, terwijl de meeste perplexity-winsten behouden bleven.

Betekenis en Claims

Het paper claimt dat gecombineerde additive–multiplicative updates bijzonder nuttig zijn wanneer low-precision master weights een dominante bron van optimalisatiefouten worden.

De betekenis van dit werk ligt in het bieden van een principiële oplossing voor de numerieke instabiliteit van low-precision training. Door de update-geometrie van de optimizer af te stemmen op de niet-uniforme structuur van floating-point getallen, verzacht M+Adam de afrondingsfouten die standaard additive optimizers bij grote magnitudes teisteren en de stagnatieproblemen van multiplicative optimizers nabij nul.

De auteurs concluderen dat M+Adam een stap vertegenwoordigt naar end-to-end low-precision training die niet afhankelijk is van FP32 master weights. Deze capaciteit is cruciaal voor het benutten van moderne AI-hardware (tensor cores) die geoptimaliseerd is voor FP8 en FP4, wat potentieel de geheugenoverhead en energiekosten voor het trainen van grootschalige modellen kan verminderen. Het werk suggereert dat toekomstige optimizers ontworpen moeten worden met de specifieke beperkingen van floating-point representatie in gedachten, in plaats van low precision enkel te behandelen als een kwantiseringsprobleem dat opgelost moet worden door rounding-technieken.