🤖 machine learning

A Physical Response-and-Memory Model for Muon Optimization

Dit artikel stelt een fysiek respons-en-geheugenmodel voor voor trainingsdynamiek dat de effectiviteit van de Muon-optimizer verklaart en introduceert de Bi-Maxwell-optimizer, die een dual-timescale geheugenkern gebruikt om snellere convergentie te bereiken op benchmarks voor grote taalmodellen.

Oorspronkelijke auteurs: Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

Gepubliceerd 2026-08-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de uitgestrekte, stille architectuur van moderne kunstmatige intelligentie is de meest kostbare en tijdrovende taak niet het ontwerp van het model zelf, maar de handeling van het onderwijzen ervan. Om een groot taalmodel te trainen, voeden ingenieurs het met miljarden woorden en passen ze de interne instellingen, de zogenaamde gewichten (weights), aan om fouten te verminderen. Dit proces vertrouwt op een wiskundig hulpmiddel genaamd een optimizer, die fungeert als de hand van de leraar, die beslist hoe nauwkeurig die gewichten na elke enkele les verschoven moeten worden. Jarenlang zijn de meest effectieve leraren gekozen door middel van trial-and-error, geleid door engineering-intuïtie in plaats van een diep begrip van waarom ze werken. Het doel is simpel: met een vaste hoeveelheid rekenkracht, hoe laag kan de foutmarge gaan, en hoe snel kan dat bereikt worden? Het antwoord hangt volledig af van de regels die de optimizer volgt om een fout om te zetten in een correctie.

Een recente studie door onderzoekers van de Fudan Universiteit en de Tongji Universiteit biedt een nieuwe manier om dit proces te bekijken. In plaats van het trainen van een neuraal netwerk te zien als een reeks abstracte berekeningen, behandelden zij de gewichtsmatrix van het netwerk als een fysiek object met geheugen, vergelijkbaar met een stuk metaal of een gel die reageert op kracht. Zij stelden voor dat wanneer het netwerk een fout maakt, dit een soort interne spanning creëert, vergelijkbaar met de spanning in een uitgerekte veer. De taak van de optimizer is om deze spanning efficiënt te ontladen. Door de wetten van de fysica toe te passen op dit digitale medium, leidden de onderzoekers een nieuwe set regels af voor hoe het netwerk zou moeten leren. Ze ontdekten dat de meest effectieve manier om de gewichten bij te werken is door in een richting te bewegen die deze spanning zo snel mogelijk wegneemt, terwijl een veiligheidslimiet wordt gerespecteerd voor hoeveel de output van het netwerk tegelijkertijd kan veranderen. Dit fysieke perspectief verklaarde waarom een specifieke, onlangs populaire methode genaamd Muon zo goed werkt, en het onthulde een gebrek in de manier waarop die methode lessen uit het verleden onthoudt.

De onderzoekers ontdekten dat de standaardmanier waarop deze optimizers het verleden onthouden te eenvoudig is. Ze middelen meestal recente fouten uit met behulp van één enkele, uniforme tijdschaal, alsof het materiaal waarvan ze zijn gemaakt zijn spanning slechts op één snelheid ontspant. De onderzoekers voerden echter aan dat echte materialen, en bij uitbreiding complexe neurale netwerken, een complexere interne structuur hebben. Ze bezitten zowel snelle, lokale reacties als langzame, diepe structurele veranderingen. Om dit te testen, vervingen ze het enkelvoudige geheugen van de standaard optimizer door een nieuwe versie die zij Bi-Maxwell noemden, die twee verschillende snelheden gebruikt: één snelle om directe veranderingen op te vangen en één langzame om vast te houden aan langetermijnpatronen. Toen ze deze nieuwe aanpak testten op een publieke benchmark voor het trainen van taalmodellen, waren de resultaten onmiddellijk en meetbaar. De nieuwe optimizer bereikte het beoogde nauwkeurigheidsniveau in 2.635 stappen, waarmee het het vorige record van 2.690 stappen versloeg. Dit mag misschien een klein verschil lijken, maar in de wereld van het trainen van enorme modellen waarbij duizenden computers wekenlang draaien, vertaalt het besparen van zelfs maar enkele tientallen stappen zich in aanzienlijke besparingen in tijd en energie.

Om er zeker van te zijn dat deze verbetering geen toevalstreffer was, voerde het team een reeks rigoureuze controles uit. Ze hielden elk ander deel van het trainingsproces exact hetzelfde en veranderden alleen de geheugenkern (memory kernel), het deel dat verantwoordelijk is voor het onthouden van eerdere gradiënten. Ze voerden het experiment uit op verschillende typen computerhardware en met verschillende willekeurige startpunten, en de nieuwe optimizer presteerde consequent beter dan de oude. Ze onderzochten ook waarom het geheugen met twee snelheden beter werkte door te meten hoe de behoeften van het netwerk in de loop van de tijd veranderden. Ze ontdekten dat het netwerk in het begin van de training snel leert en een kort geheugen nodig heeft om wendbaar te blijven. Naarmate de training vordert, vertraagt het leren en profiteert het netwerk van een langer geheugen om het pad te egaliseren. De optimizer met één snelheid kan zich niet aanpassen aan deze verschuiving; het zit vast aan één instelling voor de gehele reis. De twee-snelhedenversie kan echter zowel de snelle reacties aan het begin als het diepe, gestage geheugen dat later nodig is, natuurlijk accommoderen.

De studie verduidelijkte ook wat de optimizer eigenlijk doet. Het toonde aan dat de meest efficiënte update-richting niet slechts een willekeurige gok is, maar een specif specifieke geometrische route die de vrijgave van foutpotentieel maximaliseert zonder dat het netwerk instabiel wordt. Dit is de richting die de Muon-optimizer gebruikt, maar de onderzoekers boden de fysieke reden waarom dit werkt: het is het pad van maximale energie-dissipatie onder een veiligheidsrestrictie. Verder toonden zij aan dat het "geheugen" in deze systemen niet slechts een wiskundige truc is om ruis te verzachten, maar een representatie is van geaccumuleerde interne spanning. Net zoals een fysiek object tijd nodig heeft om tot rust te komen nadat het is bewogen, heeft een neuraal netwerk tijd nodig om de lessen uit zijn fouten te integreren. Door het netwerk te behandelen als een responsief medium met een spectrum van relaxatietijden, waren de onderzoekers in staat om een optimizer te ontwerpen die de natuurlijke ritmes van het leren respecteert.

Dit werk suggereert dat de toekomst van het trainen van kunstmatige intelligentie dieper kan lenen van de natuurwetenschappen. Door het leerproces te bekijken door de lens van materiaalkunde en thermodynamica, waren de onderzoekers in staat om verder te gaan dan trial-and-error en regels af te leiden die geworteld zijn in het fundamentele gedrag van het systeem. Ze vonden niet alleen een snellere manier om een model te trainen; ze boden een kader om te begrijpen waarom bepaalde methoden werken en hoe ze kunnen worden verbeterd. Het succes van de Bi-Maxwell optimizer, die simpelweg een tweede tijdschaal aan het geheugen toevoegde, bewijst dat zelfs kleine, fysiek gemotiveerde veranderingen aanzienlijke winst kunnen opleveren. Naarmate taalmodellen groter en complexer worden, wordt de efficiëntie van hun training steeds kritischer, en deze fysieke benadering biedt een veelbelovend pad naar het sneller, stabieler en efficiënter maken van die training.

Technische Samenvatting: Een Fysisch Respons-en-Geheugenmodel voor Muon-optimalisatie

Probleemstelling

Het trainen van grote taalmodellen (LLM's) brengt enorme computationele kosten met zich mee, waardoor de efficiëntie van het optimalisatieproces cruciaal is. De keuze van de optimizer bepaalt de snelheid, stabiliteit en de uiteindelijke loss die haalbaar is onder een vastgesteld compute-budget. Hoewel moderne optimizers zoals Muon state-of-the-art prestaties hebben bereikt door de momentummatrix semi-orthogonaal te maken, is hun ontwerp grotendeks gedreven door engineering-intuïtie en empirische benchmarking in plaats van een systematische fysieke theorie. Twee fundamentele vragen blijven onbeantwoord door de bestaande theorie:

Waarom werkt de semi-orthogonaal gemaakte richting (gebruikt in Muon) effectief?
Hoe lang moet het momentumgeheugen gemiddeld over het verleden van de gradiënten? Momenteel wordt dit bepaald door een enkele exponentiële tijdschaal (een enkele relaxatietijd), die op heuristische wijze wordt gekozen.

Methodologie: Een Fysisch Model van Training

De auteurs stellen een fysisch model voor waarbij de gewichtsmatrix tijdens de training wordt behandeld als een responsief medium met geheugen. Dit raamwerk leidt de update-regels af uit fysische principes in plaats van uit heuristische selectie.

1. Ruimtelijke Respons: Het Medium en de Update-richting

De gewichtsmatrix $W$ wordt gemodelleerd als een lineair responsief medium waarbij inputs $x$ outputs $y = Wx$ produceren. Het trainingsdoel is gedefinieerd als een mismatch-potentiaal $\Phi$ (bijv. de kwadratische fout tussen output en doel), analoog aan de potentiële energie van een veer.

Drijvende Kracht: De gradiënt van de mismatch-potentiaal met betrekking tot de gewichten fungeert als een geconjugeerde drijvende kracht $X = -\partial \Phi / \partial W$ .
Output-zijde Veiligheidsbudget: De auteurs leggen een beperking op aan de perturbatie aan de output-zijde. Specifiek wordt de veranderingssnelheid van de output $\dot{y} = Vx$ (waarbij $V$ de structurele herschikingssnelheid is) begrensd door een output-gain limiet $\epsilon$ voor alle input-richtingen.
Maximale Dissipatie: Het doel is om de snelheid van potentiële vrijgave ( $P = -\dot{\Phi}$ ) te maximaliseren onder dit output-budget.
Afleiding van Semi-Orthogonalisatie: Door de drijvende kracht te decomponeren in onafhankelijke collectieve modi (via Singular Value Decomposition) en de output-gain beperking toe te passen, bewijzen de auteurs dat de optimale herschikkingssnelheid $V$ alle gedreven modi met dezelfde maximale veilige snelheid moet updaten. Dit resulteert in een snelheidmatrix die proportioneel is aan de orthogonale polaire factor van de drijvende kracht. Dit biedt een fysische afleiding voor de semi-orthogonale update-regel van Muon: het is de maximaal dissipatieve respons onder een output-zijde veiligheidsbudget.

2. Temporele Respons: Interne Spanning en Geheugen

De auteurs stellen dat de momentummatrix de interne spanning vertegenwoordigt die is opgehoopt in het medium, in plaats van de traagheid van een deeltje.

Spanningsrelaxatie: Wanneer een externe kracht (gradiënt) wordt toegepast, past de interne spanning zich niet onmiddellijk aan; deze relaxeert over de tijd. De standaard momentum-update ( $M_t = \beta M_{t-1} + (1-\beta)X_t$ ) wordt geïdentificeerd als een eerste-orde relaxatievergelijking (Maxwell-model) waarbij de momentumcoëfficiënt $\beta$ overeenkomt met een enkele relaxatietijd $\tau$ .
Beperking van Enkele Tijdschaal: Echte materialen (en complexe neurale netwerken) bezitten meerdere interne herschikkingsmodi met verschillende relaxatietijden. Een enkele exponentiële kernel dwingt een trade-off af: een korte $\tau$ staat een snelle respons toe maar biedt slechte geheugenfiltering, terwijl een lange $\tau$ diep geheugen biedt maar een trage respons op veranderingen.
Bi-Maxwell Model: Om dit op te lossen, stellen de auteurs een twee-tijdschaal kernel (Bi-Maxwell) voor. Dit modelleert de interne spanning als een superpositie van een snelle relaxatiemodus ( $\tau_f$ ) en een trage relaxatiemodus ( $\tau_s$ ). Het totale geheugen is een gewogen som: $M_{BM} = w M_f + (1-w) M_s$ . Dit stelt de optimizer in staat om snel te reageren op persistente signalen (via de snelle modus) terwijl er langdurig structureel geheugen behouden blijft (via de trage modus).

Belangrijkste Bijdragen

Fysische Afleiding van Muon: Het artikel leidt de semi-orthogonale update-richting van Muon af vanuit eerste principes, waarbij het wordt geïdentificeerd als de oplossing voor een geoptimaliseerd probleem onder een beperking (het maximaliseren van potentiële dissipatie onder een output-gain budget).
Fysische Interpretatie van Momentum: Momentum wordt geherinterpreteerd als de interne spanning van een visco-elastisch medium. Het artikel betoogt dat de enkele-tijdschaal aanname een "single-pole benadering" is van een breder relaxatiespectrum.
De Bi-Maxwell Optimizer: Op basis van het twee-tijdschaal fysische model introduceren de auteurs de Bi-Maxwell optimizer. Deze vervangt de enkele-tijdschaal momentumkernel van Muon door een twee-tijdschaal kernel (snelle en trage modi), terwijl alle andere ruimtelijke componenten (Newton-Schulz orthogonalisatie, etc.) ongewijzigd blijven.
Verouderingsfenomeen in Training: Het artikel identificeert dat de "optimale geheugenduur" niet statisch is maar groeit naarmate de training vordert (analoog aan het verouderen van glasachtige materialen). In het begin van de training veranderen gradiëntrichtingen snel (wat een korte geheugenduur vereist); later veranderen ze langzaam (wat een langere geheuduur vereist).

Experimentele Resultaten

De auteurs valideren het Bi-Maxwell model op de modded-nanogpt publieke benchmark (124M parameter GPT-2 model) met twee configuraties: een "bare tuned-Muon" stack en een "record stack" (inclusief SOAP, Tail-EMA, en andere geavanceerde componenten).

Prestatiewinst:
- Op de bare tuned-Muon stack bereikte de Bi-Maxwell optimizer de doelstelling voor validatie loss (3.28) in 3210 stappen, vergeleken met 3250 stappen voor de single-pole baseline (een verbetering van 40 stappen).
- Op de record stack (die de state-of-the-art record van 2690 stappen vasthield tot juli 2026), bereikte de Bi-Maxwell optimizer het doel in 2635 stappen, waarmee het bestaande record met 55 stappen verbrak.
- Deze resultaten waren consistent over meerdere willekeurige seeds (n=8) en verschillende hardware (A800 en H100 GPU's).
Gecontroleerde Experimenten:
- Kernelvorm vs. Gemiddelde Leeftijd: Experimenten toonden aan dat de winst komt van de twee-tijdschaal vorm zelf, en niet louter van het vergroten van de gemiddelde geheugendiepte. Een single-pole kernel die gematcht is aan dezelfde gemiddelde leeftijd als de Bi-Maxwell kernel presteerde significant slechter (overschreed de doelstelling 140 stappen later).
- Inschakelvenster: De trage modus moet niet vanaf stap 0 worden ingeschakeld. De optimale prestaties werden bereikt wanneer de twee-tijdschaal kernel werd geactiveerd bij stap 1000 ( $T_{on}=1000$ ), wat suggereert dat het medium moet "verouderen" voordat het trage geheugen voordelig wordt.
- Read-Only Probes: Met behulp van een diagnostische probe maten de auteurs de "optimale geheugenduur" ( $n^*$ $n^{*}$ ) over verschillende modi (gerangschikt op sterkte). Ze vonden dat:
  - De optimale geheugenduur toeneemt van het begin tot het einde van de training.
  - Verschillende modi (sterk vs. zwak) vertonen tegengestelde trends in geheugenvoorkeur afhankelijk van het learning rate schema, wat bevestigt dat een enkele vaste tijdschaal niet alle modi tegelijkertijd kan bevredigen.

Betekenis en Claims

Het artikel claimt de eerste systematische fysische theorie te bieden die de ruimtelijke update-regel (semi-orthogonalisatie) en de temporele geheugenkernel van moderne optimizers verbindt.

Theoretische Unificatie: Het verenigt het begrip van de ruimtelijke efficiëntie van Muon en de rol van momentum als interne spanning-relaxatie.
Algoritmische Verbetering: Het demonstreert dat het vervangen van de geheugenkernel door een minimale twee-tijdschaal vorm (Bi-Maxwell) significante, reproduceerbare versnellingen oplevert op publieke benchmarks zonder de kernstructuur van de optimizer te wijzigen.
Fysische Analogie: Het werk trekt een parallel tussen trainingsdynamiek en het "verouderen" van glasachtige materialen, en suggereert dat de optimale geheugenduur een toestandsvariabele is die evolueert met de trainingsfase.
Bescheidenheid: De auteurs merken op dat het fysische model berust op specifieke aannames (isotroop, worst-case output budget) en dat de Bi-Maxwell parameters (gewichten en tijdschalen) momenteel statische benaderingen zijn. Ze erkennen dat de ware temporele constitutieve wet mogelijk afhangt van de specifieke trainingsstaat en modustekort, en dat Bi-Maxwell de "laagste-orde statische basis" is voor deze complexere realiteit.

Samenvattend betogen de auteurs dat het beschouwen van de gewichtsmatrix als een visco-elastisch medium met een multi-schaal relaxatiespectrum een gefundeerd pad biedt naar het verbeteren van optimizers, waarbij men verder gaat dan heuristische afstemming naar fysisch onderbouwde vormgeving.