Technische Samenvatting: Door de Optimizer Geïnduceerde Modale Connectiviteit: Van AdamW naar Muon

Probleemstelling

Modale connectiviteit, het fenomeen waarbij onafhankelijk getrainde neurale netwerkmodellen kunnen worden verbonden via een pad met lage verliezen, is uitvoerig bestudeerd. Echter, de bestaande literatuur behandelt de oplossingsset grotendeels als een monolithische entiteit, waarbij vaak wordt aangenomen dat connectiviteit onafhankelijk is van de specifieke optimalisatiedynamiek die wordt gebruikt om die oplossingen te bereiken. Dit artikel stelt dat verschillende optimizers verschillende impliciete biases (regularisatie) opleggen, waardoor oplossingen effectief worden beperkt tot verschillende regio's van het verlieslandschap. De centrale vraag die wordt beantwoord is: Hoe gedraagt modale connectiviteit zich wanneer deze wordt beperkt tot oplossingen die consistent zijn met de impliciete bias van een specifieke optimizer? Specifiek onderzoeken de auteurs of oplossingen die door dezelfde optimizer worden gevonden, een verbonden set vormen (intra-optimizer connectiviteit) en of oplossingen die door verschillende optimizers worden gevonden, kunnen worden verbonden zonder een verliesbarrière te ondervinden (inter-optimizer connectiviteit).

Methodologie

Theoretisch Kader

De auteurs formaliseren het concept van optimizer-geregulariseerde oplossingssets. Gebaseerd op recente theoretische karakterisering van adaptieve optimizers (zoals AdamW en de Lion-K-familie), definiëren ze de limietpunten van deze optimizers als oplossingen voor beperkte optimalisatieproblemen:

• AdamW: Convergeert naar oplossingen die voldoen aan een $\ell_\infty$-normbeperking ($\|\theta\|_{\max} \leq 1/\lambda$).
• Muon (en Lion-K met nucleaire norm): Convergeert naar oplossingen die voldoen aan een operator-normbeperking ($\|\theta\|_{\text{op}} \leq 1/\lambda$).

Het artikel introduceert twee definities:

1. Intra-optimizer connectiviteit: De set van oplossingen $O_A(\lambda)$ voor een specifieke optimizer $A$ is verbonden.
2. Inter-optimizer connectiviteit: De unie van oplossingssets $O_{A_1}(\lambda_1) \cup O_{A_2}(\lambda_2)$ is verbonden.

De theoretische analyse wordt uitgevoerd op tweelaagse ReLU-netwerken in het interpolatieregime (waarbij nul trainingsverlies haalbaar is). De auteurs analyseren de geometrie van deze geregulariseerde sets onder variërende netwerkbreedtes ($m$).

Experimentele Opzet

Empirische validatie wordt uitgevoerd op GPT-2 voortrainingstaken over vijf datasets (enwik8, WikiText-103, Stories, BookCorpus, One Billion Word) met twee modelgroottes (~30M en ~50M parameters).

• Optimizers: AdamW en Muon.
• Padconstructie: De auteurs maken gebruik van een gewijzigd polychain-interpolatiealgoritme in combinatie met symmetrische uitlijning (permutatie en orthogonale uitlijning van attention-heads en MLP-neuronen). Deze methode construeert een stuksgewijs lineair pad met een leerpunt om verliesbarrières tussen modellen te minimaliseren.
• Maten: De studie volgt validatieverliesbarrières en de evolutie van singuliere waardenpectra (specifiek de stabiele rang) langs de interpolatiepaden.

Belangrijkste Bijdragen

1. Theoretische Bewijzen van Intra-Optimizer Connectiviteit

Het artikel bewijst dat voor voldoende brede tweelaagse ReLU-netwerken de oplossingssets die door specifieke optimizers worden geïnduceerd, verbonden zijn:

• Stelling 3.1: Intra-optimizer connectiviteit geldt voor Muon (en genormaliseerde GD met momentum) wanneer de netwerkbreedte $m \geq 4P$, waarbij $P$ het aantal verschillende hypervlak-arrangementpatronen is.
• Stelling 3.2: Intra-optimizer connectiviteit geldt voor AdamW (en Signum) wanneer $m \geq m^*$, waarbij $m^*$ een kritieke breedte is die wordt bepaald door de data en regularisatieparameters.
• Mechanisme: De bewijzen omvatten het reduceren van willekeurige oplossingen tot "spaarzame" of "geëgaliseerde" canonieke vormen binnen de geregulariseerde set en het aantonen dat deze vormen kunnen worden verbonden via continue paden die de impliciete normbeperkingen behouden.

2. Karakterisering van Inter-Optimizer Connectiviteit

De auteurs stellen vast dat de connectiviteit tussen verschillende door optimizers geïnduceerde regio's kritiek afhangt van de netwerkbreedte en de regularisatiesterkte:

• Grote Breedte Regime: De unie van twee geregulariseerde sets is verbonden dan en slechts dan als de sets overlappen (d.w.z. de nul-verliesset loopt door de doorsnede van hun respectievelijke normballen). Het aantal verbonden componenten kan overgaan van één naar twee naarmate de regularisatiesterkte toeneemt.
• Constructie met Eindige Breedte: Het artikel construeert een specifieke dataset en breedte ($m=2$) waarbij de nul-verliesoplossingsset uiteenvalt in meerdere niet-verbonden componenten. Cruciaal bewijzen ze dat AdamW en Muon kunnen worden gedwongen tot verschillende componenten door geschikte regularisatieparameters te kiezen. In dit scenario bestaat er geen nul-verliespad tussen een AdamW-oplossing en een Muon-oplossing; elk verbindingspad moet een bewijsbaar verlies ondervinden (minimaal $1/2$ voor kwadratisch verlies).

3. Empirische Spectrale Transities

Experimenten op GPT-2 onthullen distincte spectrale gedragingen:

• Paden met dezelfde Optimizer: Interpolatie tussen twee modellen die met dezelfde optimizer zijn getraind (bijv. AdamW-AdamW) behoudt het spectrum van singuliere waarden (bijv. AdamW behoudt uitbijters, Muon blijft isotroop) en handhaaft een laag verlies.
• Paden met Verschillende Optimizers: Interpolatie tussen verschillende optimizers (bijv. AdamW-Muon) resulteert in een gladde spectrale fase-overgang. Het spectrum evolueert langs het pad van het AdamW-kenmerk naar het Muon-kenmerk. Hoewel het verlies relatief laag blijft, vertonen de tussentijdse modellen spectrale profielen die verschillen van beide eindpunten.

4. Generalisatie Buiten de Verdeling (OOD)

Het artikel demonstreert dat paden voor interpolatie tussen verschillende optimizers de generalisatie buiten de verdeling (OOD) kunnen verbeteren. Modellen die langs het AdamW-Muon-pad worden bemonsterd, vertonen negatieve verliesbarrières op OOD-datasets (ze presteren beter dan de lineaire interpolatie van de eindpunten), wat suggereert dat het doorlopen van de ruimte tussen verschillende optimizer-biases structureel diverse modellen oplevert met superieure generalisatie-eigenschappen.

Resultaten en Betekenis

Samenvatting van Bevindingen

• Optimizer-afhankelijke Structuur: Het verlieslandschap is geen enkele verbonden blob van oplossingen met lage verliezen; het bevat eerder optimizer-specifieke "bekkens" of regio's die worden gedefinieerd door impliciete regularisatie.
• Connectiviteit is Conditioneel: Hoewel oplossingen met dezelfde optimizer verbonden zijn in brede netwerken, kunnen verschillende optimizers in settings met eindige breedte convergeren naar niet-verbonden componenten, gescheiden door verliesbarrières.
• Spectrale Vingerafdruk: Het spectrum van singuliere waarden dient als een robuuste proxy voor de door de optimizer geïnduceerde regio. Paden met dezelfde optimizer behouden deze vingerafdruk; paden met verschillende optimizers doorlopen een overgang.

Geclaimde Betekenis

Het artikel claimt optimizer-afhankelijke structuur te onthullen die onzichtbaar is voor de klassieke literatuur over modale connectiviteit. Door de definitie van modale connectiviteit te verfijnen om rekening te houden met impliciete bias, tonen de auteurs aan dat:

1. De keuze van de optimizer fundamenteel de topologie van de bereikbare oplossingsruimte vormt.
2. Interpolatie tussen verschillende optimizers een haalbaar mechanisme is voor het samenvoegen van modellen dat toegang biedt tot diverse regio's van de oplossingsruimte, wat potentieel downstream eigenschappen zoals kwantisatie en generalisatie verbetert.
3. Theoretische garanties voor connectiviteit nu de specifieke regularisator die door de optimizer wordt geïnduceerd moeten overwegen, en niet alleen de netwerkarchitectuur.

Het werk overbrugt de kloof tussen theoretische analyse van impliciete bias en praktische modelfusie, en suggereert dat het "beste" pad tussen modellen kan afhangen van het doorlopen van de grenzen van verschillende door optimizers geïnduceerde regularisaties.