🤖 machine learning

When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

Dit artikel presenteert een theoretisch en empirisch onderzoek dat aantoont dat de Muon-optimizer, die matrixwaardige updates orthogonaliseert, de robuustheid van adversariaal trainen verbetert over diverse architecturen en bedreigingsmodellen door spectrale-normstabiliteit op te leggen, waardoor de geometrie van de optimizer wordt gepositioneerd als een kritieke factor in modelbeveiliging.

Oorspronkelijke auteurs: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Fort Bouwen Tegen Sluipende Aanvallers

Stel je voor dat je een robot traint om katten en honden te herkennen. Je wilt dat hij zo slim is dat, zelfs als iemand een tiny, onzichtbaar sticker op een kattenoor plakt (een "adversarial attack"), de robot het nog steeds correct als een kat identificeert. Dit proces van het trainen van de robot om deze sluipende trucs te negeren, heet Adversarial Training (AT).

Lange tijd was het standaardgereedschap voor het bouwen van dit "fort" een methode genaamd SGD (Stochastic Gradient Descent). Denk aan SGD als een zeer stabiele, betrouwbare wandelaar die kleine, zorgvuldige stappen maakt om een berg op te lopen. Het is traag, maar hij valt zelden van een afgrond.

Onlangs werd een nieuw, sneller gereedschap genaamd AdamW populair. Het is als een wandelaar met een jetpack die zijn snelheid aanpast aan het terrein. Hij komt veel sneller boven op de berg (standaard leren), maar in het scenario van "sluipende aanval"-training zorgt de jetpack er soms voor dat de wandelaar wankelt en van de afgrond valt (slechte beveiliging).

De Vraag: Is er een manier om de snelheid van de jetpack te krijgen zonder het wankelen?

De Muon-Optimizer: De "Dansinstructeur"

Het paper introduceert een nieuw gereedschap genaamd Muon. De auteurs vergelijken Muon met een dansinstructeur die gespecialiseerd is in het houden van dansers perfect uitgelijnd.

Het Probleem met Standaard Gereedschap: Wanneer AdamW probeert te leren, laat het soms de interne "spieren" van de robot (wiskundige gewichten) te sterk of onbalans groeien, zoals een gewichtheffer die per ongeluk een te zware haltelift en zijn rug breekt. Deze instabiliteit maakt de robot kwetsbaar voor aanvallen.
De Muon-oplossing: Muon fungeert als een strenge dansinstructeur. Elke keer dat de robot een stap probeert te doen (zijn leren bijwerken), controleert Muon de beweging. Als de beweging te wild of onbalans is, dwingt Muon de robot om de stap te "orthogonaliseren".
- De Analogie: Stel je voor dat de robot probeert een zware doos te duwen. AdamW duwt hem misschien op een rare, gekartelde hoek waardoor de doos omvalt. Muon zorgt ervoor dat de robot de doos in een perfect rechte, gebalanceerde lijn duwt, zoals een danser die over een podium glijdt. Het houdt de "vorm" van de beweging stabiel en voorkomt dat de robot "slechte gewoonten" (instabiele gewichten) ontwikkelt die aanvallers kunnen uitbuiten.

Wat het Paper Vond (De Resultaten)

De onderzoekers testten deze "Dansinstructeur" (Muon) tegen de "Stabiele Wandelaar" (SGD) en de "Jetpack-wandelaar" (AdamW) in drie verschillende scenario's:

1. Kleine Datasets (Zoals CIFAR-10)

Het Resultaat: Muon was een groot succes. Het was veel beter dan AdamW (dat worstelde) en net zo goed als, of soms beter dan, de stabiele SGD.
De Conclusie: Op kleinere, beheersbare taken hield Muon's "dansbewegingen" de training stabiel en veilig, waardoor de robot niet door de sluipende aanvallen in de war raakte.

2. Vision Transformers (ViTs)

Het Resultaat: Dit is waar AdamW echt faalde. Bij het proberen om complexe "Vision Transformer"-modellen te trainen, crashte AdamW vaak volledig, wat resulteerde in een robot die in wezen willekeurig gokte. Muon hield echter de training stabiel en produceerde een beveiligde robot.
De Conclusie: Voor deze complexe, moderne AI-architecturen was de "Dansinstructeur" essentieel. Zonder Muon was de training te chaotisch om veilig te zijn.

3. Grote Datasets (Zoals ImageNet)

Het Resultaat: Toen ze overschakelden naar een enorme dataset (miljoenen afbeeldingen), was de "Stabiele Wandelaar" (SGD) nog steeds de kampioen. Muon was goed, maar het had iets meer moeite met de schaal en vereiste zeer specifieke afstemming om goed te werken.
De Conclusie: Muon is een krachtig gereedschap, maar voor de grootste, zwaarste taken heeft de oude betrouwbare methode (SGD) voorlopig nog steeds de overhand.

Het "Waarom" Achter de Magie

Het paper zegt niet alleen "het werkt"; het legt uit waarom met behulp van wat wiskunde (die we kunnen vertalen):

Het Snelheidslimiet: Muon legt een "snelheidslimiet" op aan hoe sterk de interne gewichten van de robot in één richting kunnen groeien. Het voorkomt de "ongecontroleerde groei" die bij AdamW optreedt.
Het Veiligheidsnet: Denk aan AdamW als een auto zonder remmen die versnelt in bochten. Muon is als een auto met een toerenbegrenzer die de snelheid beperkt zodat hij nooit uit de hand loopt, zelfs niet als de weg hobbelig wordt. Deze "snelheidslimiet" op de wiskunde zorgt ervoor dat de robot niet fragiel wordt.

De Conclusie

Het paper concludeert dat hoe je ervoor kiest om het leerproces te "besturen" net zo belangrijk is als de auto zelf.

Muon is een nieuwe, spannende bestuurder die de auto stabiel en veilig houdt, vooral wanneer de weg lastig is (complexe modellen) of het verkeer licht is (kleine datasets).
Het is geen toverstaf die alles oplost (het heeft nog steeds afstemming nodig voor enorme datasets), maar het is een grote verbetering ten opzichte van de huidige "jetpack"-methode (AdamW) voor beveiliging.
De auteurs suggereren dat beveiligingsexperts in de toekomst meer aandacht moeten besteden aan de "bestuurder" (de optimizer) die ze kiezen, en niet alleen aan de "auto" (de modelarchitectuur).

Kortom: Als je wilt dat je AI bestand is tegen sluipende aanvallen, is het gebruik van de Muon-"Dansinstructeur" een uitstekende manier om je training stabiel te houden, vooral voor moderne, complexe AI-modellen.

Technische Samenvatting: Wanneer de Muon-optimizer Adversarial Training tegenkomt

Probleemstelling

Adversarial Training (AT) blijft de meest betrouwbare empirische verdediging tegen adversarial attacks, maar de robuustheid ervan is kritiek afhankelijk van hoe het onderliggende min-max optimalisatieprobleem wordt opgelost. Hoewel Stochastic Gradient Descent (SGD) de standaardoptimizer voor AT is vanwege de waargenomen robuustheid, verbeteren adaptieve optimalisatoren zoals AdamW vaak de standaardtraining maar leveren ze inferieure robuustheid op. Onlangs is de Muon-optimizer naar voren gekomen als een hoogpresterend alternatief voor training op grote schaal, waarbij gebruik wordt gemaakt van georthogonaliseerde matrixgewijze updates via benaderde polaire decompositie. De impact van deze specifieke optimizer-geometrie op adversarial robuustheid onder sterke en heterogene dreigingsmodellen blijft echter onontgonnen. Dit artikel beantwoordt de vraag: Kan georthogonaliseerde optimalisatie AT verbeteren, en wat zijn de theoretische en empirische mechanismen die dit gedrag sturen?

Methodologie

De studie hanteert een tweeledige aanpak die theoretische analyse van de Muon-updateregel combineert met een uitgebreide empirische evaluatie over meerdere architecturen en dreigingsmodellen.

Theoretische Analyse

De auteurs analyseren de Muon-updateregel, waarbij de momentum-geaccumuleerde gradient $M_t$ wordt getransformeerd naar een benaderde polaire factor $U_t$ (georthogonaliseerd) voordat de gewichten worden bijgewerkt: $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$ .

Spectrale-norm Stabiliteitsplafond: Het artikel bewijst dat de polaire update een structureel plafond oplegt aan de spectrale norm van matrixupdates. In tegenstelling tot adaptieve optimalisatoren, die onbeperkte spectrale groei kunnen vertonen, zorgen de georthogonaliseerde updates van Muon ervoor dat de spectrale norm van de gewichten begrensd blijft door een functie van de leersnelheid, gewichtsverval en benaderingsfout ( $\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$ ).
Gradientdynamiek: Theoretische resultaten geven aan dat Muon de adversarial loss afdalt langs de kern-normrichting. Dit biedt een structureel grotere per-stap afdalingsgarantie in vergelijking met standaard gradientstappen, vooral in aanwezigheid van adversarial gradients met hoge variantie.
Robuustheidsgrenzen: Door de spectrale normen van lagen te begrenzen, leiden de auteurs een structurele bovengrens af voor de Lipschitz-constante van de margefunctie, waardoor de update-geometrie van de optimizer wordt gekoppeld aan de robuustheid van het model tegen $\ell_p$ -gebonden aanvallen.

Empirische Evaluatie

De auteurs hebben Muon aangepast voor AT met behulp van Auto Projected Gradient Descent (APGD) als de innerlijke aanvalslus. Experimenten zijn uitgevoerd op:

Datasets: CIFAR-10 en ImageNet.
Architecturen: PreActResNet-18, WideResNet (WRN-34-10, WRN-34-20) en Vision Transformers (ViT-B, ViT-L).
Dreigingsmodellen: $\ell_\infty$ , $\ell_1$ , $\ell_2$ en hun verenigingen.
Vergelijkingsgroepen: SGD, AdamW en Sharpness-Aware Minimization (SAM).

Belangrijkste Bijdragen

Herbezinning op Optimizerkeuze als Veiligheidsfactor: Het artikel identificeert de geometrie van georthogonaliseerde matrixupdates als een kritieke, onderbelichte factor in adversarial training, verder gaand dan de conventionele vergelijking tussen SGD en AdamW.
Mechanistische Analyse van Muon: De auteurs bieden een theoretische verklaring voor het gedrag van Muon, waarbij wordt aangetoond dat de polaire updateregel een operator-normplafond oplegt aan matrixgewijze updates. Dit voorkomt de onstabiele spectrale groei die vaak wordt waargenomen bij adaptieve optimalisatoren, en biedt een diagnostische verklaring voor winsten in robuustheid.
Gestuurde Multi-norm Evaluatie: De studie presenteert een systematische vergelijking van SGD, AdamW en Muon in diverse settings. Het verduidelijkt de afwegingen tussen georthogonaliseerde updates (Muon) en sharpness-aware perturbatie (SAM), en toont aan dat Muon fungeert als een alternatief voor optimizer-geometrie in plaats van een direct vervangend middel.

Belangrijkste Resultaten

Prestaties versus AdamW: Muon presteert aanzienlijk beter dan AdamW in AT, zowel voor CNN's als ViT's. Bij ViT-architecturen lijdt AdamW vaak aan trainingsinstabiliteit of een instorting naar bijna willekeurige prestaties, terwijl Muon stabiliteit en concurrerende robuustheid behoudt.
Prestaties versus SGD: Op kleine datasets (CIFAR-10) met overgeparameteriseerde CNN's (bijv. WRN-34-10/20) bereikt Muon verenigingsrobuustheid die gelijkwaardig is aan of beter is dan SGD. Op grote datasets zoals ImageNet presteert SGD echter momenteel beter, wat suggereert dat Muon gevoeliger is voor hyperparameterafstelling (leersnelheid, warmup) op grote schaal.
Vergelijking met SAM: Muon verbetert de update-geometrie zonder de extra computatiekosten van de gewichtsperturbatiestap die door SAM wordt vereist. Hoewel SAM in specifieke settings vaak iets hogere robuustheid bereikt, biedt Muon een efficiënter alternatief met vergelijkbare stabiliteit.
Robuust Overfitting: De studie observeert dat Muon, net als SGD, vatbaar is voor "robuust overfitting" in latere trainingsfasen. Vroegtijdig stoppen blijft een noodzakelijke strategie voor Muon-gebaseerde AT.
Black-Box Robuustheid: Met Muon getrainde modellen tonen sterke transferbaarheid, waarbij ze hoge robuustheid behouden tegen black-box transfer-aanvallen, wat aangeeft dat de winsten niet louter artefacten zijn van white-box optimalisatiepaden.

Betekenis en Beweringen

Het artikel beweert dat optimizer-geometrie een veiligheidsrelevante factor is in adversarial training. Door Muon in te voeren, tonen de auteurs aan dat georthogonaliseerde updates een stabiel alternatief kunnen bieden voor SGD, vooral in scenario's waar adaptieve optimalisatoren falen (bijv. Transformers) of waar computatie-efficiëntie een zorg is in vergelijking met SAM.

De auteurs concluderen met bescheidenheid dat Muon SGD niet universeel domineert; het biedt eerder een "stabiele georthogonaliseerde update-geometrie" die vaak de vroege robuuste optimalisatie verbetert. De bevindingen benadrukken dat, hoewel Muon een krachtig hulpmiddel is voor AT, de effectiviteit ervan op grote schaal (ImageNet) verdere hyperparameter- en schema-ontwerp vereist. Het werk vestigt een theoretisch verband tussen polaire decompositie en spectrale stabiliteit, wat suggereert dat het controleren van de geometrie van updates even belangrijk is als het verlieslandschap zelf voor het bereiken van robuustheid.