🤖 machine learning

When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

Dieser Artikel stellt eine theoretische und empirische Studie vor, die zeigt, dass der Muon-Optimierer, der matrixwertige Updates orthogonalisiert, die Robustheit der adversariellen Training über verschiedene Architekturen und Bedrohungsmodelle hinweg durch die Auferlegung spektral-normierter Stabilität verbessert und dadurch die Geometrie des Optimierers als kritischen Faktor für die Modelsicherheit positioniert.

Ursprüngliche Autoren: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine Festung gegen heimliche Angreifer bauen

Stellen Sie sich vor, Sie trainieren einen Roboter, um Katzen und Hunde zu erkennen. Sie wollen, dass er so intelligent ist, dass er selbst dann, wenn jemand einen winzigen, unsichtbaren Aufkleber auf das Ohr einer Katze klebt (ein „adversarial attack" oder gegnerischer Angriff), ihn korrekt als Katze identifiziert. Dieser Prozess, bei dem der Roboter trainiert wird, diese heimlichen Tricks zu ignorieren, heißt Adversarial Training (AT).

Lange Zeit war das Standardwerkzeug zum Bau dieser „Festung" eine Methode namens SGD (Stochastic Gradient Descent). Stellen Sie sich SGD als einen sehr stetigen, zuverlässigen Wanderer vor, der kleine, vorsichtige Schritte einen Berg hinauf macht. Es ist langsam, aber er fällt selten von einer Klippe.

Vor kurzem wurde ein neues, schnelleres Werkzeug namens AdamW populär. Es ist wie ein Wanderer mit einem Jetpack, der seine Geschwindigkeit an das Gelände anpasst. Er kommt viel schneller auf den Gipfel des Berges (Standard-Lernen), aber im Szenario des „heimlichen Angriffs"-Trainings lässt das Jetpack den Wanderer manchmal wackeln und von der Klippe fallen (schlechte Sicherheit).

Die Frage: Gibt es einen Weg, die Geschwindigkeit des Jetpacks zu bekommen, ohne das Wackeln?

Der Muon-Optimierer: Der „Tanzlehrer"

Das Paper stellt ein neues Werkzeug namens Muon vor. Die Autoren vergleichen Muon mit einem Tanzlehrer, der sich darauf spezialisiert hat, Tänzer perfekt auszurichten.

Das Problem mit Standard-Tools: Wenn AdamW versucht zu lernen, lässt es manchmal die inneren „Muskeln" des Roboters (mathematische Gewichte) zu stark oder unausgewogen wachsen, wie ein Gewichtheber, der versehentlich eine zu schwere Langhantel hebt und sich den Rücken bricht. Diese Instabilität macht den Roboter anfällig für Angriffe.
Die Muon-Lösung: Muon wirkt wie ein strenger Tanzlehrer. Jedes Mal, wenn der Roboter versucht, einen Schritt zu machen (seine Lernweise zu aktualisieren), prüft Muon die Bewegung. Wenn die Bewegung zu wild oder unausgewogen ist, zwingt Muon den Roboter, den Schritt zu „orthogonalisieren".
- Die Analogie: Stellen Sie sich vor, der Roboter versucht, eine schwere Kiste zu schieben. AdamW könnte sie in einem seltsamen, gezackten Winkel schieben, der dazu führt, dass die Kiste umkippt. Muon stellt sicher, dass der Roboter die Kiste in einer perfekt geraden, ausgewogenen Linie schiebt, wie ein Tänzer, der über eine Bühne gleitet. Es hält die „Form" der Bewegung stabil und verhindert, dass der Roboter „schlechte Gewohnheiten" (instabile Gewichte) entwickelt, die Angreifer ausnutzen können.

Was das Paper herausfand (Die Ergebnisse)

Die Forscher testeten diesen „Tanzlehrer" (Muon) gegen den „Stetigen Wanderer" (SGD) und den „Jetpack-Wanderer" (AdamW) in drei verschiedenen Szenarien:

1. Kleine Datensätze (wie CIFAR-10)

Das Ergebnis: Muon war ein großer Erfolg. Es war viel besser als AdamW (das Mühe hatte) und genauso gut wie, oder manchmal besser als, der stetige SGD.
Das Fazit: Bei kleineren, handhabbaren Aufgaben hielten Muons „Tanzschritte" das Training stabil und sicher und verhinderten, dass der Roboter durch die heimlichen Angriffe verwirrt wurde.

2. Vision Transformer (ViTs)

Das Ergebnis: Hier versagte AdamW wirklich. Beim Versuch, komplexe „Vision Transformer"-Modelle zu trainieren, stürzte AdamW oft komplett ab, was zu einem Roboter führte, der im Wesentlichen zufällig rät. Muon hingegen hielt das Training stabil und produzierte einen sicheren Roboter.
Das Fazit: Für diese komplexen, modernen KI-Architekturen war der „Tanzlehrer" unverzichtbar. Ohne Muon war das Training zu chaotisch, um sicher zu sein.

3. Große Datensätze (wie ImageNet)

Das Ergebnis: Als sie zu einem massiven Datensatz (Millionen von Bildern) wechselten, war der „Stetige Wanderer" (SGD) immer noch der Champion. Muon war gut, hatte aber mit dem schieren Ausmaß etwas mehr zu kämpfen und benötigte sehr spezifische Feinabstimmung, um gut zu funktionieren.
Das Fazit: Muon ist ein mächtiges Werkzeug, aber für die größten und schwersten Hebejobs hat die alte, zuverlässige Methode (SGD) derzeit immer noch die Nase vorn.

Das „Warum" hinter der Magie

Das Paper sagt nicht nur „es funktioniert"; es erklärt warum, indem es Mathematik verwendet (die wir übersetzen können):

Die Geschwindigkeitsbegrenzung: Muon setzt eine „Geschwindigkeitsbegrenzung" dafür, wie stark die inneren Gewichte des Roboters in eine einzelne Richtung wachsen können. Es verhindert das „unkontrollierte Wachstum", das bei AdamW auftritt.
Das Sicherheitsnetz: Stellen Sie sich AdamW wie ein Auto ohne Bremsen vor, das in Kurven schneller wird. Muon ist wie ein Auto mit einem Drehzahlbegrenzer, der die Geschwindigkeit begrenzt, damit es nie die Kontrolle verliert, selbst wenn die Straße holprig wird. Diese „Geschwindigkeitsbegrenzung" in der Mathematik stellt sicher, dass der Roboter nicht zerbrechlich wird.

Das Fazit

Das Paper kommt zu dem Schluss, dass wie Sie den Lernprozess „fahren" lassen, genauso wichtig ist wie das Auto selbst.

Muon ist ein neuer, aufregender Fahrer, der das Auto stabil und sicher hält, besonders wenn die Straße tückisch ist (komplexe Modelle) oder der Verkehr leicht ist (kleine Datensätze).
Es ist kein Zauberstab, der alles repariert (es benötigt immer noch Feinabstimmung für große Datensätze), aber es ist eine erhebliche Verbesserung gegenüber der aktuellen „Jetpack"-Methode (AdamW) in Bezug auf Sicherheit.
Die Autoren schlagen vor, dass Sicherheitsexperten in Zukunft mehr Aufmerksamkeit auf den „Fahrer" (den Optimierer) richten sollten, den sie wählen, und nicht nur auf das „Auto" (die Modellarchitektur).

Kurz gesagt: Wenn Sie wollen, dass Ihre KI resistent gegen heimliche Angriffe ist, ist die Verwendung des Muon-„Tanzlehrers" ein großartiger Weg, um Ihr Training stabil zu halten, insbesondere für moderne, komplexe KI-Modelle.

Technische Zusammenfassung: Wenn der Muon-Optimierer auf Adversarial Training trifft

Problemstellung

Adversarial Training (AT) bleibt die zuverlässigste empirische Verteidigung gegen adversarial attacks, doch seine Robustheit hängt kritisch davon ab, wie das zugrunde liegende Min-Max-Optimierungsproblem gelöst wird. Während der Stochastic Gradient Descent (SGD) aufgrund seiner beobachteten Robustheit der Standard-Optimierer für AT ist, führen adaptive Optimierer wie AdamW oft zu Verbesserungen im Standard-Training, liefern jedoch eine geringere Robustheit. Kürzlich hat sich der Muon-Optimierer als leistungsstarke Alternative für das Training in großem Maßstab etabliert, der orthogonale Matrix-Updates mittels approximierter polarer Zerlegung nutzt. Der Einfluss dieser spezifischen Optimierer-Geometrie auf die adversarial Robustheit unter starken und heterogenen Bedrohungsmodellen bleibt jedoch unerforscht. Dieser Beitrag adressiert die Frage: Kann orthogonale Optimierung AT verbessern, und welche theoretischen und empirischen Mechanismen steuern dieses Verhalten?

Methodik

Die Studie verfolgt einen dualen Ansatz, der theoretische Analyse der Muon-Aktualisierungsregel mit einer umfassenden empirischen Evaluation über mehrere Architekturen und Bedrohungsmodelle hinweg kombiniert.

Theoretische Analyse

Die Autoren analysieren die Muon-Aktualisierungsregel, bei der der momentum-akkumulierte Gradient $M_t$ vor der Aktualisierung der Gewichte $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$ in einen approximierten polaren Faktor $U_t$ (orthogonalisiert) transformiert wird.

Spektral-Norm-Stabilitätsdecke: Der Beitrag beweist, dass die polare Aktualisierung eine strukturelle Decke für die Spektralnorm von Matrix-Updates auferlegt. Im Gegensatz zu adaptiven Optimierern, die ein unbeschränktes spektrales Wachstum aufweisen können, stellen die orthogonalisierten Updates von Muon sicher, dass die Spektralnorm der Gewichte durch eine Funktion der Lernrate, des Gewichtsverfalls und des Approximationsfehlers beschränkt bleibt ( $\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$ ).
Gradientendynamik: Theoretische Ergebnisse deuten darauf hin, dass Muon den adversarialen Verlust entlang der Kernnorm-Richtung hinabsteigt. Dies bietet eine strukturell größere Abstiegsgarantie pro Schritt im Vergleich zu Standard-Gradientenschritten, insbesondere bei Vorliegen hochvarianter adversarialer Gradienten.
Robustheitsgrenzen: Durch die Beschränkung der Schicht-Spektralnormen leiten die Autoren eine strukturelle Schranke für die Lipschitz-Konstante der Margin-Funktion ab und verknüpfen die Aktualisierungsgeometrie des Optimierers mit der Robustheit des Modells gegenüber $\ell_p$ -beschränkten Angriffen.

Empirische Evaluation

Die Autoren passten Muon für AT unter Verwendung von Auto Projected Gradient Descent (APGD) als innerer Angriffsschleife an. Die Experimente wurden durchgeführt auf:

Datensätzen: CIFAR-10 und ImageNet.
Architekturen: PreActResNet-18, WideResNet (WRN-34-10, WRN-34-20) und Vision Transformers (ViT-B, ViT-L).
Bedrohungsmodellen: $\ell_\infty$ , $\ell_1$ , $\ell_2$ und deren Vereinigungen.
Vergleichsgrößen: SGD, AdamW und Sharpness-Aware Minimization (SAM).

Hauptbeiträge

Neubetrachtung der Optimierer-Wahl als Sicherheitsfaktor: Der Beitrag identifiziert die Geometrie orthogonaler Matrix-Updates als einen kritischen, wenig erforschten Faktor im Adversarial Training und geht über den konventionellen Vergleich SGD vs. AdamW hinaus.
Mechanistische Analyse von Muon: Die Autoren liefern eine theoretische Erklärung für das Verhalten von Muon und zeigen, dass seine polare Aktualisierungsregel eine Operator-Norm-Decke für Matrix-Updates auferlegt. Dies verhindert das instabile spektrale Wachstum, das häufig bei adaptiven Optimierern beobachtet wird, und bietet eine diagnostische Erklärung für Robustheitsgewinne.
Kontrollierte Multi-Norm-Evaluation: Die Studie präsentiert einen systematischen Vergleich von SGD, AdamW und Muon über diverse Settings hinweg. Sie klärt die Trade-offs zwischen orthogonalisierten Updates (Muon) und sharpness-aware Perturbation (SAM) auf und zeigt, dass Muon als Alternative zur Optimierer-Geometrie fungiert und nicht als direkter Ersatz.

Hauptergebnisse

Leistung im Vergleich zu AdamW: Muon übertrifft AdamW im AT sowohl bei CNNs als auch bei ViTs erheblich. Bei ViT-Architekturen leidet AdamW häufig unter Trainingsinstabilität oder kollabiert zu nahezu zufälliger Leistung, während Muon Stabilität und wettbewerbsfähige Robustheit beibehält.
Leistung im Vergleich zu SGD: Auf kleinen Datensätzen (CIFAR-10) mit überparametrisierten CNNs (z. B. WRN-34-10/20) erreicht Muon eine Vereinigungsrobustheit, die mit SGD gleichwertig oder überlegen ist. Auf großen Datensätzen wie ImageNet hingegen performt SGD derzeit besser, was darauf hindeutet, dass Muon bei Skalierung empfindlicher auf Hyperparameter-Tuning (Lernrate, Warmup) reagiert.
Vergleich mit SAM: Muon verbessert die Aktualisierungsgeometrie ohne die zusätzlichen Rechenkosten des Gewichts-Perturbations-Schritts, der für SAM erforderlich ist. Während SAM in spezifischen Settings oft eine etwas höhere Robustheit erreicht, bietet Muon eine effizientere Alternative mit vergleichbarer Stabilität.
Robustes Overfitting: Die Studie beobachtet, dass Muon, ähnlich wie SGD, in späteren Trainingsphasen anfällig für „robustes Overfitting" ist. Early Stopping bleibt eine notwendige Strategie für Muon-basiertes AT.
Black-Box-Robustheit: Mit Muon trainierte Modelle zeigen eine starke Transferierbarkeit und behalten eine hohe Robustheit gegenüber Black-Box-Transfer-Angriffen bei, was darauf hindeutet, dass die Gewinne nicht bloß Artefakte von White-Box-Optimierungspfaden sind.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass die Optimierer-Geometrie ein sicherheitsrelevanter Faktor im Adversarial Training ist. Durch die Einführung von Muon demonstrieren die Autoren, dass orthogonalisierte Updates eine stabile Alternative zu SGD bieten können, insbesondere in Szenarien, in denen adaptive Optimierer versagen (z. B. Transformers) oder wo die Recheneffizienz im Vergleich zu SAM ein Anliegen ist.

Die Autoren schließen bescheiden, dass Muon SGD nicht universell dominiert; vielmehr bietet es eine „stabile orthogonalisierte Aktualisierungsgeometrie", die oft die frühe robuste Optimierung verbessert. Die Ergebnisse unterstreichen, dass Muon zwar ein leistungsfähiges Werkzeug für AT ist, seine Wirksamkeit in großem Maßstab (ImageNet) jedoch weiterer Hyperparameter- und Schedule-Designs bedarf. Die Arbeit etabliert einen theoretischen Zusammenhang zwischen polarer Zerlegung und spektraler Stabilität und legt nahe, dass die Kontrolle der Geometrie von Updates ebenso wichtig ist wie die Verlustlandschaft selbst, um Robustheit zu erreichen.