🤖 machine learning

When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

Este artículo presenta un estudio teórico y empírico que demuestra que el optimizador Muon, que ortogonaliza las actualizaciones de valor matricial, mejora la robustez del entrenamiento adversarial en diversas arquitecturas y modelos de amenazas al imponer estabilidad de la norma espectral, situando así la geometría del optimizador como un factor crítico en la seguridad del modelo.

Autores originales: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Publicado 2026-05-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Imagen: Construir un Fuerte contra Atacantes Astutos

Imagina que estás entrenando a un robot para reconocer gatos y perros. Quieres que sea tan inteligente que, incluso si alguien coloca una pegatina diminuta e invisible en la oreja de un gato (un "ataque adversarial"), el robot aún lo identifique correctamente como un gato. Este proceso de entrenar al robot para ignorar estos trucos astutos se llama Entrenamiento Adversarial (AT).

Durante mucho tiempo, la herramienta estándar para construir este "fuerte" fue un método llamado SGD (Descenso de Gradiente Estocástico). Piensa en SGD como un excursionista muy constante y confiable que da pequeños y cuidadosos pasos subiendo una montaña. Es lento, pero rara vez se cae de un precipicio.

Recientemente, una nueva herramienta más rápida llamada AdamW se volvió popular. Es como un excursionista con un propulsor a reacción que ajusta su velocidad según el terreno. Llega a la cima de la montaña (aprendizaje estándar) mucho más rápido, pero en el escenario de entrenamiento de "ataques astutos", a veces el propulsor hace que el excursionista oscile y se caiga del precipicio (mala seguridad).

La Pregunta: ¿Existe una manera de obtener la velocidad del propulsor sin la oscilación?

Entra el Optimizador Muon: El "Instructor de Baile"

El artículo introduce una nueva herramienta llamada Muon. Los autores comparan a Muon con un instructor de baile que se especializa en mantener a los bailarines perfectamente alineados.

El Problema con las Herramientas Estándar: Cuando AdamW intenta aprender, a veces hace que los "músculos" internos del robot (los pesos matemáticos) crezcan demasiado fuertes o desequilibrados, como un levantador de pesas que accidentalmente levanta una barra demasiado pesada y se rompe la espalda. Esta inestabilidad hace que el robot sea vulnerable a los ataques.
La Solución Muon: Muon actúa como un estricto instructor de baile. Cada vez que el robot intenta dar un paso (actualizar su aprendizaje), Muon verifica el movimiento. Si el movimiento es demasiado salvaje o desequilibrado, Muon obliga al robot a "ortonormalizar" el paso.
- La Analogía: Imagina que el robot está tratando de empujar una caja pesada. AdamW podría empujarla en un ángulo extraño y dentado que hace que la caja se voltee. Muon asegura que el robot empuje la caja en una línea perfectamente recta y equilibrada, como un bailarín que se desliza por un escenario. Mantiene la "forma" del movimiento estable, evitando que el robot desarrolle "malos hábitos" (pesos inestables) que los atacantes puedan explotar.

Lo que el Artículo Encontró (Los Resultados)

Los investigadores probaron a este "Instructor de Baile" (Muon) contra el "Excursionista Constante" (SGD) y el "Excursionista con Propulsor" (AdamW) en tres escenarios diferentes:

1. Conjuntos de Datos Pequeños (Como CIFAR-10)

El Resultado: Muon fue un gran éxito. Fue mucho mejor que AdamW (que tuvo dificultades) y fue tan bueno como, o a veces mejor que, el constante SGD.
La Conclusión: En tareas más pequeñas y manejables, los "movimientos de baile" de Muon mantuvieron el entrenamiento estable y seguro, evitando que el robot se confundiera por los ataques astutos.

2. Transformadores de Visión (ViTs)

El Resultado: Aquí es donde AdamW realmente falló. Al intentar entrenar modelos complejos de "Transformadores de Visión", AdamW a menudo se estrelló por completo, resultando en un robot que esencialmente adivinaba al azar. Muon, sin embargo, mantuvo el entrenamiento estable y produjo un robot seguro.
La Conclusión: Para estas arquitecturas de IA modernas y complejas, el "Instructor de Baile" fue esencial. Sin Muon, el entrenamiento era demasiado caótico para ser seguro.

3. Conjuntos de Datos Grandes (Como ImageNet)

El Resultado: Cuando pasaron a un conjunto de datos masivo (millones de imágenes), el "Excursionista Constante" (SGD) seguía siendo el campeón. Muon fue bueno, pero tuvo un poco más de dificultades con la escala pura y requirió un ajuste muy específico para funcionar bien.
La Conclusión: Muon es una herramienta poderosa, pero para los trabajos de levantamiento más grandes y pesados, el viejo método confiable (SGD) todavía tiene la ventaja por ahora.

El "Por Qué" Detrás de la Magia

El artículo no solo dice "funciona"; explica por qué usando algo de matemáticas (que podemos traducir):

El Límite de Velocidad: Muon pone un "límite de velocidad" en cuánto pueden crecer los pesos internos del robot en cualquier dirección individual. Evita el "crecimiento descontrolado" que ocurre con AdamW.
La Red de Seguridad: Piensa en AdamW como un coche sin frenos que acelera en las curvas. Muon es como un coche con un regulador que limita la velocidad para que nunca pierda el control, incluso si el camino se vuelve irregular. Este "límite de velocidad" en las matemáticas asegura que el robot no se vuelva frágil.

La Conclusión Final

El artículo concluye que cómo eliges "conducir" el proceso de aprendizaje importa tanto como el propio coche.

Muon es un nuevo y emocionante conductor que mantiene el coche estable y seguro, especialmente cuando el camino es complicado (modelos complejos) o el tráfico es ligero (conjuntos de datos pequeños).
No es una varita mágica que arregla todo (todavía necesita ajuste para conjuntos de datos enormes), pero es una mejora importante sobre el método actual de "propulsor" (AdamW) en términos de seguridad.
Los autores sugieren que en el futuro, los expertos en seguridad deberían prestar más atención al "conductor" (el optimizador) que eligen, no solo al "coche" (la arquitectura del modelo).

En resumen: Si quieres que tu IA sea resistente contra ataques astutos, usar al "Instructor de Baile" Muon es una excelente manera de mantener tu entrenamiento estable, especialmente para modelos de IA modernos y complejos.

Resumen Técnico: Cuando el Optimizador Muon se Encuentra con el Entrenamiento Adversarial

Enunciado del Problema

El Entrenamiento Adversarial (AT) sigue siendo la defensa empírica más fiable contra ataques adversariales, sin embargo, su robustez depende críticamente de cómo se resuelve el problema subyacente de optimización min-max. Aunque el Descenso de Gradiente Estocástico (SGD) es el optimizador predeterminado para AT debido a su robustez observada, los optimizadores adaptativos como AdamW a menudo mejoran el entrenamiento estándar pero producen una robustez inferior. Recientemente, el optimizador Muon ha surgido como una alternativa de alto rendimiento para el entrenamiento a gran escala, utilizando actualizaciones de matrices ortogonalizadas mediante descomposición polar aproximada. No obstante, el impacto de esta geometría específica del optimizador sobre la robustez adversarial bajo modelos de amenaza fuertes y heterogéneos permanece inexplorado. Este artículo aborda la siguiente pregunta: ¿Puede la optimización ortogonalizada mejorar el AT, y cuáles son los mecanismos teóricos y empíricos que gobiernan este comportamiento?

Metodología

El estudio emplea un enfoque dual que combina el análisis teórico de la regla de actualización de Muon con una evaluación empírica exhaustiva a través de múltiples arquitecturas y modelos de amenaza.

Análisis Teórico

Los autores analizan la regla de actualización de Muon, donde el gradiente acumulado con momento $M_t$ se transforma en un factor polar aproximado $U_t$ (ortogonalizado) antes de actualizar los pesos $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$ .

Techo de Estabilidad de la Norma Espectral: El artículo demuestra que la actualización polar impone un techo estructural sobre la norma espectral de las actualizaciones de matrices. A diferencia de los optimizadores adaptativos, que pueden exhibir un crecimiento espectral ilimitado, las actualizaciones ortogonalizadas de Muon aseguran que la norma espectral de los pesos permanezca acotada por una función de la tasa de aprendizaje, la decadencia de pesos y el error de aproximación ( $\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$ ).
Dinámica del Gradiente: Los resultados teóricos indican que Muon desciende la pérdida adversarial a lo largo de la dirección de la norma nuclear. Esto proporciona una garantía de descenso por paso estructuralmente mayor en comparación con los pasos de gradiente estándar, particularmente en presencia de gradientes adversariales de alta varianza.
Límites de Robustez: Al acotar las normas espectrales de las capas, los autores derivan un límite estructural sobre la constante de Lipschitz de la función de margen, vinculando la geometría de actualización del optimizador con la robustez del modelo frente a ataques acotados por $\ell_p$ .

Evaluación Empírica

Los autores adaptaron Muon para AT utilizando el Descenso de Gradiente Proyectado Automático (APGD) como bucle de ataque interno. Los experimentos se realizaron en:

Conjuntos de Datos: CIFAR-10 e ImageNet.
Arquitecturas: PreActResNet-18, WideResNet (WRN-34-10, WRN-34-20) y Transformadores de Visión (ViT-B, ViT-L).
Modelos de Amenaza: $\ell_\infty$ , $\ell_1$ , $\ell_2$ y sus uniones.
Comparadores: SGD, AdamW y Minimización Sensible a la Agudeza (SAM).

Contribuciones Clave

Revisión de la Elección del Optimizador como Factor de Seguridad: El artículo identifica la geometría de actualización de matrices ortogonalizadas como un factor crítico y poco explorado en el entrenamiento adversarial, yendo más allá de la comparación convencional entre SGD y AdamW.
Análisis Mecanístico de Muon: Los autores proporcionan una explicación teórica del comportamiento de Muon, demostrando que su regla de actualización polar impone un techo de norma de operador sobre las actualizaciones de matrices. Esto previene el crecimiento espectral inestable a menudo observado con optimizadores adaptativos, ofreciendo una explicación diagnóstica para las ganancias en robustez.
Evaluación Controlada de Múltiples Normas: El estudio presenta una comparación sistemática de SGD, AdamW y Muon en diversos entornos. Aclara las compensaciones entre las actualizaciones ortogonalizadas (Muon) y la perturbación sensible a la agudeza (SAM), mostrando que Muon actúa como una alternativa de geometría de optimizador en lugar de un reemplazo directo.

Resultados Clave

Rendimiento frente a AdamW: Muon supera sustancialmente a AdamW en AT tanto en CNN como en ViT. En arquitecturas ViT, AdamW a menudo sufre inestabilidad en el entrenamiento o colapsa a un rendimiento cercano al aleatorio, mientras que Muon mantiene la estabilidad y una robustez competitiva.
Rendimiento frente a SGD: En conjuntos de datos a pequeña escala (CIFAR-10) con CNNs sobreparametrizadas (por ejemplo, WRN-34-10/20), Muon logra una robustez de unión comparable o superior a la de SGD. Sin embargo, en conjuntos de datos a gran escala como ImageNet, SGD actualmente tiene un mejor rendimiento, lo que sugiere que Muon es más sensible al ajuste de hiperparámetros (tasa de aprendizaje, calentamiento) a gran escala.
Comparación con SAM: Muon mejora la geometría de actualización sin el costo computacional adicional del paso de perturbación de pesos requerido por SAM. Aunque SAM a menudo logra una robustez ligeramente superior en configuraciones específicas, Muon ofrece una alternativa más eficiente con una estabilidad comparable.
Sobreajuste Robusto: El estudio observa que Muon, al igual que SGD, es susceptible al "sobreajuste robusto" en etapas posteriores del entrenamiento. La parada temprana sigue siendo una estrategia necesaria para el AT basado en Muon.
Robustez de Caja Negra: Los modelos entrenados con Muon demuestran una fuerte transferibilidad, manteniendo una alta robustez frente a ataques de transferencia de caja negra, lo que indica que las ganancias no son meros artefactos de trayectorias de optimización de caja blanca.

Significado y Afirmaciones

El artículo afirma que la geometría del optimizador es un factor relevante para la seguridad en el entrenamiento adversarial. Al introducir Muon, los autores demuestran que las actualizaciones ortogonalizadas pueden proporcionar una alternativa estable a SGD, particularmente en escenarios donde los optimizadores adaptativos fallan (por ejemplo, Transformadores) o donde la eficiencia computacional es una preocupación en comparación con SAM.

Los autores concluyen modestamente que Muon no domina universalmente a SGD; más bien, ofrece una "geometría de actualización ortogonalizada estable" que a menudo mejora la optimización robusta temprana. Los hallazgos destacan que, aunque Muon es una herramienta poderosa para AT, su efectividad a gran escala (ImageNet) requiere un diseño adicional de hiperparámetros y calendarios. El trabajo establece un vínculo teórico entre la descomposición polar y la estabilidad espectral, sugiriendo que controlar la geometría de las actualizaciones es tan importante como el propio paisaje de la pérdida para lograr robustez.