🤖 machine learning

When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study

Este artigo apresenta um estudo teórico e empírico que demonstra que o otimizador Muon, que ortogonaliza atualizações matriciais, aprimora a robustez do treinamento adversarial em diversas arquiteturas e modelos de ameaça ao impor estabilidade da norma espectral, posicionando assim a geometria do otimizador como um fator crítico na segurança do modelo.

Autores originais: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Publicado 2026-05-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jun Yan, Weiquan Huang, Jiankai Zuo, Yujian Mo, Xi Fang, Chengliang Wu, Zeming Wei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Construindo uma Fortaleza Contra Atacantes Sorrateiros

Imagine que você está treinando um robô para reconhecer gatos e cachorros. Você quer que ele seja tão inteligente que, mesmo se alguém colar um adesivo minúsculo e invisível na orelha de um gato (um "ataque adversarial"), o robô ainda o identifique corretamente como um gato. Esse processo de treinar o robô para ignorar esses truques sorrateiros é chamado de Treinamento Adversarial (AT).

Por muito tempo, a ferramenta padrão para construir essa "fortaleza" foi um método chamado SGD (Descida de Gradiente Estocástica). Pense no SGD como um caminhante muito estável e confiável que dá passos pequenos e cuidadosos subindo uma montanha. É lento, mas raramente cai de um penhasco.

Recentemente, uma nova ferramenta mais rápida chamada AdamW tornou-se popular. É como um caminhante com um jato que ajusta sua velocidade com base no terreno. Ele chega ao topo da montanha (aprendizado padrão) muito mais rápido, mas no cenário de treinamento de "ataque sorrateiro", o jato às vezes faz o caminhante oscilar e cair do penhasco (baixa segurança).

A Pergunta: Existe uma maneira de obter a velocidade do jato sem a oscilação?

Entra o Otimizador Muon: O "Instrutor de Dança"

O artigo apresenta uma nova ferramenta chamada Muon. Os autores comparam o Muon a um instrutor de dança especializado em manter os dançarinos perfeitamente alinhados.

O Problema das Ferramentas Padrão: Quando o AdamW tenta aprender, às vezes faz com que os "músculos" internos do robô (pesos matemáticos) cresçam demais ou fiquem desequilibrados, como um levantador de peso que acidentalmente levanta uma barra muito pesada e quebra as costas. Essa instabilidade torna o robô vulnerável a ataques.
A Solução Muon: O Muon age como um instrutor de dança rigoroso. Toda vez que o robô tenta dar um passo (atualizar seu aprendizado), o Muon verifica o movimento. Se o movimento for muito selvagem ou desequilibrado, o Muon força o robô a "ortonormalizar" o passo.
- A Analogia: Imagine que o robô está tentando empurrar uma caixa pesada. O AdamW pode empurrá-la em um ângulo estranho e irregular, fazendo com que a caixa tombe. O Muon garante que o robô empurre a caixa em uma linha perfeitamente reta e equilibrada, como um dançarino deslizando por um palco. Ele mantém a "forma" do movimento estável, impedindo que o robô desenvolva "maus hábitos" (pesos instáveis) que os atacantes possam explorar.

O Que o Artigo Encontrou (Os Resultados)

Os pesquisadores testaram esse "Instrutor de Dança" (Muon) contra o "Caminhante Estável" (SGD) e o "Caminhante com Jato" (AdamW) em três cenários diferentes:

1. Conjuntos de Dados Pequenos (Como CIFAR-10)

O Resultado: O Muon foi um grande sucesso. Foi muito melhor que o AdamW (que teve dificuldades) e foi tão bom quanto, ou às vezes melhor que, o estável SGD.
A Conclusão: Em tarefas menores e gerenciáveis, os "passos de dança" do Muon mantiveram o treinamento estável e seguro, impedindo que o robô ficasse confuso com os ataques sorrateiros.

2. Vision Transformers (ViTs)

O Resultado: É aqui que o AdamW realmente falhou. Ao tentar treinar modelos complexos de "Vision Transformer", o AdamW frequentemente travava completamente, resultando em um robô que essencialmente adivinhava aleatoriamente. O Muon, no entanto, manteve o treinamento estável e produziu um robô seguro.
A Conclusão: Para essas arquiteturas de IA modernas e complexas, o "Instrutor de Dança" foi essencial. Sem o Muon, o treinamento era muito caótico para ser seguro.

3. Conjuntos de Dados Grandes (Como ImageNet)

O Resultado: Quando migraram para um conjunto de dados massivo (milhões de imagens), o "Caminhante Estável" (SGD) ainda era o campeão. O Muon foi bom, mas teve um pouco mais de dificuldade com a escala imensa e exigiu um ajuste muito específico para funcionar bem.
A Conclusão: O Muon é uma ferramenta poderosa, mas para os trabalhos mais pesados e grandes, o método antigo e confiável (SGD) ainda tem a vantagem no momento.

O "Porquê" Por Trás da Magia

O artigo não diz apenas "funciona"; ele explica por que funciona usando matemática (que podemos traduzir):

O Limite de Velocidade: O Muon impõe um "limite de velocidade" sobre o quanto os pesos internos do robô podem crescer em qualquer direção única. Ele previne o "crescimento descontrolado" que acontece com o AdamW.
A Rede de Segurança: Pense no AdamW como um carro sem freios que acelera nas curvas. O Muon é como um carro com um limitador de velocidade que impede que ele gire fora de controle, mesmo que a estrada fique irregular. Esse "limite de velocidade" na matemática garante que o robô não se torne frágil.

A Conclusão

O artigo conclui que como você escolhe "dirigir" o processo de aprendizado importa tanto quanto o próprio carro.

Muon é um novo e emocionante motorista que mantém o carro estável e seguro, especialmente quando a estrada é complicada (modelos complexos) ou o trânsito é leve (conjuntos de dados pequenos).
Não é uma varinha mágica que conserta tudo (ainda precisa de ajuste para conjuntos de dados enormes), mas é uma melhoria significativa sobre o método atual de "jato" (AdamW) para segurança.
Os autores sugerem que, no futuro, especialistas em segurança devem prestar mais atenção ao "motorista" (o otimizador) que escolhem, e não apenas ao "carro" (a arquitetura do modelo).

Em resumo: Se você quer que sua IA seja resistente contra ataques sorrateiros, usar o "Instrutor de Dança" Muon é uma ótima maneira de manter seu treinamento estável, especialmente para modelos de IA modernos e complexos.

Resumo Técnico: Quando o Otimizador Muon Encontra o Treinamento Adversarial

Declaração do Problema

O Treinamento Adversarial (AT) permanece a defesa empírica mais confiável contra ataques adversariais, contudo, sua robustez depende criticamente de como o problema de otimização min-max subjacente é resolvido. Embora o Descenso de Gradiente Estocástico (SGD) seja o otimizador padrão para AT devido à sua robustez observada, otimizadores adaptativos como o AdamW frequentemente melhoram o treinamento padrão, mas resultam em robustez inferior. Recentemente, o otimizador Muon emergiu como uma alternativa de alto desempenho para treinamento em larga escala, utilizando atualizações de matriz valorizada ortogonalizadas via decomposição polar aproximada. No entanto, o impacto dessa geometria específica de otimizador na robustez adversarial sob modelos de ameaça fortes e heterogêneos permanece inexplorado. Este artigo aborda a seguinte questão: a otimização ortogonalizada pode melhorar o AT, e quais são os mecanismos teóricos e empíricos que governam esse comportamento?

Metodologia

O estudo emprega uma abordagem dual, combinando análise teórica da regra de atualização do Muon com avaliação empírica abrangente em múltiplas arquiteturas e modelos de ameaça.

Análise Teórica

Os autores analisam a regra de atualização do Muon, onde o gradiente acumulado por momento $M_t$ é transformado em um fator polar aproximado $U_t$ (ortogonalizado) antes de atualizar os pesos $W_{t+1} = (1-\eta\lambda)W_t - \eta U_t$ .

Teto de Estabilidade da Norma Espectral: O artigo prova que a atualização polar impõe um teto estrutural sobre a norma espectral das atualizações de matriz. Diferentemente de otimizadores adaptativos, que podem exibir crescimento espectral ilimitado, as atualizações ortogonalizadas do Muon garantem que a norma espectral dos pesos permaneça limitada por uma função da taxa de aprendizado, do decaimento de peso e do erro de aproximação ( $\|W_t\|_2 \leq \max(\|W_0\|_2, \frac{1+\bar{\epsilon}}{\lambda})$ ).
Dinâmica do Gradiente: Resultados teóricos indicam que o Muon desce a perda adversarial ao longo da direção da norma nuclear. Isso fornece uma garantia de descida por etapa estruturalmente maior em comparação com etapas de gradiente padrão, particularmente na presença de gradientes adversariais de alta variância.
Limites de Robustez: Ao limitar as normas espectrais das camadas, os autores derivam um limite estrutural sobre a constante de Lipschitz da função de margem, ligando a geometria de atualização do otimizador à robustez do modelo contra ataques limitados por $\ell_p$ .

Avaliação Empírica

Os autores adaptaram o Muon para AT usando o Descenso de Gradiente Projetado Automático (APGD) como o loop interno de ataque. Os experimentos foram conduzidos em:

Conjuntos de Dados: CIFAR-10 e ImageNet.
Arquiteturas: PreActResNet-18, WideResNet (WRN-34-10, WRN-34-20) e Vision Transformers (ViT-B, ViT-L).
Modelos de Ameaça: $\ell_\infty$ , $\ell_1$ , $\ell_2$ e suas uniões.
Comparadores: SGD, AdamW e Minimização Sensível à Nitidez (SAM).

Principais Contribuições

Revisão da Escolha do Otimizador como Fator de Segurança: O artigo identifica a geometria de atualização de matriz ortogonalizada como um fator crítico e pouco explorado no treinamento adversarial, indo além da comparação convencional entre SGD e AdamW.
Análise Mecanística do Muon: Os autores fornecem uma explicação teórica para o comportamento do Muon, demonstrando que sua regra de atualização polar impõe um teto de norma de operador sobre atualizações de matriz valorizada. Isso previne o crescimento espectral instável frequentemente observado com otimizadores adaptativos, oferecendo uma explicação diagnóstica para os ganhos de robustez.
Avaliação Controlada de Múltiplas Normas: O estudo apresenta uma comparação sistemática entre SGD, AdamW e Muon em configurações diversas. Ele esclarece os trade-offs entre atualizações ortogonalizadas (Muon) e perturbação sensível à nitidez (SAM), mostrando que o Muon atua como uma alternativa de geometria de otimizador, e não como um substituto direto.

Principais Resultados

Desempenho vs. AdamW: O Muon supera substancialmente o AdamW em AT, tanto em CNNs quanto em ViTs. Em arquiteturas ViT, o AdamW frequentemente sofre de instabilidade no treinamento ou colapso para desempenho quase aleatório, enquanto o Muon mantém estabilidade e robustez competitiva.
Desempenho vs. SGD: Em conjuntos de dados de pequena escala (CIFAR-10) com CNNs superparametrizadas (por exemplo, WRN-34-10/20), o Muon alcança robustez de união comparável ou superior ao SGD. No entanto, em conjuntos de dados de grande escala como o ImageNet, o SGD atualmente performa melhor, sugerindo que o Muon é mais sensível ao ajuste de hiperparâmetros (taxa de aprendizado, aquecimento) em escala.
Comparação com SAM: O Muon melhora a geometria de atualização sem o custo computacional adicional da etapa de perturbação de pesos exigida pelo SAM. Embora o SAM frequentemente alcance robustez ligeiramente superior em configurações específicas, o Muon oferece uma alternativa mais eficiente com estabilidade comparável.
Sobreajuste Robusto: O estudo observa que o Muon, assim como o SGD, é suscetível ao "sobreajuste robusto" nas etapas finais do treinamento. A parada antecipada permanece uma estratégia necessária para AT baseada em Muon.
Robustez de Caixa-Preta: Modelos treinados com Muon demonstram forte transferibilidade, mantendo alta robustez contra ataques de transferência de caixa-preta, indicando que os ganhos não são meramente artefatos de caminhos de otimização de caixa-branca.

Significado e Alegações

O artigo afirma que a geometria do otimizador é um fator relevante para a segurança no treinamento adversarial. Ao introduzir o Muon, os autores demonstram que atualizações ortogonalizadas podem fornecer uma alternativa estável ao SGD, particularmente em cenários onde otimizadores adaptativos falham (por exemplo, Transformers) ou onde a eficiência computacional é uma preocupação em comparação com o SAM.

Os autores concluem modestamente que o Muon não domina universalmente o SGD; em vez disso, oferece uma "geometria de atualização ortogonalizada estável" que frequentemente melhora a otimização robusta inicial. As descobertas destacam que, embora o Muon seja uma ferramenta poderosa para AT, sua eficácia em grandes escalas (ImageNet) requer maior design de hiperparâmetros e cronograma. O trabalho estabelece um vínculo teórico entre a decomposição polar e a estabilidade espectral, sugerindo que controlar a geometria das atualizações é tão importante quanto o próprio panorama da perda para alcançar robustez.