🤖 machine learning

When Does Muon Help Agentic Reinforcement Learning?

Este artigo demonstra que aplicar o otimizador Muon especificamente às matrizes de pesos ocultos durante a Otimização de Política Group-in-Group supera significativamente o AdamW em tarefas de RL agênticas de recompensa esparsa, com ganhos de desempenho fortemente dependentes da interação entre o estimador de vantagem, a taxa de aprendizado e a estratégia de otimização da política.

Autores originais: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Publicado 2026-07-20

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a navegar em uma casa gigante e bagunçada para encontrar um tesouro escondido. O robô é um "cérebro" feito de código, e cada vez que ele dá um passo, recebe um pequeno empurrão de um professor dizendo se aquele passo foi bom ou ruim. Este é o mundo do Aprendizado por Reforço (RL), onde um agente aprende por tentativa e erro. O "professor" nesta história é uma ferramenta matemática chamada otimizador, que decide o quanto o cérebro do robô deve mudar após cada erro ou sucesso. Durante anos, o método mais popular tem sido o AdamW, que é como um treinador cuidadoso e constante que ajusta os passos do robô com base no quão alto foi o feedback.

Recentemente, um treinador muito mais chamativo chamado Muon chegou. O Muon é famoso por ser incrivelmente rápido e eficiente ao ensinar robôs do zero (um processo chamado pré-treinamento), muitas vezes realizando o trabalho com metade da energia. Mas aqui está a grande questão: o Muon funciona tão bem quanto quando está ensinando um robô que já aprendeu o básico e agora está tentando dominar uma tarefa específica e difícil? Alguns relatos iniciais sugeriram que o Muon poderia ser agressivo demais para esta fase de "ajuste fino" (fine-tuning), fazendo o robô esquecer o que sabia ou ficar confuso com o ruído. Este artigo mergulha nesse mistério, testando se o Muon pode ser a arma secreta para ensinar agentes a resolver quebra-cabeças complexos de longo horizonte, onde as recompensas são raras e difíceis de encontrar.

O Grande Duelo dos Otimizadores

No laboratório, os pesquisadores organizaram uma corrida de alto nível. Eles pegaram um agente de IA pequeno, mas capaz (baseado no modelo Qwen2.5-0.5B-Instruct) e o incumbiram de resolver quebra-cabeças no ALFWorld, um ambiente simulado onde o agente deve realizar tarefas domésticas, como pegar objetos, limpar ou aquecer coisas. O detalhe? O agente só recebe uma recompensa de "sucesso" ao final de uma longa sequência de ações, e recebe uma penalidade por qualquer coisa errada que faça ao longo do caminho. É como tentar resolver um labirinto onde você só ouve "Você venceu!" se chegar à saída, mas recebe um "Buzzz!" para cada curva errada.

Para ver se o Muon poderia ajudar, os pesquisadores não apenas jogaram o robô no labirinto; eles deram a ele três tipos diferentes de "treinadores de feedback" (chamados de estimadores de vantagem) para interpretar seu desempenho:

GRPO: Este treinador olha apenas para o resultado final. "Você ganhou o jogo? Sim? Ótimo trabalho! Não? Tente novamente." Ele ignora os passos individuais.
GiGPO: Este treinador é mais inteligente. Ele olha para o resultado final, mas também agrupa momentos em que o robô enfrentou exatamente a mesma situação várias vezes. Ele pergunta: "Quando você estava na frente da geladeira, você costumava abri-la corretamente?"
GraphGPO: O treinador mais sofisticado, que mapeia toda a jornada como um grafo, analisando o quão próximo cada passo individual estava do objetivo.

A Descoberta Surpreendente

A equipe realizou os experimentos, colocando o velho e confiável treinador AdamW contra o novo treinador Muon. Eles mantiveram todo o resto exatamente igual, apenas trocando o otimizador para os pesos do "cérebro oculto" do robô (as conexões internas complexas), enquanto deixavam as partes básicas (como o dicionário de palavras) no AdamW.

Os resultados foram uma mistura de "mais ou menos" e "uau", dependendo inteiramente de qual treinador de feedback foi usado.

O Momento "Uau": GiGPO
Quando usaram o treinador GiGPO, o Muon transformou o robô em um superaprendiz.

Com o treinador AdamW padrão, o robô teve sucesso em cerca de 29% das execuções de teste finais.
Com o Muon, esse número disparou para 54,6%.
Isso representa uma melhoria relativa de 88%.
Ainda mais impressionante: enquanto o robô AdamW colapsou e falhou em resolver qualquer tarefa após um certo ponto, o robô Muon continuou aprendendo e tendo sucesso ao longo de 200 atualizações.

O Momento "Mais ou Menos": GRPO
Quando usaram o treinador mais simples GRPO (que só se importa com a vitória final), o Muon ainda ajudou, mas não de forma tão dramática. Ele melhorou o sucesso de 16,1% para 26,8%. Foi uma vitória, mas o robô não aprendeu tão rápido ou tão bem quanto fez com o GiGPO.

O Momento "Quase Lá": GraphGPO
Com o superinteligente treinador GraphGPO, o robô já estava indo muito bem com o AdamW (cerca de 81% de sucesso). O Muon o elevou ligeiramente para 90,1% em uma taxa de aprendizado específica, e ele aprendeu a atingir esse nível de sucesso cerca de 30 a 60 passos antes do AdamW. No entanto, como o robô já estava perto do topo, a lacuna entre os dois treinadores diminuiu conforme eles se aproximavam da linha de chegada.

Por Que o Muon Venceu? (E Por Que Ele Nem Sempre Vence)

Os pesquisadores tinham uma teoria sobre o porquê disso ter acontecido. Eles suspeitavam que tivesse a ver com o ruído.

Imagine que o cérebro do robô está tentando encontrar um caminho através de uma floresta com neblina.

O AdamW é como um caminhante que segue o caminho mais forte e barulhento. Se a neblina estiver espessa (ruído alto), ele pode ficar preso ou se perder.
O Muon é como um caminhante que achata o terreno, tornando os caminhos fracos e silenciosos tão visíveis quanto os barulhentos. Isso é ótimo se os caminhos silenciosos realmente levarem a algum lugar útil.

O artigo sugere que, na configuração GRPO (tarefas de turno único e recompensa baixa), os "caminhos silenciosos" são principalmente ruído aleatório. O efeito de achatamento do Muon amplifica esse ruído, razão pela qual ele às vezes falha ou tem dificuldades em outros estudos. No entanto, na configuração GiGPO, o feedback ao nível do passo atua como um farol. Ele filtra o ruído e destaca as direções verdadeiramente úteis. Como o GiGPO fornece sinais mais claros sobre quais passos específicos foram bons, a capacidade do Mu even de amplificar sinais fracos torna-se um superpoder em vez de uma maldição.

O Que o Artigo Descarta

É importante notar o que este estudo não descobriu. Os pesquisadores testaram se o sucesso era apenas porque o Muon estava usando uma "taxa de aprendizado" mais alta (um tamanho de passo maior). Eles tentaram aumentar a velocidade do AdamW para igualar o ritmo do Muon, mas o robô imediatamente colapsou e falhou. Isso prova que o sucesso do Muon não era apenas sobre dar passos maiores; era sobre como ele calculava esses passos.

Além disso, o artigo não afirma que o Muon é a solução perfeita para tudo. Na verdade, ele nota explicitamente que, em outros tipos de tarefas (como problemas matemáticos de turno único), o Mu ou falhou no passado. O sucesso aqui é específico para tarefas de longo horizonte e recompensa esparsa, onde o feedback é estruturado cuidadosamente (como com o GiGPO).

Conclusão

Este artigo sugere que o Muon é uma ferramenta poderosa para o Aprendizado por Reforço de agentes, mas apenas quando combinado com o tipo certo de feedback.

Se você está ensinando uma IA a resolver quebra-cabeças complexos de várias etapas, simplesmente trocar para o Muon pode não ser suficiente. Você precisa de um sistema de feedback (como o GiGPO) que decomponha o problema em peças menores e mais claras. Quando você combina a capacidade do Muon de enxergar os caminhos úteis "silenciosos" com a capacidade do GiGPO de filtrar o ruído, a IA aprende significativamente mais rápido e resolve mais quebra-cabeças.

Os autores admitem que este é um estudo "exploratório" usando uma única semente (uma execução do experimento), portanto, mais testes são necessários para ver se esse padrão se mantém em diferentes modelos e tarefas. Mas os resultados são promissores: ao ajustar o otimizador e o sistema de feedback juntos, podemos construir agentes de IA que serão muito melhores em navegar no mundo real e bagunçado.

Resumo Técnico: Quando o Muon Ajuda o Aprendizado por Reforço Agêntico?

Definição do Problema

Embora o Muon tenha demonstrado um desempenho competitivo contra o AdamW em pré-treinamento de larga escala (igualando a perda final com aproximadamente 52% dos FLOPs de treinamento em escalas de bilhões de parâmetros), sua eficácia no pós-treinamento de Aprendizado por Reforço (RL) permanece uma questão em aberto. A literatura existente apresenta evidências mistas: alguns relatos sugerem melhorias menores, enquanto outros indicam que o Muon puro falha sob RLVR (Aprendizado por Reforço de Recompensas Verificáveis) com objetivos do tipo GRPO, atribuindo a falha ao branqueamento espectral que amplifica o ruído em gradientes de política com baixa relação sinal-ruído (SNR). Alémmente, estudos sobre ajuste fino supervisionado (SFT) sugerem que a troca de otimizadores de Adam para Muon pode interromper os equilíbrios entre aprendizado e esquecimento, particularmente em taxas de aprendizado mais altas.

O problema central abordado é determinar se a viabilidade do Muon no pós-treinamento de RL depende da estrutura do estimador de vantagem, especificamente em cenários de RL agêntico de longo horizonte e recompensa esparsa, onde a atribuição de crédito é desafiadora.

Metodologia

Os autores conduzem um estudo controlado de semente única comparando o Muon puro contra o AdamW no ambiente ALFWorld usando um modelo Qwen2.5-0.5B-Instruct. O design experimental isola o efeito do otimizador variando a estrutura do estimador de vantagem enquanto mantém os outros hiperparâmetros constantes.

Configuração Experimental

Modelo: Qwen2.5-0.5B-Instruct.
Ambiente: ALFWorld (tarefas domésticas incorporadas com recompensas terminais esparsas e penalidades por ações inválidas).
Otimizadores:
- Muon: Aplicado exclusivamente às matrizes de pesos ocultos 2D (pesos de atenção e MLP) usando iterações de Newton–Schulz para normalização espectral aproximada. Parâmetros não matriciais (embeddings, normas) usam AdamW.
- AdamW: Aplicado a todos os parâmetros como baseline.
Estimadores de Vantagem: Três estruturas distintas de atribuição de crédito são testadas:
1. GRPO: Usa apenas vantagens de nível de episódio.
2. GiGPO (Group-in-Group Policy Optimization): Combina vantagens de nível de episódio com um termo de nível de passo derivado do agrupamento de ações tomadas de "estados âncora" repetidos através de trajetórias.
3. GraphGPO: Agrega rollouts em um grafo unificado de transição de estados, atribuindo crédito de nível de transição com base na distância do estado sucessor ao objetivo.

Controles Chave

Sensibilidade à Taxa de Aprendizado: O estudo testa o Muon em $3 \times 10^{-5}$ e $10^{-5}$ , comparando-os com baselines de AdamW em $10^{-6}$ e controles de taxa alta em $10^{-5}$ e $3 \times 10^{-5}$ .
Ablação: Uma ablação pareada de $2 \times 2$ no GiGPO desativa o termo de crédito de nível de passo ( $\omega=0$ ) para isolar a contribuição das vantagens de nível de passo.
Métricas: Sucesso de validação na janela final (passos 175–200), AUC de validação normalizada (eficiência de aprendizado) e dinâmica de treinamento (perda KL, normas de gradiente, entropia).

Resultados Principais

1. Ganhos Significativos com GiGPO

Sob GiGPO, a aplicação do Muon às matrizes de pesos ocultos produz a melhoria mais dramática:

Taxa de Sucesso: O sucesso de validação na janela final aumenta de 0,290 (AdamW) para 0,546 (Muon), uma melhoria relativa de 88%.
Eficiência de Aprendizado: O Muon atinge 0,5 de sucesso 20 passos antes do AdamW (no passo 155 vs. 175).
Estabilidade: Enquanto os controles de AdamW de alta taxa ( $10^{-5}$ e $3 \times 10^{-5}$ ) perdem todo o sucesso de validação após os passos iniciais (caindo para 0,000), o Muon em $3 \times 10^{-5}$ retém o sucesso da tarefa através de todos os 200 updates sem falha catastrófica.

2. Desempenho Variável entre Estimadores

O benefício do Muon não é uniforme entre todas as estruturas de atribuição de crédito:

GRPO: O Muon melhora o sucesso da janela tardia (0,161 para 0,268), mas mostra ganho mínimo na eficiência de aprendizado de trajetória completa (AUC normalizada aumenta apenas de 0,08 para 0,09).
GraphGPO: Em $3 \times 10^{-5}$ , a lacuna da janela tardia diminui conforme as curvas se aproximam da saturação (0,83 vs. 0,81). No entanto, em uma taxa menor ( $10^{-5}$ ), o Muon melhora significativamente a eficiência de aprendizado, elevando o AUC normalizado de 0,40 para 0,56 e atingindo limiares de sucesso 30–60 updates mais cedo.

3. Taxa de Aprendizado e Crédito de Nível de Passo

Taxa de Aprendizado: Os ganhos não são meramente um resultado de um tamanho de passo efetivo maior. Os controles de AdamW de alta taxa falham completamente, enquanto o Muon tem sucesso em $3 \times 10^{-5}$ .
Crédito de Nível de Passo: O estudo de ablação mostra que o Muon melhora o desempenho tanto com ( $\omega=1$ ) quanto sem ( $\omega=0$ ) o crédito de nível de passo. No entanto, a combinação de crédito de nível de passo e Muon produz os maiores ganhos, sugerindo que eles são complementares.

Contribuições Chave

Estudo Controlado de Semente Única: Fornece a primeira comparação pareada de Muon puro vs. AdamW em RL agêntico de longo horizonte e recompensa esparsa, demonstrando uma melhoria relativa de 88% nas taxas de sucesso sob GiGPO.
Desacoplamento de Taxa de Aprendizado: Mostra que os ganhos de desempenho não são reproduzíveis simplesmente aumentando a taxa de aprendizado do AdamW, já que os controles de AdamW de alta taxa falham em reter o sucesso da tarefa.
Análise Dependente do Estimador: Estabelece que a eficácia do Muon varia conforme o estimador de vantagem, com os maiores ganhos observados em estimadores que incorporam crédito de nível de passo ou de transição (GiGPO e GraphGPO) em comparação com estimadores puros de nível de episódio (GRPO).
Hipótese de SNR de Gradiente: Propõe que o sucesso do Muon depende da relação sinal-ruído do espectro do gradiente. Os autores conjecturam que estimadores que fornecem contrastes por estado (como o GiGPO) podem melhorar a confiabilidade de direções de gradiente fracas, permitindo que o achatamento espectral do Muon seja benéfico em vez de amplificar o ruído.

Significância e Alegações

O artigo alega que o Muon pode beneficiar significativamente o RL agêntico, mas sua utilidade é contingente ao design conjunto do otimizador de política e do estimador de vantagem. Os resultados desafiam a noção de que o Muon é universalmente inadequado para RL, sugerindo que sua falha em estudos anteriores de RLVR pode ser devida à estrutura específica da estimativa de vantagem de nível de episódio em regimes de baixo SNR.

Os autores enfatizam que suas descobertas são exploratórias e baseadas em uma única semente e um tamanho de modelo específico (0.5B). Eles não reivindicam aplicabilidade universal, mas sim motivam pesquisas adicionais sobre a interação entre otimizadores e mecanismos de atribuição de crédito. O estudo sugere que trabalhos futuros devem investigar diretamente o SNR do gradiente e explorar se a combinação do Muon com filtragem espectral de normalização de variância ou passa-alta (como proposto em outros trabalhos como Hopper e Pion) poderia estabilizar ainda mais o treinamento.

O artigo conclui que, embora o Muon mostre promessa, uma validação mais ampla através de múltiplas sementes, modelos e ambientes é necessária para determinar a consistência desses padrões.