🤖 machine learning

When Does Muon Help Agentic Reinforcement Learning?

Este artículo demuestra que aplicar el optimizador Muon específicamente a las matrices de pesos ocultos durante la Optimización de Política de Grupo en Grupo supera significativamente a AdamW en tareas de RL agénticas de recompensa dispersa, con ganancias de rendimiento que dependen fuertemente de la interacción entre el estimador de ventaja, la tasa de aprendizaje y la estrategia de optimización de la política.

Autores originales: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Publicado 2026-07-20

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a navegar por una casa gigante y desordenada para encontrar un tesoro escondido. El robot es un "cerebro" hecho de código, y cada vez que da un paso, recibe un pequeño empujón de un profesor que le dice si ese paso fue bueno o malo. Este es el mundo del Aprendizaje por Refuerzo (RL), donde un agente aprende mediante el ensayo y error. El "profesor" en esta historia es una herramienta matemática llamada optimizador, que decide cuánto debe cambiar el cerebro del robot después de cada error o éxito. Durante años, el método más popular ha sido un método llamado AdamW, que es como un entrenador cuidadoso y constante que ajusta los pasos del robot basándose en qué tan fuerte fue la retroalimentación.

Recientemente, llegó un entrenador más llamativo llamado Muon. Muon es famoso por ser increíblemente rápido y eficiente al enseñar a los robots desde cero (un proceso llamado pre-entrenamiento), realizando a menudo el trabajo con la mitad de la energía. Pero aquí está la gran pregunta: ¿Funciona Muon igual de bien cuando se le enseña a un robot que ya ha aprendido lo básico y ahora intenta dominar una tarea específica y difícil? Algunos informes iniciales sugircidos que Muon podría ser demasiado agresivo para esta etapa de "ajuste fino" (fine-tuning), causando que el robot olvide lo que sabía o se confunda con el ruido. Este artículo profundiza en ese misterio, probando si Muon puede ser el arma secreta para enseñar a los agentes a resolver acertijos complejos de largo alcance donde las recompensas son escasas y difíciles de encontrar.

El Gran Enfrentamiento de Optimizadores

En el laboratorio, los investigadores organizaron una carrera de alto riesgo. Tomaron un agente de IA pequeño pero capaz (basado en el modelo Qwen2.5-0.5B-Instruct) y le encomendaron la tarea de resolver acertijos en ALFWorld, un entorno simulado donde el agente debe realizar tareas domésticas como recoger objetos, limpiar o calentar cosas. ¿El truco? El agente solo recibe una recompensa de "éxito" al final de una larga secuencia de acciones, y recibe una penalización por cualquier cosa que haga mal en el camino. Es como intentar resolver un laberinto donde solo escuchas "¡Ganaste!" si llegas a la salida, pero recibes un "¡Bzzz!" por cada giro equivocado.

Para ver si Muon podía ayudar, los investigadores no solo lanzaron al robot al laberinto; le dieron tres tipos diferentes de "entrenadores de retroalimentación" (llamados estimadores de ventaja) para interpretar su desempeño:

GRPO: Este entrenador solo mira el resultado final. "¿Ganaste el juego? ¿Sí? ¡Buen trabajo! ¿No? Inténtalo de nuevo". Ignora los pasos individuales.
GiGPO: Este entrenador es más inteligente. Mira el resultado final pero también agrupa los momentos en los que el robot enfrentó exactamente la misma situación varias veces. Pregunta: "¿Cuando estabas frente a la nevera, solías abrirla correctamente?".
GraphGPO: El entrenador más sofisticado, que mapea todo el viaje como un grafo, analizando qué tan cerca estuvo cada paso del objetivo.

El Descubrimiento Sorprendente

El equipo realizó los experimentos, enfrentando al confiable y antiguo entrenador AdamW contra el nuevo entrenador Muon. Mantuvieron todo lo demás exactamente igual, solo cambiando el optimizador para los pesos "ocultos" del cerebro del robot (las complejas conexiones internas), mientras dejaban las partes básicas (como el diccionario de palabras) en AdamW.

Los resultados fueron una mezcla de "regular" y "asombroso", dependiendo enteramente de qué entrenador de retroalimentación se utilizara.

El Momento "Asombroso": GiGPO
Cuando utilizaron el entrenador GiGPO, Muon convirtió al robot en un superaprendiz.

Con el entrenador estándar AdamW, el robot tuvo éxito en aproximadamente el 29% de las ejecuciones de prueba finales.
Con Muon, esa cifra se disparó al 54.6%.
Eso es una mejora relativa del 88%.
Aún más impresionante, mientras que el robot de AdamW colapsaba y fallaba por completo en resolver cualquier tarea después de cierto punto, el robot de Muon siguió aprendiendo y teniendo éxito a lo largo de 200 actualizaciones.

El Momento "Regular": GRPO
Cuando utilizaron el entrenador más simple GRPO (que solo se preocupa por la victoria final), Muon ayudó, pero no de manera tan dramática. Mejoró el éxito del 16.1% al 26.8%. Fue una victoria, pero el robot no aprendió tan rápido ni tan bien como lo hizo con GiGPO.

El Momento "Casi lo Logra": GraphGPO
Con el entrenador superinteligente GraphGPO, el robot ya estaba funcionando muy bien con AdamW (alrededor del 81% de éxito). Muon lo impulsó ligeramente más hasta el 90.1% con una tasa de aprendizaje específica, y aprendió a alcanzar ese nivel de éxito entre 30 y 60 pasos antes que AdamW. Sin embargo, debido a que el robot ya estaba cerca de la cima, la brecha entre los dos entrenadores se redujo a medida que se acercaban a la línea de meta.

¿Por qué ganó Muon? (Y por qué no siempre lo hace)

Los investigadores tenían una teoría sobre por qué sucedió esto. Sospechaban que tenía que ver con el ruido.

Imagina que el cerebro del robot está intentando encontrar un camino a través de un bosque con niebla.

AdamW es como un excursionista que sigue el camino más fuerte y ruidoso. Si la niebla es espesa (ruido alto), podría quedarse atrapado o perderse.
Muon es como un excursionista que aplana el terreno, haciendo que los caminos débiles y silenciosos sean tan visibles como los ruidosos. Esto es genial si los caminos silenciosos realmente conducen a algún lugar útil.

El artículo sugiere que en la configuración de GRPO (tareas de un solo turno y de baja recompensa), los "caminos silenciosos" son principalmente ruido aleatorio. El efecto de aplanamiento de Muon amplifica este ruido, razón por la cual a veces falla o tiene dificultades en otros estudios. Sin embargo, en la configuración de GiGPO, la retroalimentación a "nivel de paso" actúa como un faro. Filtra el ruido y resalta las direcciones verdaderamente útiles. Debido a que GiGPO proporciona señales más claras sobre qué pasos específicos fueron buenos, la capacidad de Muon para amplificar señales débiles se convierte en un superpoder en lugar de una maldición.

Lo que el artículo descarta

Es importante señalar lo que este estudio no encontró. Los investigadores probaron si el éxito se debía simplemente a que Muon estaba utilizando una "tasa de aprendizaje" (un tamaño de paso) más alta. Intentaron aumentar la velocidad de AdamW para igualar el ritmo de Muon, pero el robot colapsó y falló inmediatamente. Esto demuestra que el éxito de Muon no se trataba solo de dar pasos más grandes; se trataba de cómo calculaba esos pasos.

Además, el artículo no afirma que Muon sea la solución perfecta para todo. De hecho, señala explícitamente que en otros tipos de tareas (como problemas matemáticos de un solo turno), Muon ha fallado en el pasado. El éxito aquí es específico para tareas de largo alcance y de recompensa dispersa donde la retroalimentación está estructurada cuidadosamente (como con GiGPO).

La Conclusión

Este artículo sugiere que Muon es una herramienta poderosa para el Aprendizaje por Refuerzo de agentes, pero solo cuando se combina con el tipo de retroalimentación adecuado.

Si estás enseñando a una IA a resolver acertijos complejos de múltiples pasos, simplemente cambiar a Muon podría no ser suficiente. Necesitas un sistema de retroalimentación (como GiGPO) que descomponga el problema en piezas más pequeñas y claras. Cuando combinas la capacidad de Muon para ver los caminos útiles "silenciosos" con la capacidad de GiGPO para filtrar el ruido, la IA aprende significativamente más rápido y resuelve más acertijos.

Los autores admiten que este es un estudio "exploratorio" que utiliza una sola semilla (una ejecución del experimento), por lo que se necesitan más pruebas para ver si este patrón se mantiene en diferentes modelos y tareas. Pero los resultados son prometedores: al ajustar el optimizador y el sistema de retroalimentación juntos, podríamos construir agentes de IA que sean mucho mejores para navegar en el desordenado mundo real.

Resumen Técnico: ¿Cuándo ayuda Muon al Aprendizaje por Refuerzo Agéntico?

Planteamiento del Problema

Aunque Muon ha demostrado un rendimiento competitivo frente a AdamW en el preentrenamiento a gran escala (igualando la pérdida final con aproximadamente el 52% de los FLOPs de entrenamiento en escalas de miles de millones de parámetros), su eficacia en el post-entrenamiento de Aprendizaje por Refuerzo (RL) sigue siendo una pregunta abierta. La literatura existente presenta evidencia mixta: algunos informes sugieren mejoras menores, mientras que otros indican que el Muon vanilla falla bajo RLVR (Aprendizaje por Refuerzo con Recompensas Verificables) con objetivos de estilo GRPO, atribuyendo el fallo al blanqueamiento espectral que amplifica el ruido en los gradientes de política con baja relación señal-ruido (SNR). Además, estudios sobre el ajuste fino supervisado (SFT) sugieren que cambiar de optimizador de Adam a Muon puede alterar los equilibrios entre aprendizaje y olvido, particularmente en tasas de aprendizaje más altas.

El problema central abordado es determinar si la viabilidad de Muon en el post-entrenamiento de RL depende de la estructura del estimador de ventaja, específicamente en escenarios de RL agéntico de largo horizonte y recompensa dispersa donde la asignación de crédito es un desafío.

Metodología

Los autores llevan a cabo un estudio controlado de semilla única comparando Muon vanilla contra AdamW utilizando el entorno ALFWorld con un modelo Qwen2.5-0.5B-Instruct. El diseño experimental aísla el efecto del optimizador variando la estructura del estimador de ventaja mientras se mantienen constantes los demás hiperparámetros.

Configuración Experimental

Modelo: Qwen2.5-0.5B-Instruct.
Entorno: ALFWorld (tareas domésticas encarnadas con recompensas terminales dispersas y penalizaciones por acciones inválidas).
Optimizadores:
- Muon: Aplicado exclusivamente a las matrices de pesos ocultos 2D (pesos de atención y MLP) utilizando iteraciones de Newton–Schulz para la normalización espectral aproximada. Los parámetros no matriciales (embeddings, normas) utilizan AdamW.
- AdamW: Aplicado a todos los parámetros como línea base.
Estimadores de Ventaja: Se prueban tres estructuras distintas de asignación de crédito:
1. GRPO: Utiliza únicamente ventajas a nivel de episodio.
2. GiGPO (Optimización de Política Grupo-en-Grupo): Combina ventajas a nivel de episodio con un término a nivel de paso derivado de la agrupación de acciones tomadas desde "estados ancla" repetidos a través de las trayectorias.
3. GraphGPO: Agrega los rollouts en un grafo unificado de transición de estados, asignando crédito a nivel de transición basado en la distancia del estado sucesor hacia la meta.

Controles Clave

Sensibilidad a la Tasa de Aprendizaje: El estudio prueba Muon a $3 \times 10^{-5}$ y $10^{-5}$ , comparándolos con líneas base de AdamW en $10^{-6}$ y controles de tasa alta en $10^{-5}$ y $3 \times 10^{-5}$ .
Ablación: Una ablación emparejada de $2 \times 2$ sobre GiGPO desactiva el término de crédito a nivel de paso ( $\omega=0$ ) para aislar la contribución de las ventajas a nivel de paso.
Métricas: Éxito de validación en la ventana final (pasos 175–200), AUC de validación normalizado (eficiencia de aprendizaje) y dinámica de entrenamiento (pérdida KL, normas de gradiente, entropía).

Resultados Clave

1. Ganancias Significativas con GiGPO

Bajo GiGPO, la aplicación de Muon a las matrices de pesos ocultos produce la mejora más dramática:

Tasa de Éxito: El éxito de validación en la ventana final aumenta de 0.290 (AdamW) a 0.546 (Muon), una mejora relativa del 88%.
Eficiencia de Aprendizaje: Muon alcanza el 0.5 de éxito 20 pasos antes que AdamW (en el paso 155 vs. 175).
Estabilidad: Mientras que los controles de AdamW de alta tasa ( $10^{-5}$ y $3 \times 10^{-5}$ ) pierden todo el éxito de validación tras los pasos iniciales (cayendo a 0.000), Muon a $3 \times 10^{-5}$ mantiene el éxito de la tarea a través de los 200 updates sin fallo catastrófico.

2. Rendimiento Variable Según los Estimadores

El beneficio de Muon no es uniforme en todas las estructuras de asignación de crédito:

GRPO: Muon mejora el éxito de la ventana tardía (0.161 a 0.268) pero muestra una ganancia mínima en la eficiencia de aprendizaje de la trayectoria completa (el AUC normalizado aumenta solo de 0.08 a 0.09).
GraphGPO: A $3 \times 10^{-5}$ , la brecha en la ventana tardía se reduce a medida que las curvas se acercan a la saturación (0.83 vs. 0.81). Sin embargo, a una tasa menor ( $10^{-5}$ ), Muon mejora significativamente la eficiencia de aprendizaje, elevando el AUC normalizado de 0.40 a 0.56 y alcanzando los umbrales de éxito entre 30 y 60 actualizaciones antes.

3. Tasa de Aprendizaje y Crédito a Nivel de Paso

Tasa de Aprendizaje: Las ganancias no son simplemente el resultado de un tamaño de paso efectivo mayor. Los controles de AdamW de alta tasa fallan completamente, mientras que Muon tiene éxito a $3 \times 10^{-5}$ .
Crédito a Nivel de Paso: El estudio de ablación muestra que Muon mejora el rendimiento tanto con ( $\omega=1$ ) como sin ( $\omega=0$ ) crédito a nivel de paso. No obstante, la combinación de crédito a nivel de paso y Muon produce las mayores ganancias, lo que sugiere que son complementarios.

Principales Contribuciones

Estudio Controlado de Semilla Única: Proporciona la primera comparación emparejada de Muon vanilla vs. AdamW en RL agéntico de largo horizonte y recompensa dispersa, demostando una mejora relativa del 88% en las tasas de éxito bajo GiGPO.
Desacoplamiento de la Tasa de Aprendizaje: Demuestra que las ganancias de rendimiento no son reproducibles simplemente aumentando la tasa de aprendizaje de AdamW, ya que los controles de AdamW de alta tasa no logran retener el éxito de la tarea.
Análisis Dependiente del Estimador: Establece que la eficacia de Muon varía según el estimador de ventaja, observándose las mayores ganancias en estimadores que incorporan crédito a nivel de paso o de transición (GiGPO y GraphGPO) en comparación con los estimadores puros de nivel de episodio (GRPO).
Hipótesis de la SNR del Gradiente: Propone que el éxito de Muon depende de la relación señal-ruido del espectro del gradiente. Los autores conjeturan que los estimadores que proporcionan contrastes por estado (como GiGPO) pueden mejorar la fiabilidad de las direcciones de gradiente débiles, permitiendo que el aplanamiento espectral de Muon sea beneficioso en lugar de amplificar el ruido.

Significado y Afirmaciones

El artículo afirma que Muon puede beneficiar significativamente al RL agéntico, pero su utilidad está supeditada al diseño conjunto del optimizador de la política y el estimador de la ventaja. Los resultados desafían la noción de que Muon es universalmente inadecuado para el RL, sugiriendo en cambio que su fallo en estudios previos de RLVR puede deberse a la estructura específica de la estimación de la ventaja a nivel de episodio en regímenes de baja SNR.

Los autores enfatizan que sus hallazgos son exploratorios y se basan en una sola semilla y un tamaño de modelo específico (0.5B). No pretenden una aplicabilidad universal, sino que motivan la investigación adicional sobre la interacción entre los optimizadores y los mecanismos de asignación de crédito. El estudio sugiere que el trabajo futuro debería investigar directamente la SNR del gradiente y explorar si la combinación de Muon con filtrado espectral de normalización de varianza o de paso alto (como se propone en otros trabajos como Hopper y Pion) podría estabilizar aún más el entrenamiento.

El artículo concluye que, si bien Muon muestra potencial, se requiere una validación más amplia a través de múltiples semillas, modelos y entornos para determinar la consistencia de estos patrones.