🤖 machine learning

When Does Muon Help Agentic Reinforcement Learning?

Questo articolo dimostra che l'applicazione dell'ottimizzatore Muon specificamente alle matrici dei pesi nascosti durante la Group-in-Group Policy Optimization supera significativamente AdamW nei compiti di RL agentico a ricompensa sparsa, con guadagni di prestazione fortemente dipendenti dall'interazione tra l'estimatore di vantaggio, il tasso di apprendimento e la strategia di ottimizzazione della policy.

Autori originali: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Pubblicato 2026-07-20

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kai Ruan, Jinghao Lin, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come navigare in una casa gigante e disordinata per trovare un tesoro nascosto. Il robot è un "cervello" fatto di codice, e ogni volta che compie un passo, riceve una piccola spinta da un insegnante che gli dice se quel passo è stato buono o cattivo. Questo è il mondo dell'Apprendimento per Rinforzo (Reinforcement Learning - RL), dove un agente impara attraverso tentativi ed errori. L' "insegnante" in questa storia è uno strumento matematico chiamato ottimizzatore, che decide quanto il cervello del robot debba cambiare dopo ogni errore o successo. Per anni, il metodo di insegnamento più popolare è stato un metodo chiamato AdamW, che è come un coach attento e costante che regola i passi del robot in base a quanto è stato forte il feedback ricevuto.

Recentemente, è arrivato un coach più appariscente chiamato Muon. Muon è famoso per essere incredibilmente veloce ed efficiente nell'insegnare ai robot partendo da zero (un processo chiamato pre-training), spesso svolgendo il lavoro con metà dell'energia. Ma ecco la grande domanda: Muon funziona altrettanto bene quando insegna a un robot che ha già imparato le basi e ora sta cercando di padroneggiare un compito specifico e difficile? Alcuni primi rapporti hanno suggerito che Muon potesse essere troppo aggressivo per questa fase di "fine-tuning", causando al robot di dimenticare ciò che sapeva o di confondersi a causa del rumore. Questo articolo approfondisce questo mistero, testando se Muon possa essere l'arma segreta per insegnare agli agenti a risolvere puzzle complessi a lungo termine (long-horizon), dove i premi sono rari e difficili da trovare.

La Grande Sfida tra gli Ottimizzatori

Nel laboratorio, i ricercatori hanno organizzato una gara ad alta tensione. Hanno preso un agente IA piccolo ma capace (basato sul modello Qwen2.5-0.5B-Instruct) e gli hanno affidato il compito di risolvere puzzle in ALFWorld, un ambiente simulato dove l'agente deve svolgere faccende domestiche come raccogliere oggetti, pulire o scaldare cose. Il problema? L'agente riceve un premio di "successo" solo alla fine di una lunga sequenza di azioni, e riceve una penalità per qualsiasi cosa faccia di sbagliato lungo il percorso. È come cercare di risolvere un labirinto dove senti solo "Hai vinto!" se raggiungi l'uscita, ma ricevi un "Bzz!" per ogni curva sbagliata.

Per vedere se Muon potesse aiutare, i ricercatori non si sono limitati a lanciare il robot nel labirinto; gli hanno dato tre diversi tipi di "coach di feedback" (chiamati stimatori di vantaggio) per interpretare le sue prestazioni:

GRPO: Questo coach guarda solo il risultato finale. "Hai vinto la partita? Sì? Ottimo lavoro! No? Riprova." Ignora i singoli passi.
GiGPO: Questo coach è più intelligente. Guarda il risultato finale ma anche raggruppa i momenti in cui il robot si è trovato nella stessa identica situazione più volte. Chiede: "Quando eri davanti al frigorifero, di solito lo aprivi correttamente?"
GraphGPO: Il coach più sofisticato, che mappa l'intero percorso come un grafo, analizzando quanto ogni singolo passo fosse vicino all'obiettivo.

La Scoperta Sorprendente

Il team ha eseguito gli esperimenti, mettendo alla prova il vecchio e affidabile coach AdamW contro il nuovo coach Muon. Hanno mantenuto tutto il resto esattamente uguale, cambiando solo l'ottimizzatore per i pesi del "cervello nascosto" del robot (le complesse connessioni interne), lasciando le parti base (come il dizionario delle parole) su AdamW.

I risultati sono stati un misto di "così così" e "wow", a seconda interamente del coach di feedback utilizzato.

Il Momento "Wow": GiGPO
Quando hanno usato il coach GiGPO, Muon ha trasformato il robot in un super-apprendista.

Con il classico coach AdamW, il robot aveva successo in circa il 29% delle prove finali.
Con Muon, quel numero è schizzato al 54,6%.
Si tratta di un miglioramento relativo dell'88%.
Ancora più impressionante, mentre il robot di AdamW crollava completamente e non riusciva a risolvere alcun compito dopo un certo punto, il robot di Muon continuava a imparare e a avere successo per tutti i 200 aggiornamenti.

Il Momento "Così Così": GRPO
Quando hanno usato il più semplice coach GRPO (che si cura solo della vittoria finale), Muon ha comunque aiutato, ma non in modo così drammatico. Ha migliorato il successo dal 16,1% al 26,8%. È stata una vittoria, ma il robot non ha imparato così velocemente o così bene come con GiGPO.

Il Momento "Quasi Arrivati": GraphGPO
Con il super-intelligente coach GraphGPO, il robot stava già andando molto bene con AdamW (circa l'81% di successo). Muon l'ha spinto leggermente più in alto, raggiungendo il 90,1% con un determinato tasso di apprendimento, e ha imparato a raggiungere quel livello di successo circa 30 o 60 passi prima di AdamW. Tuttavia, poiché il robot era già vicino alla vetta, il divario tra i due coach si è ridotto man mano che si avvicinavano al traguardo.

Perché Muon ha vinto? (E perché non sempre)

I ricercatori avevano una teoria sul perché ciò fosse accaduto. Sospettavano che avesse a che fare con il rumore.

Immaginate che il cervello del robot stia cercando di trovare un sentiero attraverso una foresta nebbiosa.

AdamW è come un escursionista che segue il sentiero più forte e rumoroso. Se la nebbia è fitta (rumore elevato), potrebbe incastrarsi o vagare senza meta.
Muon è come un escursionista che appiattisce il terreno, rendendo i sentieri deboli e silenziosi visibili quanto quelli forti. Questo è utile se i sentieri silenziosi portano effettivamente da qualche parte di utile.

L'articolo suggerisce che nel setup GRPO (compiti a turno singolo, a basso premio), i "sentieri silenziosi" sono in gran parte solo rumore casuale. L'effetto di appiattimento di Muon amplifica questo rumore, motivo per cui a volte fallisce o fatica in altri studi. Tuttavia, nel setup GiGPO, il feedback "a livello di passo" agisce come un faro. Filtra il rumore e mette in evidenza le direzioni veramente utili. Poiché GiGPO fornisce segnali più chiari su quali specifici passi siano stati buoni, la capacità di Muon di amplificare i segnali deboli diventa un superpotere invece di una maledizione.

Cosa l'articolo esclude

È importante notare cosa questo studio non ha trovato. I ricercatori hanno testato se il successo fosse dovuto semplicemente all'uso di un "learning rate" più alto (una dimensione del passo maggiore). Hanno provato ad aumentare la velocità di AdamW per eguagliare il ritmo di Muon, ma il robot è immediatamente crollato e ha fallito. Questo dimostra che il successo di Muon non era solo dovuto al fatto di fare passi più grandi; riguardava il modo in cui calcolava quei passi.

Inoltre, l'articolo non sostiene che Muon sia la soluzione perfetta per tutto. Infatti, nota esplicitamente che in altri tipi di compiti (come i problemi matematici a turno singolo), Muon è fallito in passato. Il successo qui è specifico per i compiti a lungo termine con premi rari (long-horizon, sparse-reward tasks) dove il feedback è strutturato con cura (come con GiGPO).

In sintamente

Questo articolo suggerisce che Muon è uno strumento potente per l'apprendimento per rinforzo agentico, ma solo se abbinato al tipo giusto di feedback.

Se state insegnando a un'IA a risolvere puzzle complessi a più fasi, non basta semplicemente inserire Muon. Avete bisogno di un sistema di feedback (come GiGPO) che scomponga il problema in pezzi più piccoli e chiari. Quando si combina la capacità di Muone di vedere i sentieri utili "silenziosi" con la capacità di GiGPO di filtrare il rumore, l'IA impara significativamente più velocemente e risolve più puzzle.

Gli autori ammettono che si tratta di uno studio "esplorativo" che utilizza un singolo seed (una singola esecuzione dell'esperimento), quindi sono necessari ulteriori test per vedere se questo schema si mantiene su diversi modelli e compiti. Ma i risultati sono promettenti: sintonizzando insieme l'ottimizzatore e il sistema di feedback, potremmo essere in grado di costruire agenti IA che siano molto più bravi a navigare nel mondo reale, che è disordinato.

Riassunto Tecnico: Quando Muon Aiuta l'Apprendimento per Rinforzo Agente?

Definizione del Problema

Sebbene Muon abbia dimostrato prestazioni competitive rispetto ad AdamW nel pre-addestramento su larga scala (eguagliando la perdita finale con circa il 52% dei FLOP di addestramento su scale di miliardi di parametri), la sua efficacia nell'apprendimento per rinforzo (RL) post-training rimane una questione aperta. La letteratura esistente presenta prove contrastanti: alcuni rapporti suggeriscono miglioramenti minori, mentre altri indicano che il Muon vanilla fallisce sotto RLVR (Reinforcement Learning from Verifiable Rewards) con obiettivi di tipo GRPO, attribuendo il fallimento al fatto che il biancheggiamento spettrale amplifica il rumore in regimi di basso rapporto segnale-rumore (SNR) dei gradienti della policy. Inoltre, studi sul fine-tuning supervisionato (SFT) suggeriscono che passare da un ottimizzatore come Adam a Muon possa interrompere i compromessi tra apprendimento e dimenticanza (learning-forgetting), specialmente ad alti tassi di apprendimento.

Il problema centrale affrontato è determinare se la viabilità di Muon nell'RL post-training dipenda dalla struttura dello stimatore del vantaggio, specificamente in scenari di RL agente a lungo orizzonte e ricompensa sparsa, dove l'assegnazione del credito (credit assignment) è una sfida.

Metodologia

Gli autori conducono uno studio controllato a seed singolo confrontando il Muon vanilla contro AdamW sull'ambiente ALFWorld utilizzando un modello Qwen2.5-0.5B-Instruct. Il design sperimentale isola l'effetto dell'ottimizzatore variando la struttura dello stimatore del vantaggio, mantenendo costanti gli altri iperparametri.

Configurazione Sperimentale

Modello: Qwen2.5-0.5B-Instruct.
Ambiente: ALFWorld (compiti domestici incarnati con ricompense terminali sparse e penalità per azioni non valide).
Ottimizzatori:
- Muon: Applicato esclusivamente alle matrici di peso nascoste 2D (pesi di attenzione e MLP) utilizzando iterazioni di Newton–Schulz per la normalizzazione spettrale approssimata. I parametri non matriciali (embedding, norme) utilizzano AdamW.
- AdamW: Applicato a tutti i parametri come baseline.
Stimatori del Vantaggio: Vengono testate tre distinte strutture di assegnazione del credito:
1. GRPO: Utilizza solo vantaggi a livello di episodio.
2. GiGPO (Group-in-Group Policy Optimization): Combina vantaggi a livello di episodio con un termine a livello di step derivato dal raggruppamento di azioni intraprese da "stati ancora" ripetuti attraverso le traiettorie.
3. GraphGPO: Aggrega i rollout in un grafo unificato di transizione di stato, assegnando il credito a livello di transizione basato sulla distanza dallo stato successivo rispetto all'obiettivo.

Controlli Chiave

Sensibilità al Tasso di Apprendimento: Lo studio testa Muon a $3 \times 10^{-5}$ e $10^{-5}$ , confrontandoli con le baseline AdamW a $10^{-6}$ e con controlli ad alto tasso a $10^{-5}$ e $3 \times 10^{-5}$ .
Ablazione: Un'ablazione $2 \times 2$ corrispondente su GiGPO disabilita il termine di credito a livello di step ( $\omega=0$ ) per isolare il contributo dei vantaggi a livello di step.
Metriche: Successo di validazione nella finestra finale (step 175–200), AUC di validazione normalizzato (efficienza di apprendimento), e dinamiche di addestramento (perdita KL, norme del gradiente, entropia).

Risultati Chiave

1. Guadagni Significativi con GiGPO

Sotto GiGPO, l'applicazione di Muon alle matrici di peso nascoste produce il miglioramento più drammatico:

Tasso di Successo: Il successo di validazione nella finestra finale aumenta da 0.290 (AdamW) a 0.546 (Muon), un miglioramento relativo dell'88%.
Efficienza di Apprendimento: Muon raggiunge lo 0.5 di successo 20 step prima di AdamW (al passo 155 rispetto a 175).
Stabilità: Mentre i controlli AdamW ad alto tasso ( $10^{-5}$ e $3 \times 10^{-5}$ ) perdono ogni successo di validazione dopo i primi step (scendendo a 0.000), Muon a $3 \times 10^{-5}$ mantiene il successo nel compito attraverso tutti i 200 aggiornamenti senza fallimenti catastrofici.

2. Prestazioni Variabili tra gli Stimatori

Il beneficio di Muon non è uniforme tra tutte le strutture di assegnazione del credito:

GRPO: Muon migliora il successo nella finestra tardiva (da 0.161 a 0.268) ma mostra un guadagno minimo nell'efficienza di apprendimento dell'intera traiettoria (l'AUC normalizzato aumenta solo da 0.08 a 0.09).
GraphGPO: A $3 \times 10^{-5}$ , il divario nella finestra tardiva si restringe man mano che le curve si avvicinano alla saturazione (0.83 vs 0.81). Tuttavia, a un tasso inferiore ( $10^{-5}$ ), Muon migliora significativamente l'efficienza di apprendimento, portando l'AUC normalizzato da 0.40 a 0.56 e raggiungendo le soglie di successo 30–60 aggiornamenti prima.

3. Tasso di Apprendimento e Credito a Livello di Step

Tasso di Apprendimento: I guadagni non sono semplicemente il risultato di un passo effettivo più grande. I controlli AdamW ad alto tasso falliscono completamente, mentre Muon ha successo a $3 \times 10^{-5}$ .
Credito a Livello di Step: Lo studio di ablazione mostra che Muon migliora le prestazioni sia con ( $\omega=1$ ) che senza ( $\omega=0$ ) il credito a livello di step. Tuttavia, la combinazione di credito a livello di step e Muon produce i guadagni maggiori, suggerendo che siano complementari.

Contributi Chiave

Studio Controllato a Seed Singolo: Fornisce il primo confronto corrispondente tra Muon vanilla e AdamW in un contesto di RL agente a lungo orizzonte e ricompensa sparsa, dimostrando un miglioramento relativo dell'88% nei tassi di successo sotto GiGPO.
Disaccoppiamento del Tasso di Apprendimento: Dimostra che i guadagni di prestazione non sono riproducibili semplicemente aumentando il tasso di apprendimento di AdamW, poiché i controlli AdamW ad alto tasso non riescono a mantenere il successo nel compito.
Analisi Dipendente dallo Stimatore: Stabilisce che l'efficacia di Muon varia in base allo stimatore del vantaggio, con i maggiori guadagni osservati in stimatori che incorporano il credito a livello di step o di transizione (GiGPO e GraphGPO) rispetto ai puri stimatori a livello di episodio (GRPO).
Ipotesi del SNR del Gradiente: Propone che il successo di Muon dipenda dal rapporto segnale-rumore dello spettro del gradiente. Gli autori ipotizzano che gli stimatori che forniscono contrasti per stato (come GiGPO) possano migliorare l'affidabilità delle direzioni deboli del gradiente, permettendo al biancheggiamento spettrale di Muon di essere benefico invece di amplificare il rumore.

Significato e Rivendicazioni

Il documento afferma che Muon può beneficiare significativamente dell'RL agente, ma la sua utilità è contingente al design congiunto dell'ottimizzatore della policy e dello stimatore del vantaggio. I risultati sfidano l'idea che Muon sia universalmente inadatto all'RL, suggerendo invece che il suo fallimento negli studi precedenti di RLVR possa essere dovuto alla specifica struttura della stima del vantaggio a livello di episodio in regimi di basso SNR.

Gli autori sottolineano che le loro scoperte sono esplorative e basate su un singolo seed e una dimensione specifica del modello (0.5B). Non rivendicano un'applicabilità universale, ma piuttosto motivano la ricerca ulteriore sull'interazione tra ottimizzatori e meccanismi di assegnazione del credito. Lo studio suggerisce che il lavoro futuro dovrebbe investigare direttamente il SNR del gradiente ed esplorare se combinare Muon con il filtraggio spettrale a passa-alto o con la normalizzazione della varianza (come proposto in altri lavori come Hopper e Pion) possa stabilizzare ulteriormente l'addestramento.

Il documento conclude che, sebbene Muon mostri potenziale, è necessaria una validazione più ampia attraverso più seed, modelli e ambienti per determinare la coerenza di questi pattern.