🤖 machine learning

ISO: An RLVR-Native Optimization Stack

Questo articolo introduce ISO, un nuovo framework di ottimizzazione per il Reinforcement Learning con Ricompense Verificabili (RLVR) che sfrutta l'eredità spettrale per ottimizzare solo i frame singolari dei pesi del modello mantenendo fisso lo spettro di base, consentendo così un addestramento online altamente efficiente e una fusione offline efficace di modelli specialisti senza richiedere ulteriori dati o aggiornamenti del gradiente.

Autori originali: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come pensare meglio. Non gli dai solo un libro di testo; lo lasci provare le cose e, quando ottiene la risposta corretta, gli dai un "cinque" (un "premio"). Questo processo è chiamato Apprendimento per Rinforzo con Ricompense Verificabili, o RLVR per brevità. È come un videogioco in cui il robot impara giocando, e il gioco gli dice solo "bravo" o "riprova" solo alla fine di un livello.

Per molto tempo, gli scienziati hanno usato gli stessi vecchi strumenti per aggiornare il cervello del robot dopo questi "cinque". Trattano il cervello del robot come un gigantesco e disordinoso foglio di calcolo di numeri e ne modificano semplicemente ogni singolo numero un pochino. Ma ecco il problema: il cervello del robot è già piuttosto bravo nelle basi prima che inizi a giocare. Forse i vecchi strumenti sono troppo goffi, cambiano cose che non hanno bisogno di essere cambiate, o mancano le parti specifiche che avrebbero bisogno di una spinta. La grande domanda è: esiste un modo più intelligente, più preciso, per aggiornare il cervello del robot rispettando ciò che già sa mentre gli insegna nuovi trucchi?

Questo articolo, intitolato "ISO: An RLVR-Native Optimization Stack", approfondisce proprio questa domanda. Gli autori hanno scoperto un modello nascosto nel modo in cui questi robot imparano. Hanno scoperto che quando un robot impara una nuova abilità attraverso l'RLVR, non riscrive in realtà tutto il suo cervello. Invece, mantiene le "manopole del volume" (i valori matematici che controllano la forza delle sue connessioni) esattamente uguali a come erano prima. Cambia solo le "direzioni" (gli angoli e le orientazioni di quelle connessioni).

Pensa a una compagnia di danza. Le "manopole del volume" sono il numero di ballerini e i loro livelli di energia, che rimangono invariati. Le "direzioni" sono la coreografia. L'articolo mostra che, per imparare una nuova danza, la compagnia non ha bisogno di assumere nuove persone o cambiare quanto siano energiche; deve solo riorganizzare i passi. Gli autori chiamano questo "Eredità Spettrale". Hanno dimostrato che puoi mantenere fissi i livelli di energia (lo spettro) e ottenere comunque risultati straordinari semplicemente modificando la coreografia (i frame).

Sulla base di questa scoperta, hanno costruito un nuovo kit di strumenti chiamato ISO (Ottimizzazione Isospettrale). Ha due trucchi principali. Primo, c'è "ISO-Merger", che è come un frullatore magico. Se hai tre robot diversi, ognuno maestro in una diversa abilità (uno è un mago della programmazione, uno un genio della matematica e uno un esperto di strumenti), puoi fonderli insieme in un super-robot senza doverli riaddestrare o nutrirli con nuovi dati. Esso mescola semplicemente la loro coreografia mantenendo intatti i loro livelli di energia originali.

Secondo, c'è "ISO-Optimizer", un modo più veloce per addestrare un robot da zero. Invece di modificare alla cieca l'intero cervello, regola solo la coreografia mantenendo bloccati i livelli di energia. L'articolo mostra che questo è un enorme risparmio di tempo. Ad esempio, su un modello specifico da 8 miliardi di parametri, il nuovo metodo ha raggiunto lo stesso punteggio elevato del vecchio metodo in soli 100 passi, mentre il vecchio metodo ne ha necessari 270 per arrivarci. Ancora meglio, ha continuato a migliorare e ha ottenuto un punteggio ancora più alto al passo 210.

Gli autori dicono con molta cura che questo non è una magia; è matematica. Lo hanno testato rigorosamente. Hanno dimostrato che se provi a cambiare solo i livelli di energia (le manopole del volume) senza cambiare la coreografia, il robot non impara molto. Ma se mantieni fissi i livelli di energia e cambi la coreografia, il robot impara velocemente. Hanno anche controllato che questo schema rimanga valido anche quando il robot impara una seconda abilità, totalmente diversa, in seguito.

Quindi, il punto principale è semplice: quando insegni a questi modelli di IA nuove abilità di ragionamento, non cercare di ricostruire interamente la loro base. Eredita semplicemente la solida base che già possiedono e concentrati sul riorganizzare i passi. È un modo più efficiente, più veloce e sorprendentemente efficace di insegnare all'IA come pensare.

Riassunto Tecnico: ISO: Uno Stack di Ottimizzazione Nativo per RLVR

Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RL-VR) è diventato un meccanismo primario per scalare le capacità di ragionamento dei grandi modelli linguistici (LLM). Tuttavia, lo strato di ottimizzazione responsabile della conversione del feedback della ricompensa in aggiornamenti nello spazio dei pesi rimane scarsamente compreso. Le attuali implementazioni RLVR ereditano ampiamente strategie di ottimizzazione (es. AdamW, Muon) e parametrizzazioni dal pre-addestramento, nonostante le differenze strutturali fondamentali tra i due regimi. Il pre-addestramento si basa su una supervisione densa a livello di token, mentre l'RLVR adatta policy capaci utilizzando ricompense sparse basate sull'esito (outcome-level).

Analisi recenti suggeriscono che gli aggiornamenti RLVR siano sparsi e off-principal, eppure gli attuali framework non separano esplicitamente ciò che viene riutilizzato da ciò che viene riscritto durante l'adattamento. Questo articolo investiga lo "strato mancante" dell'ottimizzazione RLVR analizzando la struttura singolare dei pesi del modello per determinare se le proprietà spettrali del modello base siano funzionalmente necessarie o meramente incidentali.

Metodologia: Eredità Spettrale e Ottimizzazione Isospettrale (ISO)

L'articolo introduce l'Ottimizzazione Isospettrale (ISO), un framework costruito sul principio dell'eredità spettrale. Questo principio postula che l'RLVR possa acquisire nuovi comportamenti modificando i frame singolari di input e output ( $U, V$ ) delle matrici di peso, pur riutilizzando lo spettro dei valori singolari del modello base ( $\Sigma$ ).

1. Analisi dell'Eredità Spettrale

Gli autori formalizzano l'osservazione che i checkpoint RLVR non vincolati rimangono vicini alla "famiglia a spettro fisso" dei loro pesi base.

Near-Isospectrality (Quasi-Isospettralità): L'analisi empirica mostra che la distanza tra i pesi apprenduti tramite RLVR e la famiglia a spettro fisso del modello base è minima (circa il 3% dello spostamento totale del checkpoint), significativamente inferiore rispetto al Supervised Fine-Tuning (SFT).
Riutilizzabilità Funzionale: Attraverso interventi, gli autori dimostrano che i piccoli cambiamenti spettrali osservati nell'RLVR non vincolato non sono funzionalmente necessari.
- Restaurazione: Restaurare lo spettro base ( $\Sigma_0$ ) dopo l'addestramento, mantenendo i frame appresi, preserva la maggior parte delle prestazioni acquisite.
- Addestramento a Spettro Fisso: Mantenere $\Sigma_0$ fisso durante l'addestramento e ottimizzare solo i frame ( $U, V$ ) produce guadagni significativi, spesso superando gli ottimizzatori standard nello spazio dei pesi.
- Controllo Solo dello Spettro: Al contrario, aggiornare solo lo spettro mantenendo i frame congelati produce miglioramenti limitati.
Adattabilità dei Frame: L'analisi strutturale rivela che, sebbene lo spettro possa rimanere fisso, sia il frame di input ( $V$ ) che quello di output ( $U$ ) devono rimanere adattabili. Limitare l'adattamento a un solo sottospazio o rimescolare solo all'interno degli span esistenti lascia una parte sostanziale del cambiamento del checkpoint non spiegata.

2. Il Framework ISO

ISO operazionalizza queste scoperte come uno stack di ottimizzazione con due istanze complementari:

A. ISO-Merger (Offline)

Un metodo data-free per comporre esperti con base condivisa.

Meccanismo: Invece di utilizzare vettori di task euclidei o distillazione on-policy, ISO-Merger allinea i frame singolari di più esperti a uno spettro base condiviso. Proietta i cambiamenti dei frame degli esperti sullo spazio tangente di Stiefel della base, maschera i modi instabili di coda e li aggrega usando una combinazione lineare stabilizzata tramite ridge per mirare all'auto-ritenzione unitaria.
Processo: Proiezione $\to$ Mascheramento $\to$ Fusione $\to$ Ritrazione. Il modello finale è ricostruito come $W^* = U^* \Sigma_0 (V^*)^\top$ , garantendo che appartenga alla famiglia a spettro fisso.
Requisito: Non richiede dati post-fusione, rollout, aggiornamenti del gradiente o distillazione.

B. ISO-Optimizer (Online)

Un metodo per l'addestramento RLVR online che applica ottimizzatori standard alle variabili dei frame.

Meccanismo: Dato un ottimizzatore base (es. AdamW, Muon), ISO-Optimizer applica la regola di aggiornamento alle variabili dei frame singolari ( $U, V$ ) mantenendo fisso lo spettro base $\Sigma_0$ .
Flusso del Gradiente: I gradienti sono calcolati rispetto alla matrice di peso ricostruita $W = U \Sigma_0 V^\top$ e retropropagati a $U$ e $V$ tramite la regola della catena.
Fattibilità: Dopo ogni aggiornamento, i fattori vengono proiettati nuovamente sulla varietà di Stiefel tramite ritrazione polare (basata su SVD) per garantire l'ortonormalità.
Overhead: La ritrazione polare aggiunge circa il 7% al tempo per step end-to-end, un valore non dominante nei sistemi RLVR dove la generazione dei rollout è il collo di bottiglia.

Risultati Chiave

1. Composizione di Esperti Offline (ISO-Merger)

Esperimenti su Qwen2.5-7B e DeepSeek-R1-Distill-Qwen-1.5B per fondere esperti di coding, tool-use e memoria mostrano:

ISO-Merger raggiunge la migliore performance aggregata tra i metodi di fusione data-free (es. Task Arithmetic, TIES, OrthoMerge).
Su Qwen2.5-7B, raggiunge un punteggio medio di 63.80, superando il miglior baseline (62.88).
Su DeepSeek-R1-Distill-Qwen-1.5B, raggiunge 44.38, superando il miglior baseline (43.52).
Recupera capacità complementari senza richiedere ulteriori dati di addestramento o rollout.

2. Addestramento RLVR Online (ISO-Optimizer)

Esperimenti sul ragionamento matematico (AIME, AMC, Olympiad) e coding (LiveCodeBench) su diverse scale di modello (da 1.5B a 8B) mostrano:

Guadagni di Accuratezza: ISO-AdamW raggiunge costantemente un'accuratezza aggregata superiore rispetto ai baseline standard AdamW e Muon.
Efficienza di Addestramento: ISO-Optimizer raggiunge punteggi equivalenti con moltissimi meno step di addestramento.
- Su Qwen3-4B-Base, ISO-AdamW eguaglia l'accuratezza finale del miglior run di AdamW con 2.2 $\times$ meno step.
- Su Qwen3-8B-Base, ISO-AdamW raggiunge un'accuratezza di 0.495 in 100 step, mentre l'AdamW standard richiede 270 step per raggiungere lo stesso livello (una riduzione di 2.7 $\times$ ).
Generalizzazione: I benefici persistono attraverso diversi ottimizzatori (ISO-Muon) e task (coding vs math), confermando che il vincolo dello spettro fisso è un bias induttivo robusto per l'RLVR.

Significato e Rivendicazioni

L'articolo sostiene di fornire una risposta concreta allo "strato di ottimizzazione mancante" nell'RLVR. Invece di ereditare interamente l'ottimizzazione del pre-addestramento, gli autori sostengono di progettare il post-addestramento attorno alla struttura dell'adattamento guidato dalla ricompensa: eredita lo spettro, ottimizza i frame.

I contributi chiave includono:

Formalizzazione dell'Eredità Spettrale: Dimostrare che l'RLVR riutilizza funzionalmente gli spettri dei pesi del modello base, una proprietà distinta dall'SFT.
Stack Nativo per RLVR: Introdurre ISO come un framework che unifica la composizione offline degli esperti e l'addestramento online sotto un unico principio di spettro fisso.
Efficienza Pratica: Mostrare che vincolare l'ottimizzazione alla famiglia a spettro fisso migliora la velocità di convergenza e l'accuratezza finale senza espandere la classe di modelli ammissibile, agendo efficacemente come un forte bias induttivo per l'RLVR.

Gli autori sottolineano che ISO non è semplicemente un nuovo ottimizzatore, ma una ri-parametrizzazione strutturale che allinea la traiettoria di ottimizzazione con la geometria intrinseca dell'adattamento RLVR, offrendo una via per un post-addestramento più efficiente e stabile per i modelli di ragionamento.