Sintesi Tecnica: Curriculum Consapevole del Trasferimento per il RLVR Multi-Dominio

Definizione del Problema

Il Reinforcement Learning con Ricompense Verificabili (RLVR) ha migliorato con successo le capacità di ragionamento dei Large Language Models (LLM) in singoli domini come la matematica e la programmazione. Tuttavia, estendere questo approccio a suite di ragionamento multi-dominio (che spaziano tra matematica, programmazione, logica, simulazione, tabelle e STEM) presenta una sfida critica: le abilità di ragionamento si trasferiscono in modo non uniforme tra i domini.

Gli approoli attuali al training multi-dominio si affidano tipicamente a programmi di campionamento fissi o curricula regolati manualmente. Sebbene recenti approcci basati sulla "imparabilità" (es. SEC) adattino il campionamento in base al dominio su cui la policy sta attualmente migliorando (utilizzando gli advantage on-policy), essi soffrono di un punto cieco fondamentale: non tengono conto della trasferibilità cross-dominio. Un dominio può essere altamente imparabile localmente (fornendo gradienti immediati forti), ma i suoi aggiornamenti potrebbero non beneficiare, o addirittura ostacolare, le prestazioni su altri domini. Al contrario, un dominio meno ovvisamente imparabile potrebbe generare aggiornamenti di gradiente che migliorano ampiamente la policy in l'intera suite. I metodi esistenti rischiano di impegnarsi eccessivamente in domini localmente ricchi ma globalmente ristretti, lasciando inespresso il potenziale di miglioramento cross-dominio.

Metodologia: Curriculum Consapevole del Trasferimento (TAC)

Gli autori propongono il Transfer-Aware Curriculum (TAC), un curriculum online automatizzato di tipo bandit che integra la trasferibilità cross-dominio come un segnale primario per la selezione del dominio. TAC opera all'interno del framework Group Relative Policy Optimization (GRPO) e formula la selezione del dominio come un problema di multi-armed bandit.

Componenti Core

1. Formulazione Bandit:

   • Ogni dominio di ragionamento è trattato come un "braccio" (arm).
   • Ad ogni step di training, il curriculum campiona un dominio basandosi su una stima del valore $Q_m$ derivata da un segnale di feedback $S_m$.
   • La distribuzione di campionamento è aggiornata utilizzando una distribuzione di Boltzmann su valori aumentati tramite Upper Confidence Bound (UCB) per bilanciare esplorazione ed esploitazione.

2. Segnale di Feedback Duale ($S_m$):
   Il segnale di feedback per ogni dominio è una combinazione pesata di due termini:

   • Imparabilità Locale ($\hat{L}_m$): Derivata dal valore assoluto medio dell'advantage GRPO. Cattura il segnale di apprendimento immediato (miglioramento attivo) all'interno del dominio. È normalizzata tramite uno z-score mobile per gestire le variazioni di scala.
   • Trasferibilità Cross-Dominio ($T_m$): Un segnale auto-supervisionato innovativo che stima quanto bene un passo di gradiente sul dominio $m$ si allinei con le direzioni del gradiente di altri domini.
     • Meccanismo: Inveve di calcolare gradienti completi ad alta dimensionalità, TAC utilizza gradienti proiettati (tramite proiezioni casuali, es. sketch stile TRAK) per rappresentare la direzione dell'aggiornamento in uno spazio a bassa dimensionalità.
     • Tracciamento dello Stato: Ogni dominio mantiene una Media Mobile Esponenziale (EMA) dei propri vettori di gradiente proiettati.
     • Metrica di Allineamento: Periodicamente, vengono calcolate le similitudini del coseno pairwise tra lo stato del gradiente di un dominio e gli stati di tutti gli altri domini attivi. Il punteggio di trasferibilità $T_m$ è la media delle similitudini del coseno, normalizzata tramite min-max scaling in un intervallo $[0, 1]$.
     • Efficienza: Questo segnale è calcolato interamente dai gradienti già generati durante il normale training RL, senza richiedere ulteriori rollout, probe su dati tenuti separati o annotazioni oracle. L'overhead è trascurabile (<1% del tempo di calcolo).

3. Integrazione del Segnale:
   Il punteggio finale è $S_m = \beta \hat{L}_m + (1-\beta) T_m$. Il coefficiente $\beta$ bilancia i due segnali. Il metodo aggiorna dinamicamente le stime del valore per entrambi i bracci campionati e non campionati (utilizzando l'imparabilità memorizzata e stime fresche di trasferibilità), permettendo al curriculum di spostare il focus anche quando un dominio non viene attualmente campionato.

Contributi Chiave

1. Bandit Curriculum Consapevole del Trasferimento: Il primo framework di curriculum per il RL multi-dominio che ottimizza esplicitamente la trasferibilità cross-dominio insieme all'imparabilità locale. Affronta il limite dei metodi precedenti che considerano solo "cosa la policy può imparare ora" anziché "cosa aiuta la policy a imparare ovunque".
2. Segnale di Geometria del Gradiente Auto-Supervisionato: Un metodo computazionalmente efficiente per stimare la trasferibilità usando i coseni dei gradienti proiettati. Questo segnale è adattivo (evolve con la policy) e relativo (classifica i domini in base all'allineamento corrente piuttosto che alla magnitudo assoluta), evitando la necessità di costose validazioni esterne.
3. Validazione Empirica: Dimostrato su una suite di ragionamento a sei domini (Math, Codegen, Logic, Simulation, Table, STEM) utilizzando i modelli Qwen3-1.7B e Llama3.2-3B.

Risultati Sperimentali

Il paper valuta TAC contro quattro baseline:

• Base: Nessun training RL.
• Random: Campionamento casuale proporzionale (uniforme o pesato sulla dimensione dei dati).
• M2O (Math-to-Others): Un curriculum a due stadi progettato a mano (addestramento su matematica, poi sugli altri).
• SEC: Un curriculum bandit basato solo sull'imparabilità ($\beta=1$).

Risultati Chiave:

• Performance Superiori: TAC ottiene la migliore accuratezza media macro su entrambi i backbone dei modelli. Su Qwen3-1.7B, migliora rispetto alla baseline più forte (SEC) di +1.8 punti percentuali (+5.6% relativo). Su Llama3.2-3B, migliora rispetto a M2O di +1.6 punti percentuali (+5.4% relativo).
• Robustezza all'Squilibrio: In esperimenti con budget di dati sbilanciati (dove Math e STEM hanno 3x i dati degli altri domini), TAC supera SEC di +1.5 punti. La baseline basata solo sull'imparabilità (SEC) si concentra eccessivamente sui domini dominanti (Math/STEM) anche quando i loro aggiornamenti cessano di beneficiare altri domini, mentre il segnale di trasferibilità di TAC reindirizza il campionamento verso domini sotto-rappresentati ma altamente trasferibili (come Table e Logic).
• Dinamiche del Curriculum: L'analisi mostra che il dominio più imparabile (spesso STEM o Math) non è frequentemente il più trasferibile. SEC tende ad "ancorarsi" al dominio più imparabile nelle fasi iniziali del training, mentre TAC sposta dinamicamente il campionamento verso domini con alto allineamento del gradiente (es. Table), portando a una generalizzazione più ampia.
• Ablazioni: Rimuovere il termine di trasferibilità ($\beta=1$) causa un netto calo delle prestazioni, confermando la sua necessità. Il metodo è robusto alle variazioni degli iperparametri, in particolare al coefficiente di miscelazione $\beta$, che raggiunge il picco intorno a 0.2 (indicando una forte necessità di segnali di trasferibilità anche in presenza di imparabilità).

Significato e Rivendicazioni

Il paper sostiene che la trasferibilità cross-dominio è un segnale chiave, precedentemente sottoutilizzato, per il design del curriculum nel RLVR multi-dominio.

• Cambio di Paradigma: Il lavoro va oltre l'ottimizzazione dei guadagni locali immediati (imparabilità) per ottimizzare l'allineamento geometrico degli aggiornamenti attraverso l'intera suite di training.
• Efficienza: Dimostra che segnali di curriculum di alta qualità possono essere derivati "gratuitamente" dai gradienti di training esistenti, rendendolo un'aggiunta pratica alle pipeline RLVR esistenti senza costi computazionali significativi.
• Generalizzazione: I risultati suggeriscono che una singola policy può ragionare competentemente su compiti eterogenei se il curriculum di training tiene esplicitamente conto di come le abilità si trasferiscono, invece di trattare i domini come silos indipendenti o fare affidamento su programmi statici.
• Limitazioni: Gli autori notano che TAC mira alla distribuzione di campionamento ed è complementare, non un sostituto, dei progressi in ottimizzatori, modelli di ricompensa o architetture. Inoltre, l'attuale implementazione si basa su ricompense verificabili (RLVR); estendere questi segnali a domini non verificabili (che dipendono da giudici LLM) è lasciato al lavoro futuro.

In sintesi, TAC stabilisce che per il ragionamento multi-dominio, sapere dove il modello sta migliorando non è sufficiente; bisogna anche sapere dove tali miglioramenti si propagheranno.