Actor-Curator: Co-adaptive Curriculum Learning via Policy-Improvement Bandits for RL Post-Training

Titolo: ACTOR-CURATOR: Apprendimento Curricolare Co-adattivo tramite Bandit per il Miglioramento della Politica nel Post-Training Scalabile RL

1. Il Problema

Il post-training di grandi modelli linguistici (LLM) tramite Reinforcement Learning (RL) richiede la selezione di problemi di addestramento da dataset massicci ed eterogenei. La scelta, l'ordinamento e la frequenza di questi problemi sono critici per la stabilità, l'efficienza del campione e le prestazioni finali.

Le sfide principali nell'applicare l'apprendimento curricolare (curriculum learning) a questo contesto sono:

• Scalabilità: I dataset sono troppo grandi per essere gestiti con statistiche per-problema tabulari o annotazioni manuali.
• Non stazionarietà: L'utilità di un problema cambia dinamicamente man mano che la politica (l'LLM) migliora. Un problema difficile all'inizio potrebbe diventare banale in seguito, o viceversa.
• Feedback parziale: Durante l'addestramento, si osserva il feedback (il miglioramento della politica) solo sui problemi selezionati, mentre l'utilità dei problemi non selezionati rimane sconosciuta.
• Trade-off Esplorazione-Sfruttamento: È necessario bilanciare la selezione di problemi noti per essere utili (sfruttamento) con l'esplorazione di problemi sottocampionati la cui utilità è incerta.

I metodi esistenti si basano spesso su euristiche manuali (es. difficoltà annotata dall'uomo) o su segnali heuristici (es. vantaggio medio assoluto), che non si generalizzano bene e non scalano.

2. Metodologia: ACTOR-CURATOR

Il paper propone ACTOR-CURATOR (AC), un framework completamente automatizzato e scalabile che addestra un "curatore" neurale per selezionare dinamicamente i problemi di addestramento.

Formulazione come Problema di Bandit

Il problema della selezione dei dati è formulato come un problema di bandit stocastico non stazionario con feedback parziale.

• Obiettivo: Massimizzare il miglioramento cumulativo della politica ($J(\pi_{t+1}) - J(\pi_t)$) nel tempo.
• Segnale di Apprendimento: A differenza dei metodi precedenti che usano proxy di difficoltà, AC deriva un segnale di apprendimento principiato basato sul miglioramento atteso della politica. Per ogni problema $x$, viene definita un'utilità $u^t_x$ che rappresenta il contributo marginale di quel problema al miglioramento globale della politica, calcolato tramite un'identità di differenza di prestazioni e campionamento per importanza.

Algoritmo di Ottimizzazione: OSMD

Per ottimizzare il curatore in un ambiente non stazionario con feedback parziale, il framework utilizza l'Online Stochastic Mirror Descent (OSMD):

1. Due Stadi di Campionamento: Per gestire dataset enormi, si usa uno schema a due stadi:
   • Si campiona un batch candidato $\tilde{X}_t$ da una distribuzione proposta fissa.
   • Il curatore neurale re-pesca un sottoinsieme di addestramento $X_t$ da $\tilde{X}_t$ basandosi su probabilità apprese.
2. Stima Non Distorta: Viene derivato uno stimatore non distorto per l'utilità del problema che corregge le probabilità di inclusione sia dello stadio candidato che di quello di selezione.
3. Funzione di Perdita: Il curatore è addestrato minimizzando una funzione di perdita basata su OSMD con regolarizzazione entropica negativa. Per stabilizzare l'addestramento con reti neurali, viene introdotta un'obiettivo "clippato" (simile a PPO) per limitare le variazioni troppo grandi tra le distribuzioni del curatore consecutive.

Loop di Addestramento Co-adattivo

Il sistema opera in un ciclo online e on-policy:

1. Il curatore seleziona i problemi.
2. L'attore (LLM) esegue rollouts e viene aggiornato.
3. Viene stimato il miglioramento della politica per ogni problema selezionato.
4. Il curatore riceve un "reward" di tipo bandit basato su questo miglioramento e aggiorna i suoi parametri per massimizzare il miglioramento futuro.

3. Contributi Chiave

1. Framework di Curatura Automatica: Introduzione di un sistema che impara a selezionare i dati senza annotazioni umane, strutture manuali o definizioni di difficoltà predefinite.
2. Formulazione Teorica: Cast della selezione dei dati come un problema di bandit non stazionario, con una funzione di perdita derivata dalla teoria del miglioramento della politica e garanzie di regret (rimpianto) dinamiche.
3. Scalabilità e Robustezza: L'uso di approssimazione funzionale (reti neurali) e campionamento a due stadi permette di gestire decine di migliaia di problemi eterogenei.
4. Adattabilità: Il metodo è agnostico rispetto all'algoritmo di aggiornamento dell'attore (funziona con GRPO, GSPO, ecc.) e si adatta dinamicamente all'evoluzione della politica.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque benchmark di ragionamento e matematica: Countdown, Zebra, ARC-1D, MATH500 e AIME24.

• Prestazioni Superiori: ACTOR-CURATOR supera costantemente il campionamento uniforme e baselines avanzate (come SEC basato su euristiche e PCL basato su modelli di valore).
  • AIME24: Guadagno relativo del 28.6% rispetto alla baseline più forte.
  • ARC-1D: Guadagno relativo del 30.5%.
  • ARC-HARD: Guadagno fino al 58.97% su subset difficili.
• Efficienza: Il metodo raggiunge prestazioni comparabili o superiori con significativamente meno passi di addestramento.
  • Speed-up fino all'80% (es. su Zebra) per raggiungere la stessa accuratezza del campionamento uniforme.
• Stabilità: Le curve di addestramento mostrano una convergenza più rapida e stabile, evitando i plateau precoci osservati nei metodi baselines.
• Analisi del Curricolo: Il curatore dimostra un comportamento curricolare naturale, iniziando con problemi più facili e spostandosi gradualmente verso problemi più difficili man mano che la politica migliora.

5. Significato e Implicazioni

ACTOR-CURATOR rappresenta un cambio di paradigma nel post-training degli LLM:

• Dai Dati Statici alla Selezione Dinamica: Trasforma la selezione dei dati da una risorsa statica a un processo di ottimizzazione online che evolve insieme alla politica.
• Riduzione della Dipendenza dall'Ingegneria dei Dati: Dimostra che è possibile ottenere curricoli efficaci senza annotazioni manuali di difficoltà o strutturazione manuale dei dataset, rendendo il processo più scalabile e resiliente al rumore.
• Fondamento Teorico: Fornisce una base teorica solida (bandit non stazionari e mirror descent) per l'apprendimento curricolare su larga scala, superando i limiti delle approcci euristici.

In sintesi, il lavoro dimostra che l'ottimizzazione congiunta della selezione dei dati e dell'aggiornamento della politica, guidata da segnali di miglioramento atteso, è una via potente per scalare l'addestramento RL su modelli linguistici complessi.