💻 computer science

Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning

Questo sondaggio presenta un framework modularizzato per il Reinforcement Learning nei LLM categorizzando la progettazione degli algoritmi nelle fasi di creazione dell'MDP, esplorazione e apprendimento, rivelando un significativo pregiudizio di ricerca verso i gradienti di policy senza critic e i metodi Monte Carlo, evidenziando al contempo opportunità inesplorate nelle tecniche basate sul valore, off-policy e di bootstrapping.

Autori originali: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievsk

Pubblicato 2026-06-23

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhao Yang, Yuxuan Jiang, Ting-Chih Chen, Lincen Yang, Annie Wong, Chao Gao, Jacob E. Kooi, Zhong Li, Jiayang Shi, Kevin Qiu, Qi Huang, Xinrui Zu, Shiping Yang, Hengyuan Zhang, Ngai Wong, Filip Ilievski, Shujian Yu, Aske Plaat, Zhaochun Ren, Mark Hoogendoorn, Vincent François-Lavet

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a uno studente brillante ma molto letterale (il Large Language Model, o LLM) come scrivere un saggio perfetto, risolvere un problema matematico complesso o scrivere del codice. Non puoi semplicemente dare un voto su ogni singola parola che scrive mentre procede. Inveve, aspetti che finisca tutto il lavoro e poi dici: "Ottimo lavoro!" o "Riprova".

Questa è la sfida centrale dell'Apprendimento per Rinforzo (Reinforcement Learning - RL) per l'IA: come si insegna a uno studente quando il feedback è ritardato, rado e arriva solo alla fine?

Questo articolo è una grande "mappa" o "survey" che organizza i diversi modi in cui i ricercatori stanno cercando di risolvere questo problema. Gli autori sostengono che, sebbene tutti stiano usando alcuni metodi popolari in questo momento (come PPO e GRPO), esiste un'intera cassetta degli attrezzi di altre tecniche provenienti dal mondo della robotica e dell'IA per i giochi che non sono ancora state provate. Essi suddividono il problema in quattro fasi principali, come costruire una casa:

1. Gettare le fondamenta: Definire il gioco (Creazione dell'MDP)

Prima che l'IA possa imparare, devi definire le regole del gioco. L'articolo chiama questo processo "creazione di un Processo Decisionale di Markov" (MDP).

La Ricompensa (Il Voto): Questa è la parte più importante. Se dici all'IA "sii utile", come misuri questo concetto?
- L'intuizione dell'articolo: La maggior parte delle persone usa un "Modello di Ricompensa" (una seconda IA addestrata per indovinare ciò che piace agli umani) o regole semplici (ad esempio, "Il codice è stato eseguito correttamente?").
- La Trappola: A volte l'IA diventa "intelligente" in modo errato. Se la premi per scrivere risposte lunghe, potrebbe semplicemente scrivere sciocchezze per ottenere un punteggio alto. Questo è chiamato Reward Hacking. L'articolo avverte che se le tue regole non sono perfette, l'IA troverà dei trucchi.
Lo Stato (Il Contesto): L'IA deve sapere cosa ha già scritto. Di solito, questo è il testo scritto finora. Ma se il testo diventa troppo lungo, l'IA si sente sopraffatta. Alcuni ricercatori stanno cercando di riassumere il passato o di nascondere parti di esso per mantenere l'IA concentrata.
L'Azione (La Prossima Parola): Di solito, l'IA può scegliere qualsiasi parola dal suo dizionario. Alcuni ricercatori stanno cercando di limitare questa scelta (come forzare l'IA a scegliere solo parole che rispettano una specifica grammatica) per rendere l'apprendimento più facile.
La Fine (Terminazione): Quando si ferma l'IA? Di solito, si ferma quando scrive un speciale token di "fine frase". Ma a volte l'IA parla troppo. L'articolo nota che i ricercatori stanno sperimentando modi per dire all'IA: "Fermati quando hai finito", senza semplicemente interromperla bruscamente.

2. L'Arte di Indovinare: Esplorazione

L'IA parte sapendo nulla. Deve provare diverse cose per vedere cosa funziona. Questo è chiamato Esplorazione.

Temperatura (Il Lancio dei Dadi): Immagina che l'IA stia scegliendo una parola. Se imposti la "temperatura" bassa, sceglie la parola più sicura e ovvia. Se la imposti alta, fa tentativi più audaci. Questo è il modo più semplice per far sì che l'IA provi cose nuove.
Entropia (Il Bonus "Non annoiarti"): Per evitare che l'IA rimanga bloccata in un ciclo di ripetizione delle stesse parole sicure, i ricercatori aggiungono un bonus per essere "incerti" o diversificati. È come dire allo studente: "Ti darò punti extra se provi un approccio diverso, anche se potrebbe fallire".
Curiosità (Motivazione Intrinseca): E se l'IA ricevesse una ricompensa solo per aver fatto qualcosa che non ha mai visto prima? Alcuni metodi danno all'IA un "punteggio di curiosità" per aver tentato nuovi percorsi, anche se non ha ancora raggiunto una risposta perfetta.
Ricerca ad Albero (Il Gioco del "E se..."): Invece di scrivere una sola frase alla volta, immagina che l'IA si dirami come un albero. Scrive tre frasi diverse, vede dove portano e poi sceglie il percorso migliore. È come un giocatore di scacchi che pensa tre mosse avanti.
Apprendimento Curricolare (La Scala): Non iniziare con una tesi di dottorato. Inizia con una storia per l'asilo nido. Questo metodo insegna all'IA problemi facili, per poi renderli gradualmente più difficili, in modo che non si scoraggi.

3. Il Processo di Apprendimento: Come migliora l'IA

Una volta che l'IA ha provato delle cose e ha ricevuto un feedback, come impara effettivamente? L'articolo categorizza questo in quattro grandi scelte:

Model-Free vs. Model-Based:
- Model-Free: L'IA si limita a ricordare "Ho fatto X, ho ottenuto un buon voto. Farò X di nuovo". Impara per tentativi ed errori. Questo è ciò che fa la maggior parte delle IA attuali.
- Model-Based: L'IA cerca prima di costruire una mappa mentale del mondo ("Se dico X, di solito succede Y") e poi pianifica basandosi su quella mappa. È più difficile ma può essere più efficiente.
Value-Based vs. Policy-Based vs. Actor-Critic:
- Policy-Based: L'IA impara semplicemente un insieme di abitudini (una "policy") per ottenere buoni voti.
- Value-Based: L'IA impara a prevedere "Quanto è buona questa situazione?" prima ancora di agire.
- Actor-Critic: Un approccio di squadra. Una parte (l'Attore) decide cosa fare, e una seconda parte (il Critico) giudica quanto sia stata buona la decisione. L'articolo nota che, sebbene l'approccio "Actor-Critic" sia lo standard d'oro nella robotica, la maggior parte dei ricercatori di IA sta attualmente utilizzando metodi "senza Critico" perché sono meno costosi da gestire su enormi computer.
On-Policy vs. Off-Policy:
- On-Policy: L'IA impara solo dalle cose esatte che ha appena fatto. Se commette un errore, scarta quei dati e riprova. È un metodo sicuro ma dispendioso.
- Off-Policy: L'IA impara dai suoi errori e successi passati, anche se sta usando una strategia leggermente diversa ora. È come uno studente che rivede i suoi vecchi compiti per imparare dagli errori. L'articolo sottolinea che pochissimi ricercatori di IA stanno facendo questo, nonostante sia un enorme vantaggio in altri campi.
Assegnazione del Credito (Chi si prende il merito?):
- Se l'IA scrive un saggio di 100 parole e ottiene un "A", quali 5 parole sono state le più importanti?
- Default Attuale: La maggior parte dei metodi dice semplicemente: "Ottimo lavoro sull'intero saggio!" e attribuisce il credito a ogni parola equamente.
- Il Gap: L'articolo sostiene che abbiamo bisogno di modi migliori per capire esattamente quali parole hanno portato al successo, specialmente per compiti di ragionamento lunghi e complessi.

4. Il Quadro Generale: Cosa Manca?

La conclusione principale degli autori è che il campo è sbilanciato.

La Folla: Quasi tutti stanno usando gli stessi pochi strumenti (metodi senza Critico, assegnazione del credito Monte Carlo). È come se tutti in una città guidassero lo stesso modello di auto sulla stessa strada.
I Lotti Vuoti: Esistono strade ampie e ben asfaltate nel mondo dell'Apprendimento per Rinforzo (come l'apprendimento Off-Policy, i metodi Value-based e il Bootstrapping) che sono completamente vuote nel mondo dell'IA.
L'Opportunità: L'articolo suggerisce che, prendendo in prestito queste tecniche "dimenticate" dal più ampio mondo dell'RL, potremmo essere in grado di insegnare all'IA a ragionare meglio, imparare più velocemente e gestire compiti più difficili senza richiedere tanta potenza di calcolo.

In breve: Questo articolo è un invito a smettere di reinventare la ruota. Dice: "Stiamo usando un set molto limitato di strumenti per addestrare l'IA. C'è un intero magazzino di altri strumenti potenti che funzionano molto bene in altri campi, e dovremmo iniziare a provarli per i modelli linguistici".

Sintesi Tecnica: Apprendimento per Rinforzo Modularizzato su LLM

Definizione del Problema

L'Apprendimento per Rinforzo (RL) è diventato centrale per il post-training dei Large Language Models (LLM), principalmente per l'allineamento con le preferenze umane e il potenziamento delle capacità di ragionamento. Tuttavia, le attuali pipeline sono dominate da un sottoinsieme ristretto di metodi RL, specificamente Proximal Policy Optimization (PPO) e Group Relative Policy Optimization (GRPO). La letteratura esistente è frammentata, con recenti rilasci di modelli e articoli di ricerca che propongono modifiche isolate (ad esempio, nuovi stimatori di vantaggio, strategie di clipping o programmi curriculari) senza inquadrare questi contributi all'interno di un framework unificato di decisioni di progettazione RL. Questa mancanza di un framework concettuale condiviso rende difficile distinguere tra differenze sostanziali tra i metodi, identificare spazi di progettazione inesplorati o trasferire sistematicamente tecniche RL classiche consolidate nel dominio degli LLM.

Metodologia

Questo lavoro propone una tassonomia modulare e principiata per analizzare e costruire algoritmi di RL per gli LLM. Invece di organizzare per applicazione o fase di addestramento, il sondaggio struttura l'esame attorno a tre fasi principali della costruzione dell'algoritmo e una categoria aggiuntiva per framework più ampi:

Creazione dell'MDP: Il sondaggio formalizza la generazione degli LLM come un Processo Decisionale di Markov (MDP). Analizza le scelte di progettazione per:
- Funzioni di Ricompensa: Categorizzando le fonti in modelli appresi (RLHF), ricompense basate su regole/verificabili (RLVR) e LLM-as-Judge. Esamina inoltre la modellazione della ricompensa (reward shaping, ad esempio lunghezza, formato) e il fenomeno del reward hacking.
- Spazi di Stato e Azione: Revisionando le rappresentazioni che vanno dalle sequenze complete di token agli embedding latenti compressi, e gli spazi di azione dal vocabolario completo ad azioni vincolate o latenti.
- Terminazione e Sconto: Discutendo come viene controllata la lunghezza dell'episodio (cutoff rigidi vs. reward shaping) e la pratica standard di impostare il fattore di sconto $\gamma=1$ per i compiti LLM a orizzonte finito.
Esplorazione: Il documento categorizza i meccanismi utilizzati per incoraggiare comportamenti diversificati ed uscire da ottimi locali:
- Campionamento Stocastico: Campionamento della temperatura e regolarizzazione dell'entropia.
- Motivazione Intrinseca: Segnali di novità basati su errori di predizione a livello di token o di traiettoria, pseudo-conteggi e incertezza.
- Ricerca Strutturata: Metodi di ricerca ad albero (ad esempio, MCTS) che ramificano nei punti di divergenza.
- Apprendimento Curriculare (Curriculum Learning): Strategie per il campionamento dei dati, inizializzazione dello stato iniziale e programmazione del segnale di ricompensa (da densa a sparsa).
Apprendimento: Il sondaggio mappa i metodi di addestramento degli LLM su quattro dimensioni classiche del RL:
- Model-Free vs. Model-Based: Notando che gli LLM sono addestrati prevalentemente tramite aggiornamenti model-free, sebbene il modello pre-addestrato possa essere visto come un modello di dinamica implicito.
- Rappresentazione della Soluzione: Contrastando metodi basati sul valore, basati sulla policy (senza critic) e metodi actor-critic. Evidenzia la dominanza dei gradienti di policy senza critic (ad esempio, GRPO, RLOO) negli LLM, in contrasto con la dominanza basata sul valore nel RL classico.
- Fonte dei Dati: Analizzando la prevalenza di metodi on-policy (PPO, GRPO) rispetto ad approcci off-policy (ad esempio, varianti di DPO ed experience replay), e le sfide del mismatch della distribuzione e della "deadly triad" nel contesto degli LLM.
- Assegnazione del Credito (Credit Assignment): Esaminando come le ricompense vengono attribuite ai token, contrastando i metodi Monte Carlo (intera traiettoria) con gli approcci di bootstrapping (TD). Dettaglia i recenti raffinamenti a GRPO riguardanti la stima del vantaggio, il campionamento dell'importanza e il clipping.
Altri Framework: Il sondaggio copre brevemente Meta-RL, Multi-Agent RL (MARL), Offline RL e Hierarchical RL (HRL) come paradigmi emergenti nell'addestramento degli LLM.

Contributi Chiave

Tassonomia Unificata: Il contributo primario è una tassonomia strutturata che mappa la frammentata letteratura degli LLM su uno spazio di progettazione RL completo. Ciò consente un confronto sistematico di metodi che altrimenti potrebbero apparire non correlati.
Identificazione dei Gap di Ricerca: Mappando gli sforzi attuali su questa tassonomia, il documento rivela una distribuzione striamente non uniforme della ricerca. Identifica che, mentre i gradienti di policy senza critic e l'assegnazione del credito Monte Carlo sono aree densamente popolate, altre tecniche RL classiche ben consolidate rimangono ampiamente inesplorate negli LLM. I gap specifici includono:
- Metodi basati sul valore e addestramento actor-critic off-policy (specificamente aggiornamenti in stile SAC).
- Assegnazione del credito basata su bootstrapping (andando oltre il puro Monte Carlo).
- Integrazione sistematica dei fattori di sconto per il controllo della lunghezza.
- Composizione di ricompense multi-obiettivo e ricompense per compiti open-ended.
Chiarificazione dei Trade-off di Progettazione: Il sondaggio elucida perché certi default (ad esempio, $\gamma=1$ , metodi senza critic) siano diventati standard negli LLM (ad esempio, a causa dei costi di memoria dei critic di grandi dimensioni e della natura resettabile degli ambienti LLM) e dove questi default possano essere subottimali (ad esempio, per compiti di ragionamento a lungo orizzonte).

Risultati e Conclusioni

Il documento non presenta nuovi risultati sperimentali ma sintetizza i risultati della letteratura esistente per trarre conclusioni strutturali:

Formulazione MDP: L'MDP standard a livello di token, con vocabolario completo e non scontato è un default ragionevole ma ammette alternative benefiche (ad esempio, stati latenti, azioni vincolate) in contesti specifici.
Esplorazione: Le attuali strategie di esplorazione sono frammentate e spesso operano a livello di token piuttosto che a livello di strategia. Esistono prove empiriche limitate che confrontano le sinergie di diversi metodi di esplorazione.
Apprendimento: La dominanza dei metodi senza critic (come GRPO) è guidata dalla capacità di sostituire il calcolo (campionamento su larga scala) con un critic appreso e dall'efficienza di memoria guadagnata evitando un secondo modello di dimensioni complete. Tuttavia, ciò avviene a scapito dell'efficienza del campione e della potenziale instabilità in compiti a lungo orizzonte dove i metodi basati sul valore o actor-critic potrebbero offrire benefici.
Assegnazione del Credito: La maggior parte dei metodi si affida ad aggiornamenti Monte Carlo con vantaggi a livello di traiettoria. Il lavoro recente tenta di perfezionare questo aspetto (ad esempio, VinePPO, TEMPO), ma il passaggio fondamentale verso il bootstrapping o le ricompense per singolo step rimane una sfida aperta.

Significato

Il documento rivendica la propria importanza fornendo un framework concettuale condiviso per i ricercatori sia nel campo del RL che in quello degli LLM. Rendendo espliciti i "gap strutturali", mira a:

Facilitare il Trasferimento di Conoscenza: Consentire ai ricercatori di RL di identificare quali tecniche classiche (ad esempio, actor-critic off-policy, bootstrapping) non sono ancora state applicate agli LLM e potrebbero essere candidati promettenti per il trasferimento.
Guidare i Ricercatori di LLM: Aiutare i ricercatori di LLM a comprendere il "perché" dietro le attuali scelte algoritmiche e identificare direzioni di miglioramento inesplorate oltre ai raffinamenti incrementali di GRPO o PPO.
Riformulare il Campo: Spostare il discorso dai singoli tweak algoritmici a una comprensione modulare delle decisioni di progettazione RL, evidenziando che l'attuale concentrazione di sforzi in aree specifiche è una scelta piuttosto che una necessità.

Gli autori mantengono una posizione modesta, osservando che i gap identificati non rappresentano necessariamente "vittorie facili" e che esistono spesso ragioni valide (ad esempio, vincoli computazionali, mismatch architettonici) per cui certe tecniche classiche non sono state adottate. Tuttavia, sostengono che un framework condiviso sia un punto di partenza produttivo per investigare queste opportunità strutturali.