🤖 machine learning

Maximum Likelihood Reinforcement Learning

Questo articolo introduce il Maximum Likelihood Reinforcement Learning (MaxRL), un nuovo framework che colma il divario tra l'RL a ricompensa attesa e la massima verosimiglianza offrendo un obiettivo indicizzato alla computazione che domina in senso Pareto i metodi esistenti e migliora significativamente l'efficienza dello scaling durante il test.

Autori originali: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Pubblicato 2026-08-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo dell'intelligenza artificiale, esistono due modi dominanti per insegnare a un computer come pensare. Il primo è simile a un insegnante severo che fornisce la risposta corretta per ogni domanda, permettendo allo studente di confrontare il proprio lavoro con una chiave di correzione e regolare di conseguenza la propria comprensione. Questo metodo, noto come apprendimento supervisionato, ha alimentato i più impressionanti riconoscitori di immagini e strumenti linguistici che utilizziamo oggi. Il secondo approccio è più simile a un bambino che impara a camminare: non c'è una chiave di risposta, solo l'ambiente stesso. L'apprendista compie un passo, cade, ci riprova e, alla fine, impara a mantenere l'equilibrio sentendo le conseguenze delle proprie azioni. Questo è l'apprendimento per rinforzo, un metodo progettato per situazioni in cui il percorso verso una soluzione non è una linea retta di dati, ma una serie di scelte che portano a un risultato finale. Per anni, quando i sistemi di IA affrontavano problemi in cui l'unico feedback era un semplice "sì" o "no" alla fine — come risolvere un problema matematico o navigare in un labirinto — i ricercatori si sono affidati a questo secondo metodo. Hanno trattato il problema come un gioco di massimizzazione dei premi, assumendo che se l'IA avesse semplicemente ottenuto abbastanza segnali di "sì", avrebbe imparato a riuscire.

Uno studio recente sfida questa assunzione di lunga data, suggerendo che il modo standard di insegnare a questi sistemi sia in realtà un'approssimazione grossolana di un principio molto più potente, ma precedentemente inaccessibile. I ricercatori, lavorando in collaborazione tra diverse università, hanno scoperto che quando un modello di IA genera una risposta corretta, sta implicitamente creando una probabilità di successo. In un mondo perfetto, il modo migliore per addestrare il modello sarebbe quello di massimizzare direttamente questa probabilità, un concetto noto come massima verosimiglianza. Tuttavia, poiché il processo di generazione di una risposta spesso comporta passaggi imprevedibili che non possono essere facilmente misurati dalla matematica interna di un computer, gli scienziati sono stati costretti a utilizzare l'approccio del "gioco" dell'apprendimento per rinforzo. Il nuovo lavoro dimostra che questo approccio standard è solo una stima di primo ordine rispetto al vero obiettivo. Esso trascura le informazioni sottili e critiche nascoste nei rari momenti in cui il modello fatica ma riesce comunque. Sviluppando un nuovo framework di addestramento chiamato Maximum Likelihood Reinforcement Learning, o MaxRL, il team ha trovato un modo per colmare questo divario, permettendo al sistema di apprendere dai propri successi con una precisione che prima era impossibile.

Il nucleo della scoperta risiede nel modo in cui il computer pesa i suoi errori e le sue vittorie. Nel metodo tradizionale, ogni volta che il modello produce una risposta corretta, riceve un premio e il sistema regola le sue impostazioni interne per rendere quell'esito più probabile. Tuttavia, questo metodo tratta una risposta corretta allo stesso modo, indipendentemente da quanto fosse difficile il problema. Se il modello risolve un puzzle semplice e uno complesso con la stessa facilità, il sistema tradizionale attribuisce loro lo stesso credito. La nuova ricerca mostra che questo è inefficiente. Il vero obiettivo è massimizzare la verosimiglianza di essere corretti, il che matematicamente richiede che il sistema presti molta più attenzione ai problemi difficili dove il successo è raro. Il metodo standard fallisce nel farlo perché guarda solo alla percentuale media di successo. Il nuovo framework, MaxRL, cambia il calcolo guardando all'intera cronologia dei tentativi. Chiede: "Se provassimo questo problema molte volte, quante volte avremmo ragione?". Analizzando la frequenza del successo attraverso molti tentativi, il sistema può inferire la vera difficoltà del problema e regolare il proprio apprendimento di conseguenza.

Per testare questa idea, i ricercatori hanno costruito un sistema in grado di simulare questo processo di apprendimento più sofisticato. Hanno creato una famiglia di obiettivi che potevano essere regolati come una manopola. A un'estremità della manopola, il sistema si comporta esattamente come i metodi di apprendimento per rinforzo standard utilizzati oggi. All'altra estremità, si comporta come l'ideale addestratore di massima verosimiglianza, che è teoricamente perfetto ma solitamente impossibile da eseguire. Nel mezzo, la manopola permette al sistema di utilizzare più potenza di calcolo per ottenere un'approssimazione migliore e più accurata di quell'ideale. Il team ha scoperto che, aumentando la potenza di calcolo dedicata alla generazione di molteplici tentativi per ogni problema, le prestazioni del sistema miglioravano drasticamente. Non era solo che il sistema diventasse più stabile; la natura stessa di ciò che stava imparando cambiava. Iniziava a concentrarsi intensamente sui problemi difficili che i vecchi metodi ignoravano, portando a una comprensione molto più profonda del compito.

I risultati di questo approccio sono stati sorprendenti in una varietà di test. In un ambiente controllato in cui i ricercatori potevano confrontare direttamente il nuovo metodo con l'ideale teorico, il nuovo sistema ha avvicinato le prestazioni dell'addestratore perfetto man mano che aggiungevano potenza di calcolo. Al contrario, i metodi standard hanno incontrato un muro, fallendo nel compiere progressi significativi anche quando venivano forniti enormi quantità di dati. Quando il team si è spostato su scenari più complessi e reali, come navigare in labirinti e risolvere problemi matematici, il vantaggio è diventato ancora più evidente. In compiti che coinvolgono il ragionamento matematico, il nuovo metodo ha ottenuto guadagni di prestazione fino a venti volte più efficienti rispetto ai metodi allo stato dell'arte attuali. Ciò significa che, per raggiungere lo stesso livello di abilità, il nuovo sistema ha richiesto molti meno tentativi e meno tempo di calcolo. Forse più importante, il nuovo metodo non ha sofferto del problema dell' "overfitting" (sovra-apprendimento) che spesso affligge questi sistemi, ovvero quando un modello impara a memorizzare così bene i dati di addestramento da fallire nel generalizzare su nuovi problemi non visti. Mentre altri metodi vedevano degradare nel tempo la loro capacità di generare soluzioni corrette e diverse, il nuovo framework manteneva una sana varietà di risposte corrette, suggerendo che stesse imparando veramente la logica sottostante piuttosto che limitarsi a memorizzare schemi.

Le implicazioni di questo lavoro vanno oltre il rendere l'IA più intelligente; cambiano il modo in cui pensiamo ai limiti dell'apprendimento automatico. Per molto tempo, la difficoltà nell'addestrare questi sistemi su compiti di ragionamento complesso è stata attribuita agli algoritmi stessi o alla mancanza di dati. Questo studio suggerisce che il collo di bottiglia era in realtà la funzione obiettivo — l'obiettivo matematico che il sistema stava cercando di raggiungere. Spostando l'obiettivo dal semplice massimizzare la ricompensa media al massimizzare la verosimiglianza della correttezza, i ricercatori hanno sbloccato un nuovo livello di efficienza. Il sistema non sta più solo indovinando la risposta giusta; sta imparando a comprendere la probabilità di successo in un modo che rispecchia come gli esseri umani imparano dalle vittorie rare e faticose. I ricercatori osservano che questo approccio funziona meglio quando esiste un modo chiaro per verificare se una risposta è corretta, come nella matematica o nella programmazione, ma i principi potrebbero potenzialmente applicarsi ad altre aree in cui l'esito è binario. Mentre l'intelligenza artificiale continua ad affrontare problemi più complessi e astratti, la capacità di apprendere efficientemente da un feedback scarso sarà cruciale. Questo nuovo framework fornisce una strada da seguire, dimostrando che, perfezionando il modo in cui definiamo il successo, possiamo insegnare alle macchine non solo a imparare più velocemente, ma meglio.

Sintesi Tecnica: Maximum Likelihood Reinforcement Learning (MaxRL)

Definizione del Problema

Il Reinforcement Learning (RL) è il paradigma standard per l'addestramento di modelli in contesti in cui la funzione obiettivo è non differenziabile e può essere valutata solo tramite campionamento, come nei compiti con esiti binari di successo/fallimento (ad esempio, sintesi di programmi, ragionamento matematico, navigazione). In questi scenari, il modello induce una verosimiglianza implicita di correttezza, $p_\theta(y^*(x) | x)$ , per un dato input $x$ . Sebbene la Massima Verosimiglianza (ML) sia l'obiettivo principato per ottimizzare tali probabilità in contesti differenziabili, essa è tradizionalmente intrattabile qui a causa del processo di generazione stocastico non differenziabile. Di conseguenza, i praticanti ricorrono al classico RL, che ottimizza la ricompensa attesa (il tasso di successo atteso, $E[p_\theta]$ ), piuttosto che il log-likelihood ( $E[\log p_\theta]$ ).

Gli autori osservano che il classico RL e la ML inducono comportamenti di ottimizzazione fondamentalmente diversi. Nello specifico, il gradiente dell'obiettivo ML comporta una riponderazione per probabilità inversa ( $1/p_\theta$ ), che pone un'enfasi significativamente maggiore sugli input "difficili" con basse probabilità di successo. Al contrario, i gradienti del classico RL ( $\nabla p_\theta$ ) trattano tutti gli input linearmente, sottopesando spesso i casi difficili. Questa discrepanza suggerisce che l'RL sia solo un espediente per aggirare la non-differenziabilità piuttosto che l'obiettivo ottimale per compiti basati sulla correttezza.

Metodologia: Maximum Likelihood Reinforcement Learning (MaxRL)

Il documento introduce il Maximum Likelihood Reinforcement Learning (MaxRL), un framework che colma il divario tra il classico RL a ricompensa attesa e la ML esatta sfruttando un maggiore calcolo di campionamento.

Fondamenti Teorici

Gli autori derivano un'espansione a livello di popolazione dell'obiettivo di Massima Verosimiglianza utilizzando una serie di Maclaurin in termini di eventi di fallimento. Per un tasso di successo $p$ , il log-likelihood è:
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
Differenziando si ottiene il gradiente ML come una miscela armonica infinita di gradienti pass@k:
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
Il classico RL corrisponde all'approssimazione del primo ordine ( $k=1$ ), ottimizzando solo $\nabla_\theta \text{pass@}1$ . MaxRL propone di troncare questa serie a un ordine finito $T$ , creando una famiglia di obiettivi $J_{MaxRL}^{(T)}$ che interpolano tra RL ( $T=1$ ) e ML esatta ( $T \to \infty$ ).

Stima del Gradiente

Per stimare questi obiettivi troncati senza campionamento adattivo (che è computazionalmente costoso per bassi tassi di successo), gli autori propongono un semplice stimatore on-policy.

Campionamento: Per un dato input, campionare $N$ traiettorie $z_1, \dots, z_N$ dalla policy $m_\theta$ .
Condizionamento al Successo: Identificare le traiettorie di successo dove $f(z_i) = y^*(x)$ . Sia $K$ il conteggio dei successi.
Stimatore: Lo stimatore del gradiente media le funzioni di punteggio (score functions) ( $\nabla_\theta \log m_\theta(z_i|x)$ ) solo sulle traiettorie di successo, normalizzate per $K$ :
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{se } K \ge 1)$
dove $r_i$ è la ricompensa binaria e $S_i$ è lo score.
Riduzione della Varianza: Viene sottratta una variabile di controllo (lo score medio incondizionato) per ridurre la varianza, risultando nel seguente stimatore utilizzato nell'Algoritmo 1.

Intuizione Chiave: Il Teorema 2 stabilisce che questo stimatore è un stimatore non distorto (unbiased) per l'obiettivo ML troncato di ordine $T=N$ (o $T=N-1$ con sottrazione del baseline). Fondamentalmente, aumentare il numero di rollout $N$ non riduce solo la varianza di un obiettivo fisso; esso aumenta l'ordine di approssimazione dell'obiettivo stesso, avvicinando l'obiettivo di ottimizzazione alla vera Massima Verosimiglianza.

Implementazione

MaxRL richiede solo una modifica di una riga a implementazioni classiche di RL on-policy (come RLOO o GRPO). Invece di normalizzare l'advantage per il numero totale di campioni o la deviazione standard, l'advantage viene normalizzato per la ricompensa media (o il conteggio dei campioni di successo), riponderando efficacemente il segnale del gradiente per corrispondere all'obiettivo ML.

Contributi Chiave

Formalizzazione: Il documento formalizza l'RL basato sulla correttezza come un problema di Massima Verosimiglianza a generazione latente, dimostrando che il classico RL ottimizza solo l'approssimazione del primo ordine dell'obiettivo ML.
Obiettivi Indicizzati dal Calcolo: Introduce una famiglia di obiettivi che interpolano tra la ricompensa attesa e la ML esatta tramite un'espansione di Maclaurin in eventi pass@k, controllata dal budget di calcolo del campionamento.
Equivalenza Stimatore-Obiettivo: Fornisce un semplice stimatore on-policy non distorto dove l'aumento del numero di rollout $N$ migliora direttamente la fedeltà dell'approssimazione dell'obiettivo di verosimiglianza, anziché limitarsi a ridurre la varianza.
Validazione Empirica: Esperimenti estesi dimostrano che MaxRL domina Pareto rispetto ai metodi esistenti (RLOO, GRPO) attraverso varie scale e regimi di dati.

Risultati Sperimentali

Gli autori valutano MaxRL in quattro distinti regimi:

Ambiente Differenziabile Controllato (ImageNet): Quando la ML esatta (Cross-Entropy) è disponibile, MaxRL converge ad essa all'aumentare dei rollout. Al contrario, il classico REINFORCE non riesce a progredire da bassi tassi iniziali di successo anche con massicci budget di campionamento.
Regime di Dati Infiniti (Navigazione in Labirinto): In un contesto ricco di dati con 1M di labirinti unici, MaxRL scala significativamente meglio in termini di calcolo rispetto a GRPO e RLOO. Mentre altri metodi si stabilizzano, MaxRL continua a migliorare, mostrando un divario sostanziale tra pass@1 e pass@k, indicando una diversità mantenuta e potenziale di apprendimento.
Regime di Scarsità di Dati (GSM8K): Su un dataset fisso (GSM8K) addestrato per molti epoch, MaxRL dimostra una resistenza superiore all'overfitting. Mentre RLOO e GRPO soffrono di "degradazione pass@k" (perdita di diversità) e si stabilizzano precocemente, MaxRL mantiene il miglioramento su molti epoch, raggiungendo prestazioni di picco più elevate pur mantenendo la diversità dell'output.
Ragionamento su Larga Scala (Modelli Qwen3): Addestrando modelli da 1.7B e 4B parametri su compiti di ragionamento matematico, MaxRL domina Pareto rispetto a GRPO. Ottiene punteggi pass@1 più elevati migliorando simultaneamente il pass@k (copertura). Notevolmente, MaxRL produce guadagni di efficienza di scaling del tempo di test fino a 20 volte superiori rispetto a GRPO quando utilizza un verifier perfetto, poiché richiede meno campioni per raggiungere la stessa copertura.

Significato e Rivendicazioni

Il documento sostiene che MaxRL offre un'alternativa fondata al classico RL per compiti con ricompensa binaria. Il suo significato primario risiede nel riformulare i limiti dell'RL dei modelli di fondazione non come inerenti al processo di ottimizzazione o di campionamento, ma come conseguenza della scelta dell'obiettivo.

Dinamiche di Ottimizzazione: MaxRL concentra i segnali di apprendimento sui prompt più difficili (bassi tassi di successo), a differenza di GRPO e RLOO che possono spingere le distribuzioni verso gli estremi (0 o 1).
Scaling: MaxRL scala meglio sia con l'aggiunta di dati che con il calcolo. In contesti di scarsità di dati, evita il collasso della diversità spesso visto durante l'addestramento prolungato dell'RL.
Efficienza: Allineando l'obiettivo di addestramento con l'obiettivo del tempo di test (massimizzare la probabilità di trovare qualsiasi soluzione corretta tra $k$ campioni), MaxRL migliora drasticamente l'efficienza dell'inferenza.

Gli autori concludono che MaxRL è una direzione promettente per scalare l'RL in domini basati sulla correttezza, offrendo una via per recuperare i benefici dell'addestramento a Massima Verosimiglianza in contesti non differenziabili attraverso l'aumento del calcolo di campionamento.