💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL introduce un algoritmo di apprendimento per rinforzo di tipo GFlowNet scalabile e stabile per i grandi modelli linguistici che elimina la necessità di una funzione di partizione appresa utilizzando stime Monte Carlo in batch e stabilizzatori specializzati, raggiungendo prestazioni allo stato dell'arte su benchmark di matematica, codice e avversari su architetture sia dense che sparse fino a 235B di parametri.

Autori originali: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Pubblicato 2026-07-16

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a uno studente brillante e velocissimo come risolvere i puzzle più difficili del mondo, dai complessi problemi matematici alla scrittura di codice informatico che non crasha mai. Nel mondo dell'intelligenza artificiale, questo studente è un "Large Language Model" (LLM), e il metodo che usiamo per insegnargli si chiama Reinforcement Learning. Immaginalo come un videogioco in cui l'IA riceve punti (premi) per fare la cosa giusta. Per molto tempo, la strategia standard è stata quella di agire come un giocatore avido: "Trova l'unica mossa che dà più punti proprio ora, e fai quella ripetutamente". Questo funziona bene, ma ha un difetto. È come uno studente che memorizza un modo specifico per risolvere un problema di matematica e si rifiuta di provare qualsiasi altro metodo, anche se quell'altro metodo fosse altrettanto buono. Diventa "incastrato" in un modo di pensare, perdendo la creatività e la varietà necessarie per gestire situazioni nuove e complicate.

Per risolvere questo problema, gli scienziati hanno recentemente provato un approccio diverso chiamato "Generative Flow Networks" (GFlowNets). Invece di limitarsi a caccia alla singola mossa migliore, questo metodo insegna all'IA a esplorare tutte le buone mosse, dando loro la possibilità di essere utilizzate in base a quanto funzionano bene. È come dire allo studente: "Prova ogni percorso valido attraverso il labirinto, non solo quello che sembra il più veloce". L'obiettivo è creare un pensatore diversificato e flessibile. Tuttavia, cercare di scalare questo approccio su modelli di IA massicci e super intelligenti è stato un incubo. Gli strumenti che gli scienziati avevano costruito per far sì che ciò funzionasse erano così complicati e instabili che spesso causavano il crash dell'IA o impedivano l'apprendimento, specialmente quando i modelli diventavano enormi o i compiti diventavano disordinati.

Questo articolo, intitolato "GFlowRL", affronta esattamente questo mal di testa. Gli autori hanno scoperto che la parte più complicata della vecchia ricetta per il "pensiero diversificato" era proprio il problema stesso. Hanno scoperto che uno strumento matematico specifico, che avrebbe dovuto aiutare a bilanciare l'apprendimento dell'IA, agiva più come una radio rumorosa e rotta che come una guida utile. Buttando via quello strumento rotto e sostituendolo con un calcolo molto più semplice e immediato, hanno creato un nuovo metodo chiamato GFlowRL. Questo nuovo approccio è stabile, veloce e sorprendentemente efficace. Permette a massicci modelli di IA di apprendere strategie di risoluzione dei problemi diverse senza andare in crash, anche sulle sfide matematiche e di programmazione più difficili. Infatti, il loro nuovo metodo ha superato i precedenti detentori di record, raggiungendo un livello di abilità nella programmazione competitiva che rivaleggia con i migliori sistemi di IA attualmente disponibili, mantenendo al contempo il processo di addestramento fluido e costante.

Il Probleo: Il "Calcolatore Magico" che ha Rotto Tutto

Per comprendere la svolta, dobbiamo prima guardare al vecchio modo di fare le cose. Quando i ricercatori cercavano di insegnare all'IA a essere diversificata usando le GFlowNets, si affidavano a un "calcolatore" speciale (tecnicamente chiamato funzione di partizione) per aiutare a bilanciare i premi. Immagina di essere un insegnante che cerca di valutare una classe di 1.000 studenti. Vuoi assicurarti che se uno studente trova una soluzione intelligente e unica, riceva il merito, ma devi anche assicurarti che i voti non siano così alti da far rompere l'intero sistema.

Il vecchio metodo cercava di costruire un nuovo, minuscolo modello di IA solo per fungere da questo calcolatore. Il problema era che questo minuscolo calcolatore doveva imparare da zero mentre il gigante studente (l'IA principale) era già un genio. Era come chiedere a un bambino che cammina per imparare a gestire il budget di un'azienda da miliardi di dollari mentre il CEO prende decisioni. Il bambino (il calcolatore) si sarebbe confuso, avrebbe urlato numeri casuali e avrebbe causato il panico in tutto il sistema. I ricercatori hanno scoperto che questo "calcolatore" stava in realtà facendo più danni che benefici. Era così instabile da far esplodere il processo di apprendimento dell'IA con errori, e in molti casi, l'IA non imparava nulla di meglio rispetto a se il calcolatore fosse stato semplicemente sostituito con del rumore casuale.

La Soluzione: Abbandona il Calcolatore, Usa il Gruppo

Gli autori di GFlowRL si sono posti una domanda semplice e audace: "Abbiamo davvero bisogno di questo calcolatore rotto?".

Si sono resi conto che l'IA stava già facendo il lavoro che il calcolatore avrebbe dovuto fare. Quando l'IA si esercita, non prova solo una risposta; prova un intero gruppo di risposte contemporaneamente (come un gruppo di discussione). I ricercatori hanno notato che potevano semplicemente guardare il gruppo di risposte che l'IA aveva già generato per capire il bilanciamento di cui avevano bisogno. Invece di costruire una macchina separata e fragile per fare la matematica, hanno semplicemente usato i dati che avevano davanti.

Pensatelo in questo modo: invece di assumere un contabile separato e nervoso per dirvi quanto ha guadagnato la squadra, guardate semplicemente le ricevute che la squadra vi ha appena consegnato. È la stessa informazione, ma è immediata, è reale e non richiede una nuova, costosa macchina che potrebbe rompersi.

Questo semplice passaggio — sostituire il complesso calcolatore appreso con una stima rapida e sul momento dal gruppo — ha cambiato tutto.

Stabilità: Gli errori selvaggi ed esplosivi sono scomparsi. L'addestramento è diventato fluido come i metodi standard utilizzati oggi.
Semplicità: Non hanno avuto bisogno di addestrare un secondo modello extra. Ciò ha fatto risparmiare una enorme quantità di potenza di calcolo e di tempo.
Prestazioni: Sorprendentemente, l'IA non si è solo fermata ai crash; è diventata migliore.

I Risultati: Dal Crash alla Vittoria

Il team ha testato questo nuovo metodo, GFlowRL, su alcune delle sfide più difficili per l'IA:

Matematica: Hanno addestrato i modelli su difficili competizioni matematiche. Il nuovo metodo ha aiutato l'IA a risolvere più problemi di qualsiasi metodo precedente che cercasse di incoraggiare la diversità.
Coding: Lo hanno testato su siti di programmazione competitiva come Codeforces. Un modello da 14 miliardi di parametri addestrato con GFlowRL ha raggiunto un rating di 2048. Per dare un contesto, questo è un livello di abilità incredibilmente alto, che batte i precedenti record open-source e si avvicina di soli 25 punti ai migliori sistemi di IA closed-source (o3-mini) disponibili.
Sicurezza (Red Teaming): Hanno anche testato il metodo sul "red-teaming", ovvero un modo per cercare di rompere le regole di sicurezza dell'IA per vedere se reggono. In questo ambiente rumoroso e disordinato in cui i metodi precedenti fallivano completamente, GFlowRL ha avuto successo, ottenendo il tasso di successo più alto nell'attaccare i filtri di sicurezza, dimostrando di poter apprendere strategie complesse e diverse anche quando il feedback era confuso.

Forse la parte più impressionante è stata quanto bene sia scalato. Quando hanno provato a usare questo metodo su massicci modelli "Mixture of Experts" (MoE) — sistemi di IA con centinaia di miliardi di parametri — i metodi precedenti sono crashati immediatamente. GFlowRL, invece, ha continuato a funzionare perfettamente, anche su un modello con 235 miliardi di parametri.

Perché Questo è Importante

Il grande insegnamento qui non è solo che hanno costruito un miglior addestratore di IA; è che hanno capito che il modo "migliore" di fare le cose non è sempre il più complicato. Eliminando le parti inutilarie e instabili della vecchia ricetta, hanno trovato una strada che è sia più semplice che più potente.

GFlowRL suggerisce che per rendere l'IA veramente intelligente e diversificata, non abbiamo bisogno di aggiungere ulteriori strati di macchinari complessi. A volte, il modo migliore per insegnare a uno studente super intelligente è smettere di sovra-ingegnerizzare il piano di lezione e lasciare semplicemente che impari dal gruppo di idee che sta già generando. Si è scoperto che la chiave per scalare il ragionamento dell'IA non era aggiungere più strumenti, ma sapere esattamente quali strumenti buttare via.

Riepilogo Tecnico: GFlowRL

Definizione del Problema

L'Apprendimento per Rinforzo (RL) è diventato il paradigma standard per il post-training dei grandi modelli linguistici (LLM), in particolare per compiti di ragionamento come la matematica e la programmazione. Tuttavia, gli approcci RL dominanti (ad es., PPO, GRPO) sono fondamentalamente orientati alla massimizzazione della ricompensa. Essi concentrano la massa di probabilità sull'unico modo con la ricompensa più elevata, portando al collasso del modo (mode collapse) e a una riduzione della diversità delle soluzioni. Questo è strutturalmente limitante per il ragionamento chain-of-thought, dove la generalizzazione e la robustezza dipendono dalla copertura di molteplici percorsi di soluzione validi.

Le Generative Flow Networks (GFlowNets) offrono un'alternativa apprendendo politiche che campionano traiettorie in proporzione alla loro ricompensa, ovvero emulando la distribuzione della ricompensa piuttosto che massimizzarla. Recenti tentativi di applicare le GFlowNets agli LLM (ad es., FlowRL, FOR) utilizzano un obiettivo di Bilancio della Traiettoria (Trajectory Balance - TB). Questo obiettivo richiede la stima di una funzione di partizione $Z(x)$ , tipicamente implementata come una rete ausiliaria appresa (ad es., un MLP) condizionata dal prompt.

Il documento identifica un collo di bottiglia critico nella scalabilità: nel contesto del post-training degli LLM moderni, l'addestramento congiunto di una rete di partizione inizializzata casualmente insieme a una massiccia politica pre-addestrata è instabile. La politica richiede solo un modesto affinamento, mentre la funzione di partizione deve apprendere una quantità complessa da zero nello stesso breve orizzonte temporale di addestramento. Questa asimmetria causa il fatto che la funzione di partizione appresa agisca come una fonte di rumore e instabilità del gradiente anziché come un utile normalizzatore, portando spesso alla divergenza dell'addestramento, specialmente in regimi a ricompensa sparsa (ad es., red-teaming avversariale) e su architetture sparse (Mixture-of-Experts, o MoE).

Metodologia: GFlowRL

Gli autori propongono GFlowRL, un algoritmo di tipo GFlowNet semplificato che elimina completamente la funzione di partizione appresa, preservando l'obiettivo di matching della distribuzione della ricompensa.

Intuizione Centrale

Attraverso un'analisi sistematica, gli autori dimostrano che la funzione di partizione appresa $Z_\phi(x)$ contribuisce in modo trascurabile all'aggiornamento della politica. Empiricamente, sostituire la $Z_\phi$ appresa con rumore casuale produce prestazioni comparabili, eppure la versione appresa introduce gradienti con norme di ordini di grandezza superiori e frequenti esplosioni del gradiente.

L'Algoritmo

GFlowRL sostituisce la $Z_\phi(x)$ appresa con una semplice stima Monte Carlo in-batch calcolata direttamente dal gruppo di rollout già richiesto per l'addestramento (simile alla normalizzazione relativa al gruppo in GRPO).

Stimatore In-Batch: Per un prompt $x$ e un gruppo di $G$ rollout $\{y^{(1)}, \dots, y^{(G)}\}$ , la stima per $\log Z(x)$ è calcolata come la media dei target TB attraverso il gruppo:
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
Questo stimatore funge da baseline stop-gradient. Centra il residuo ma non trasporta alcun proprio gradiente, eliminando la necessità di una rete ausiliaria e del suo stato dell'ottimizzatore.
Stabilizzatori: Per garantire la stabilità, GFlowRL incorpora due meccanismi chiave:
- Correzione per Campionamento Importante (Importance-Sampling): Corregge la deriva tra la politica di rollout ( $\pi_{old}$ ) e la politica corrente ( $\pi_\theta$ ).
- Clipping Asimmetrico del Gap di Flusso (Asymmetric Flow-Gap Clipping): Il gap di flusso (il residuo prima del termine di aggiornamento della politica) è tagliato asimmetricamente. Ciò consente correzioni verso l'alto più aggressive per le soluzioni corrette sotto-campionate, pur limitando gli aggiornamenti negativi, evitando che i rollout anomali destabilizzino l'addestramento.
Funzione di Perdita: La perdita finale minimizza il quadrato del residuo del gap di flusso, normalizzato per la lunghezza della risposta per evitare che le sequenze lunghe dominino il gradiente.

Contributi Chiave

Identificazione della Fonte di Instabilità: Il documento identifica la funzione di partizione appresa $Z_\phi$ come la primaria fonte di instabilità nell'RL basato su GFlowNet per gli LLM. Fornisce prove empiriche del fatto che $Z_\phi$ offre quasi nessun beneficio per il post-training e introduce invece sfide di ottimizzazione non necessarie.
Algoritmo GFlowRL: La proposta di un algoritmo snello che sostituisce la rete di partizione appresa con uno stimatore Monte Carlo in-batch. Ciò rimuove la rete ausiliaria e il relativo overhead di addestramento distribuito, mantenendo il punto fisso dell'obiettivo di bilancio della traiettoria.
Scalabilità Stabile: Dimostrazione di un addestramento stabile sia su architetture dense che sparse (MoE), inclusi i regimi in cui i metodi precedenti (FlowRL) divergono.

Risultati Sperimentali

Gli autori valutano GFlowRL su benchmark di ragionamento matematico, programmazione competitiva e red-teaming avversariale utilizzando modelli che vanno da 7B a 235B di parametri.

Ragionamento Matematico: Sul modello denso da 7B, GFlowRL raggiunge un'accuratezza media di 40.92, superando GRPO (32.48) e FlowRL (35.63). Supera inoltre FlowRL sul modello da 32B.
Generazione di Codice: Alla scala di 14B, GFlowRL raggiunge un rating Codeforces di 2048, eccedendo DeepCoder-14B (+112 Elo), FlowRL-14B (+144 Elo) e OpenAI o1 (+157 Elo). Si colloca entro 25 Elo da o3-mini.
Red-Teaming Avversariale: In regimi di ricompensa rumorosa in cui FlowRL fallisce nel convergere, GFlowRL si addestra stabilmente. Raggiunge il più alto Attack Success Rate medio (ASR@1) su AdvBench (82.5%) e HarmBench (79.5%), superando il precedente SOTA per attaccanti multi-turno (SEMA).
Scalabilità MoE: GFlowRL si addestra con successo su Qwen3-30B-A3B (3B parametri attivi) e Qwen3-235B-A22B (22B parametri attivi). Sul modello da 30B, raggiunge un Elo Codeforces di 1999. Al contrario, FlowRL diverge su tutti i benchmark MoE testati.
Diversità: GFlowRL raggiunge un punteggio di diversità di 3.93 (su una scala 1-5), significativamente più alto di GRPO (1.21) e FlowRL (2.64), confermando la sua capacità di mantenere percorsi di ragionamento diversificati.

Significato e Rivendicazioni

Il documento afferma che GFlowRL è il primo algoritmo di RL in stile GFlowNet capace di scalare stabilmente sia su architetture dense che sparse per grandi modelli di ragionamento.

Gli autori sostengono che il collo di bottiglia della scalabilità per l'RL di tipo GFlowNet non sia l'obiettivo di bilancio della traiettoria in sé, ma la funzione di partizione appresa. Sostituendo questo componente con un semplice stimatore non appreso derivato dal gruppo di rollout, GFlowRL ottiene i benefici del matching della distribuzione (diversità, robustezza) senza l'overhead ingegneristico e l'instabilità delle reti ausiliarie. Ciò suggerisce che la scalabilità dell'RL in stile GFlowNet ai modelli di frontiera dipenda meno dall'aggiunta di macchinari complessi e più dall'identificazione e rimozione di componenti non necessari dall'obiettivo originale.