GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

Riepilogo Tecnico: GRLO – Verso un Apprendimento per Rinforzo Generalizzabile in Ambienti a Apertura Libera da Zero

Enunciazione del Problema
I recenti progressi nel post-addestramento dei grandi modelli linguistici (LLM) si sono in gran parte biforcati in due paradigmi: l'Apprendimento per Rinforzo dal Feedback Umano (RLHF), che ottimizza le preferenze umane, e l'Apprendimento per Rinforzo da Ricompense Verificabili (RLVR), che ottimizza la correttezza in domini come la matematica e il codice. Sebbene l'RLVR abbia dimostrato efficienza e prestazioni superiori su compiti di ragionamento specifici, soffre di limitazioni significative: è computazionalmente costoso, fortemente dipendente da segnali di verità fondamentale verificabili e mostra una debole trasferibilità verso capacità conversazionali generali. Al contrario, l'RLHF standard richiede spesso dati su larga scala e specifici per il dominio e fatica a indurre capacità di ragionamento ampie senza tracce di ragionamento esplicite.

Il problema centrale affrontato da questo lavoro è il "divario di copertura del dominio": i metodi attuali si specializzano pesantemente in domini verificabili (perdendo la capacità di chat generale) o richiedono enormi budget computazionali per raggiungere capacità ampie. Inoltre, rimane incerto se l'apprendimento per rinforzo condotto in ambienti a apertura libera e non verificabili possa sbloccare capacità conversazionali generali che si trasferiscono implicitamente a compiti downstream di ragionamento e generazione di codice senza un successivo affinamento specifico per il dominio.

Metodologia: GRLO
Gli autori propongono GRLO (Apprendimento per Rinforzo Generalizzabile da Ambienti a Apertura Libera), una ricetta di addestramento che sposta il focus dall'ottimizzatore all'ambiente di addestramento. Piuttosto che introdurre un nuovo ottimizzatore algoritmico, GRLO applica un'ottimizzazione standard in stile RLHF (nello specifico PPO) su un piccolo pool curato di prompt a apertura libera.

• Ambiente di Addestramento: Gli autori costruiscono un pool di circa 5.000 prompt sintetici che coprono domini diversificati, cognitivamente esigenti e in gran parte non verificabili, tra cui analisi scientifica, sintesi argomentativa, spiegazione concettuale e ragionamento esteso. Un audit dei temi conferma che il pool non è centrato sulla matematica, ma copre politica, storia, biomedicina, tecnologia e scienze umane.
• Ottimizzazione: La politica è inizializzata da un modello base pre-addestrato (ad esempio, Qwen3-4B-Base) e ottimizzata utilizzando PPO con un modello di ricompensa appreso (Skywork-Reward-V2) e un obiettivo regolarizzato KL. Crucialmente, la distribuzione di addestramento ($D_{open}$) è composta da prompt a apertura libera dove la verifica esatta non è possibile, in contrasto con le distribuzioni verificabili ($D_{ver}$) utilizzate nell'RLVR.
• Ipotesi: L'ipotesi centrale è che l'ottimizzazione di un modello su un piccolo insieme di interazioni a apertura libera possa ridisegnare la sua distribuzione di output per sfruttare meglio le capacità pre-addestrate, migliorando così la capacità conversazionale generale che si trasferisce implicitamente a compiti downstream come il ragionamento matematico e la generazione di codice.

Principali Contributi

1. Rivalutazione dell'RL In-Domain: Il lavoro mette in discussione la necessità dell'addestramento RL in-domain come fonte primaria di trasferimento downstream, valutando se l'RL a apertura libera possa servire come alternativa pratica e leggera.
2. Generalizzazione Leggera: Gli autori dimostrano che una singola fase di RL a apertura libera (GRLO) può migliorare congiuntamente le prestazioni di ragionamento, generazione di codice e chat generale. Questo approccio raggiunge prestazioni aggregate comparabili a forti baseline RLVR in-domain ad alta intensità di risorse (come General-Reasoner), utilizzando significativamente meno dati (46 volte in meno) e potenza di calcolo (68 volte in meno).
3. Analisi Sistematica: Il lavoro fornisce un'analisi dettagliata dei comportamenti di scalabilità, del trasferimento cross-famiglia (tra architetture Qwen e Llama) e delle lunghezze delle risposte, chiarificando che i guadagni osservati non sono semplici artefatti di verbosità, ma derivano da una migliore qualità decisionale e organizzazione delle risposte.

Risultati Sperimentali
Gli autori hanno valutato GRLO su diversi backbones, inclusi Qwen3-4B, Qwen3-8B, Qwen2.5-3B e Llama3.2-3B.

• Prestazioni Qwen3-4B: Sul backbone Qwen3-4B, GRLO ha aumentato la prestazione media attraverso ragionamento (Math500, GPQA), generazione di codice (HumanEval, MBPP) e chat generale (AlpacaEval 2 LC) da una baseline di 24.1 a 63.1. Questo risultato quasi eguaglia il modello post-addestrato ufficiale Qwen3-4B (Non-Thinking) e supera la baseline General-Reasoner-4B sulle metriche aggregate, nonostante l'uso di una frazione delle risorse di addestramento.
• Guadagni Specifici: Rispetto al modello base, GRLO ha migliorato Math500 da 73.6 a 79.2, HumanEval da 6.1 a 84.8 e AlpacaEval 2 LC da 1.6 a 45.8.
• Coerenza Cross-Modello: Tendenze simili sono state osservate su Qwen3-8B (punteggio medio in aumento da 33.7 a 67.3) e Llama3.2-3B (in aumento da 21.5 a 39.3), indicando la robustezza del metodo attraverso diverse famiglie di modelli.
• Studi di Ablazione: Gli esperimenti hanno mostrato che l'uso di prompt matematici in-domain per l'RL (invece che a apertura libera) ha migliorato leggermente i punteggi di matematica ma ha degradato severamente il trasferimento alla chat. Analogamente, sostituire PPO con GRPO nell'impostazione a apertura libera ha prodotto risultati subottimali, confermando che la combinazione dell'ambiente a apertura libera e di PPO è critica.
• RLVR Supplementare: Una successiva fase di RLVR in-domain ha fornito guadagni marginali (ad esempio, aumentando la media da 63.1 a 63.2 su Qwen3-4B), con miglioramenti visibili principalmente su benchmark matematici competitivi più difficili (AIME). Ciò suggerisce che il trasferimento ampio è guidato dalla fase iniziale a apertura libera, mentre l'RLVR funge da raffinamento specializzato per compiti verificabili difficili.
• Efficienza: L'addestramento ha richiesto solo 5.000 prompt e 22.7 ore di GPU. L'analisi delle lunghezze di output ha rivelato che i modelli GRLO hanno prodotto risposte più brevi e di qualità superiore rispetto alle baseline che si affidavano a tracce di ragionamento verbose.

Significato e Affermazioni
Il lavoro afferma che GRLO offre una "ricetta semplice ed efficiente" per costruire modelli post-addestrati ampiamente capaci. Il suo significato principale risiede nel dimostrare che l'RL a apertura libera può recuperare una grande frazione dei guadagni ampi tipicamente attribuiti a pipeline di addestramento molto più pesanti e supportate da verificatori.

Gli autori sostengono che l'ambiente in cui viene applicato l'RL è un fattore più critico rispetto all'ottimizzatore specifico o alla scala dei dati. Spostando l'RL in un ambiente a apertura libera cognitivamente esigente, i modelli possono acquisire implicitamente capacità di ragionamento e codifica senza supervisione specifica per il dominio. Questo sfida la nozione prevalente secondo cui un ragionamento ad alte prestazioni richiede enormi budget RLVR specifici per il dominio, suggerendo invece che una fase di RL leggera e a apertura libera da "Zero" è sufficiente per sbloccare capacità generalizzabili. Il lavoro conclude che, sebbene una successiva fase di RLVR in-domain possa specializzare ulteriormente le prestazioni su benchmark difficili, il trasferimento ampio fondamentale è raggiunto attraverso l'interazione a apertura libera stessa.