Riepilogo Tecnico: ExpRL: Exploratory RL per il Mid-Training di LLM

1. Definizione del Problema

L'Apprendimento per Rinforzo (RL) è diventato un meccanismo standard per migliorare il ragionamento dei Large Language Model (LLM), in particolare per compiti con ricompense binarie sparse (ad esempio, la correttezza della risposta finale). Tuttavia, il successo dell'RL a ricompensa sparsa dipende criticamente dalla copertura del modello base: la massa di probabilità che il modello assegna a percorsi di ragionamento produttivi prima dell'inizio dell'addestramento.

Se un modello base campiona raramente passaggi intermedi utili o strategie di soluzione diversificate per problemi complessi, le ricompense sparse forniscono segnali di apprendimento insufficienti. Il modello può fallire nel superare i propri schemi di ragionamento iniziali, spesso subottimali. Le attuali strategie di mid-training per affrontare questo problema — come il Supervised Fine-Tuning (SFT) su tracce curate o l'auto-distillazione — spesso richiedono la specifica manuale di abilità o si affidano all'imitazione a livello di token. Questi approcci possono interrompere le capacità di ragionamento nativo del modello o non riuscire a generalizzare verso strategie di risoluzione di problemi più ampie, richieste per compiti combinatori o matematici difficili.

La sfida centrale è automatizzare il "priming" di un modello base per aumentare la sua copertura su percorsi di ragionamento produttivi (misurata come $pass@k$) senza fare affidamento sull'imitazione, creando così un'inizializzazione più forte per un successivo RL a ricompensa sparsa.

2. Metodologia: Exploratory RL (ExpRL)

ExpRL è un approccio di mid-training basato su RL on-policy che utilizza soluzioni di riferimento non come target di imitazione, ma come scaffold di ricompensa (reward scaffolds). Il metodo opera su un dataset di problemi difficili $\mathcal{D}_{mid}$ con associate soluzioni di riferimento $y^*$.

Principio di Design Core

Invece di esporre le soluzioni di riferimento alla policy come dimostrazioni (il che biaserebbe la policy verso l'imitazione), ExpRL nasconde i riferimenti alla policy. La policy campiona traiettorie $y$ esclusivamente a partire dal prompt del problema $x$. Un LLM judge confronta quindi la traiettoria campionata con il riferimento nascosto $y^*$ per assegnare ricompense dense. Ciò sfrutta il "gap di verifica-generazione", dove gli LLM sono spesso più bravi nel verificare il progresso parziale rispetto a un riferimento piuttosto che nel generare una soluzione corretta da zero.

Meccanismi di Ricompensa

ExpRL definisce due varianti di ricompense dense:

1. ExpRL-Outcome: Assegna un punteggio denso e graduato all'intero rollout basandosi sull'allineamento con la soluzione di riferimento. Il judge valuta l'intera traccia rispetto a una rubrica, fornendo feedback anche se la risposta finale è errata. Questo premia la correttezza parziale e le riduzioni intermedie utili.
2. ExpRL-Process: Assegna punteggi densi ai prefissi intermedi del rollout. Per migliorare l'attribuzione del credito (credit assignment), il metodo calcola gli advantage segmentali $A_t$. Un segmento riceve un advantage positivo solo se migliora l'allineamento del judge rispetto al prefisso precedente ($s_t - s_{t-1}$), incoraggiando la policy a costruire sul progresso intermedio e penalizzando la regressione.

Ottimizzazione

La policy $\pi_\theta$ è ottimizzata utilizzando l'RL on-policy (GRPO per le ricompense outcome, REINFORCE per le ricompense process) con un termine di regolarizzazione KL contro la policy base $\pi_0$. L'obiettivo massimizza la ricompensa densa attesa rimanendo entro uno spazio KL raggiungibile dal modello base:
$$\max_\theta \mathbb{E}_{(x, y^*) \sim \mathcal{D}_{mid}} \left[ \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} [R(x, y, y^*)] - \beta \text{KL}(\pi_\theta(\cdot|x) \| \pi_0(\cdot|x)) \right]$$

Applicazione a Valle (Downstream)

Dopo il mid-training, la policy "primed" funge da inizializzazione per una fase standard di RL a ricompensa sparsa (Stage-II) su un dataset a valle $\mathcal{D}'$. In questa fase, tutte le informazioni di riferimento vengono rimosse e il modello viene addestrato utilizzando solo ricompense binarie sulla risposta finale.

3. Contributi Chiave

• Costruzione Automatica della Copertura: ExpRL propone un metodo per ampliare automaticamente la copertura del modello su percorsi di ragionamento produttivi utilizzando le soluzioni di riferimento come scaffold di ricompensa anziché come target di imitazione.
• Scaffolding di Ricompensa Densa: Il lavoro introduce un meccanismo per convertire le soluzioni di riferimento in rubriche di valutazione dense e specifiche per il problema tramite un LLM judge, consentendo il rinforzo del progresso parziale e delle riduzioni intermedie che le ricompense sparse trascurano.
• Attribuzione del Credito a Livello di Processo: Utilizzando la punteggiatura basata sui prefissi e gli advantage a livello di segmento, ExpRL fornisce un feedback granulare sulla qualità dei passaggi di ragionamento, incoraggiando comportamenti come la decomposizione e l'auto-correzione.
• Validazione Empirica del Priming: Il lavoro dimostra che ExpRL produce un'inizializzazione superiore per l'RL a ricompensa sparsa a valle rispetto ai baseline di SFT, GRPO a ricompensa sparsa e auto-distillazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su compiti di ragionamento matematico impegnativi (AIME, HMMT, IMO-AnswerBench) e estesi a contesti misti (scienza, coding).

• Performance a Valle: I modelli inizializzati con ExpRL hanno raggiunto valori di $pass@1$e$pass@k$ più elevati sui benchmark di test dopo l'RL a ricompensa sparsa di Stage-II rispetto a tutti i baseline. Notevolmente, su AIME 2026, ExpRL-Process ha raggiunto un'accuratezza del 63,41%, superando il miglior baseline (GRPO) che si è attestato al 58,75%.
• Miglioramenti di Stage-I: Anche prima dell'RL a valle, i modelli con priming ExpRL hanno mostrato miglioramenti significativi in $pass@1$e$pass@16$ sulla distribuzione di mid-training, indicando che il metodo espande con successo l'insieme di problemi risolvibili che il modello può campionare.
• Cambiamenti Comportamentali: L'analisi dei comportamenti di ragionamento ha rivelato che ExpRL aumenta la frequenza di comportamenti orientati alla ricerca, come la verifica, l'auto-correzione e il backtracking, rispetto al modello base. Al contrario, l'SFT tende a ridurre i comportamenti di verifica.
• Scalabilità del Judge e dei Domini Misti:
  • ExpRL-Outcome ha avuto successo nell'migliorare una policy più grande da 8B utilizzando un judge più piccolo da 4B in domini matematici, scientifici e di coding, suggerendo che il judge non debba necessariamente eguagliare la scala della policy se è condizionato dal riferimento.
  • Limitazione nel Coding: ExpRL ha mostrato risultati misti sui compiti di coding (LiveCodeBench). Sebbene abbia migliorato la policy base, l'GRPO a ricompensa sparsa basata sull'esecuzione rimaneva più forte. Gli autori attribuiscono ciò al fatto che le ricompense nel coding dipendono fortemente dalla correttezza funzionale (esecuzione) piuttosto che dallo scaffolding della soluzione di riferimento, dove il progresso parziale è più difficile da definire tramite un percorso di riferimento.
• Affidabilità della Ricompensa: I test di calibrazione hanno confermato che il segnale di ricompensa densa dipende dalla presenza di un riferimento corretto e corrispondente al problema. Rimuovere il riferimento o utilizzare un riferimento errato ha degradato significativamente la capacità del judge di discriminare tra rollout corretti e errati.

5. Significato e Rivendicazioni

Il paper sostiene che ExpRL affronti il "collo di bottiglia dell'esplorazione" nell'RL per LLM spostando l'onere dell'esplorazione nella fase di mid-training. Premiare il progresso parziale e le diverse strategie di ragionamento tramite ricompense dense guidate dal riferimento, ExpRL costruisce un più forte "prior di esplorazione".

Gli autori sostengono che questo approccio sia superiore al mid-training basato sull'imitazione (SFT) perché evita le insidie del clonare tracce che il modello base potrebbe non generare naturalmente, il che può portare a shift distribuzionali e instabilità. Invece, ExpRL mantiene la policy sulla propria distribuzione, guidandola però verso regioni produttive dello spazio delle soluzioni.

Il lavoro posiziona ExpRL come un'interfaccia di priming generale che può essere combinata con altre strategie di esplorazione (ad esempio, la generazione guidata dai prefissi) e suggerisce che la chiave per scalare l'RL su problemi difficili risieda nell'assicurare che il modello base abbia una copertura sufficiente di percorsi di ragionamento produttivi prima che inizi l'ottimizzazione a ricompensa sparsa. Il paper rimane modesto, notando che il metodo richiede dati di riferimento ausiliari e che la sua efficacia varia a seconda del dominio (ad esempio, essendo meno critico per il coding dove è disponibile il feedback di esecuzione).