Riepilogo Tecnico: Non Solo Dove, Ma Quando: Programmazione Temporale per RLVR

Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un paradigma dominante per l'addestramento post-training dei Modelli Linguistici di Grande Dimensione (LLM), in particolare per i compiti di ragionamento. Tuttavia, gli approcci RLVR standard, come l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), tendono a trasmettere un'unica ricompensa scalare su tutta la sequenza generata. Ciò risulta in un segnale di ottimizzazione uniforme in cui tutti i token campionati partecipano equamente agli aggiornamenti della politica, trascurando i comportamenti della politica eterogenei manifestati lungo una traiettoria (ad esempio, impalcatura del ragionamento, connessioni logiche, riflessione e convergenza della risposta).

Le soluzioni esistenti tentano di affrontare questo problema introducendo meccanismi di allocazione del credito per determinare dove i segnali di apprendimento debbano essere distribuiti. Questi includono:

• Modelli di Ricompensa di Processo (PRM): Forniscono feedback a livello di passo (alto costo di annotazione).
• Proxy a livello di token: Utilizzano metriche come l'entropia del token, la verosimiglianza o la divergenza KL per ripesare i vantaggi o selezionare sottoinsiemi sparsi di token per l'ottimizzazione.

Il Limite Principale: Sebbene questi metodi identifichino token specifici da privilegiare, i criteri di allocazione rimangono stagnanti durante l'intero processo di addestramento. Una volta selezionato un proxy (ad esempio, alta entropia), il comportamento della politica corrispondente viene continuamente enfatizzato. Gli autori sostengono che questo approccio statico limiti l'evoluzione resiliente della politica e possa portare al sacrificio dell'entropia della politica nel tentativo di accomodare simultaneamente comportamenti diversi. Il lavoro ipotizza che la dimensione temporale—specificamente quando i segnali di apprendimento vengono programmati—sia stata sottoposta a esplorazione e sia critica quanto dove vengono allocati.

Metodologia

Il lavoro propone la Programmazione Temporale, un quadro che adatta dinamicamente i criteri di allocazione del credito nel corso dell'addestramento invece di fissarli.

1. Percentili di Traiettoria come Prospettiva Naturale

Invece di affidarsi esclusivamente a proxy complessi della politica, gli autori introducono il Punteggio Percentilico di Traiettoria (TP-Score) per distinguere i comportamenti della politica in base alla posizione del token.

• Analisi: L'analisi empirica rivela distribuzioni distinte dei token e profili di entropia attraverso le posizioni della traiettoria.
  • Percentili Iniziali: Associati all'impalcatura del ragionamento e a pattern vincolati; presentano entropia più bassa.
  • Percentili Centrali: Associati alla riflessione e al ragionamento critico; presentano la più alta entropia e comportamento esplorativo.
  • Percentili Successivi: Associati alla realizzazione della risposta e al riassunto; presentano entropia intermedia.
• Insight: I percentili di traiettoria forniscono un ancoraggio naturale e semplice per distinguere comportamenti eterogenei senza richiedere calcoli di proxy complessi.

2. Il Meccanismo di Programmazione Temporale

L'innovazione principale consiste nel programmare il fattore di allocazione del credito, $\hat{f}_t(\tau)$, come funzione del progresso dell'addestramento $\tau$.
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
Dove:

• $\hat{f}_t$ è il fattore di allocazione del credito originale derivato da metodi esistenti (ad esempio, ripesatura basata sull'entropia o selezione sparsa).
• $S(\tau)$ è una funzione di programma monotona decrescente che varia da 1 a 0.
• Strategia: L'ottimizzazione inizia privilegiando i token più mirati (ad esempio, quelli identificati dal proxy specifico o le posizioni successive della traiettoria) per rinforzare comportamenti specifici. Man mano che l'addestramento procede, i criteri si attenuano gradualmente, espandendo la portata dell'ottimizzazione per includere token più generali.

3. Integrazione con Paradigmi Esistenti

Il metodo è progettato come una sostituzione "drop-in" per le strategie di allocazione del credito esistenti:

• Ripesatura Continua del Vantaggio: Il peso $\psi(\mu_t)$ viene scalato per $S(\tau)$.
• Ottimizzazione Sparsa Discreta: La soglia di selezione $\epsilon$ viene rilassata dinamicamente: $\mu_t \geq S(\tau) \cdot \epsilon$. Questo include gradualmente più token nell'insieme di ottimizzazione nel tempo.

4. Programmazione dei Percentili di Traiettoria (TP-Schedule)

Gli autori propongono un'istanza specifica utilizzando direttamente i percentili di traiettoria:

• Inizializzazione: Concentrarsi esclusivamente sui token successivi (percentili alti) responsabili di una continuazione affidabile.
• Progressione: Incorporare gradualmente i token precedenti (percentili più bassi) responsabili dell'impalcatura del ragionamento.
• Formula: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$, dove $t/T$ è la posizione normalizzata. Ciò crea un cambiamento strutturato in cui l'ottimizzazione si propaga dalla fine della sequenza all'inizio.

Contributi Chiave

1. Identificazione della Dimensione Temporale: Il lavoro sostiene che il tempismo dell'allocazione del credito sia una dimensione di ottimizzazione critica e sottoposta a esplorazione. Sfida il paradigma di allocazione stagnante, proponendo che la programmazione dei criteri sui passi di addestramento porti a un'evoluzione della politica più resiliente.
2. Quadro di Programmazione Temporale: Un metodo generale per completare le tecniche esistenti di allocazione del credito (sia la ripesatura continua che l'ottimizzazione sparsa) privilegiando i token mirati all'inizio e attenuando gradualmente verso un'ottimizzazione generale.
3. Percentili di Traiettoria come Proxy Efficace: Gli autori identificano che i semplici percentili di traiettoria servono come criterio naturale ed efficace per distinguere i comportamenti della politica, funzionando in sinergia con la programmazione temporale per evitare il collasso dell'entropia osservato nei metodi standard.
4. Validazione Empirica: Dimostrato miglioramenti coerenti su molteplici scale di modello (Qwen3-4B, Qwen3-8B), algoritmi RL (GRPO, GSPO) e benchmark (ragionamento matematico e generale).

Risultati Sperimentali

Gli autori hanno valutato il loro metodo sui modelli Qwen3-4B e Qwen3-8B utilizzando dataset da OpenMathReasoning e DeepMath-103K. I benchmark includevano compiti matematici in-distribution (AIME, HMMT, Minerva) e compiti di ragionamento out-of-distribution (Winogrande, GPQA, MuSR).

• Guadagni di Prestazione:
  • TP-Schedule (utilizzando i percentili di traiettoria) ha superato il GRPO vanilla del 2,2% sui benchmark matematici e del 2,7% sui benchmark di ragionamento generale per il modello da 4B.
  • L'applicazione della programmazione temporale a metodi stagnanti esistenti (ad esempio, Entropy-Adv, Forking-Tok) ha prodotto miglioramenti coerenti, con la programmazione discreta (espansione di sottoinsiemi di token) che mostra un potenziale particolarmente forte.
  • Sono stati osservati miglioramenti su diverse dimensioni di modello e algoritmi RL (incluso GSPO).
• Dinamiche di Addestramento:
  • Preservazione dell'Entropia: L'ottimizzazione standard spesso sacrifica l'entropia della politica per accomodare comportamenti eterogenei. La programmazione temporale ha preservato un'entropia della politica significativamente più alta (oltre il 33,9% più alta in alcuni confronti) durante tutto l'addestramento, portando a dinamiche più sane.
  • Allineamento Strutturato: L'analisi della divergenza KL ha mostrato che la programmazione temporale induce uno spostamento progressivo negli aggiornamenti della politica, iniziando dai percentili successivi della traiettoria e propagandosi gradualmente a quelli precedenti, invece di aggiornare in modo uniforme.

Significato e Affermazioni

Il lavoro afferma che la programmazione temporale costituisce una promettente dimensione di ottimizzazione per RLVR. Il suo significato risiede in:

• Spostamento del Paradigma: Passare da un focus statico sul "dove" (selezione del token) a un focus dinamico sul "quando" (programmazione).
• Mitigazione del Collasso dell'Entropia: Evitando l'accomodamento simultaneo di tutti i comportamenti eterogenei, il metodo previene il rapido collasso dell'entropia della politica spesso osservato nel RLVR standard.
• Semplicità e Compatibilità: L'approccio si basa su semplici percentili di traiettoria ed è compatibile con le strategie esistenti di allocazione del credito, non richiedendo nuovi modelli di ricompensa complessi o costi di annotazione.

Gli autori concludono che, sebbene il quadro sia attualmente applicato a criteri di allocazione specifici, il lavoro futuro coinvolge l'orchestrazione di criteri di allocazione del credito diversi all'interno di questo quadro temporale. I risultati suggeriscono che il tempismo dei segnali di apprendimento è cruciale quanto la loro distribuzione spaziale sui token.