On the Optimal Reasoning Length for RL-Trained Language Models

Sintesi Tecnica: Sulla Lunghezza Ottimale del Ragionamento per i Modelli Linguistici Addestrati con RL

Definizione del Problema
L'apprendimento per rinforzo (RL) applicato durante il post-training ha migliorato significativamente le capacità di ragionamento dei grandi modelli linguistici (LLM), in particolare attraverso l'estensione della generazione di catene di pensiero (Chain-of-Thought, CoT). Tuttavia, un effetto collaterale critico è che i modelli addestrati con RL tendono a produrre output sempre più verbiose, aumentando sia i costi di addestramento che di inferenza. Sebbene la letteratura recente abbia proposto vari metodi di controllo della lunghezza per penalizzare la generazione eccessiva, la precisa relazione tra la lunghezza dell'output e l'accuratezza del ragionamento rimane poco chiara. Nello specifico, non è noto se la relazione non monotona tra lunghezza del ragionamento e correttezza — precedentemente osservata in interventi test-time su modelli fissi — si manifesti anche in policy addestrate con RL che differiscono solo per le loro configurazioni di controllo della lunghezza. Inoltre, il meccanismo sottostante che guida la degradazione dell'accuratezza nei regimi di output lunghi non è stato pienamente scomposto.

Metodologia
Gli autori hanno condotto uno studio empirico controllato per investigare la relazione lunghezza–accuratezza attraverso molteplici modelli e task.

• Modelli e Task: Gli esperimenti sono stati eseguiti su tre modelli: DeepSeek-R1-Distill-Qwen-1.5B, Qwen3-1.7B e Qwen3-4B-Base. I task includevano il ragionamento matematico (benchmark: AIME 2024, AIME 2025, AMC, MATH-500) e la generazione di codice (HumanEval, MBPP+).
• Configurazione dell'Addestramento: L'addestramento ha seguito il framework DAPO con modifiche: la modellazione della ricompensa per l'eccesso di lunghezza (overlong reward shaping) è stata disabilitata per isolare gli effetti di specifici metodi di controllo della lunghezza, e le dimensioni dei mini-batch PPO sono state impostate uguali alle dimensioni del batch di generazione per aggiornamenti completamente on-policy.
• Metodi di Controllo della Lunghezza: Lo studio ha confrontato diverse strategie di controllo della lunghezza attraverso la scansione (sweep) dei loro iperparametri primari per generare una famiglia di policy con diverse lunghezze medie di output. I metodi includevano:
  • Baseline: Sample Avg (GRPO) e Token Avg (DAPO), che normalizzano i gradienti senza penalità esplicite sulla lunghezza.
  • Penalità Esplicite: RLOO-LP (modellazione della ricompensa basata sulla lunghezza), ALP (penalità di lunghezza basata sull'accuratezza) e DRPO (pesatura basata sulla lunghezza all'interno del framework DisCO).
• Metriche di Valutazione: Oltre alla classica accuratezza del campione, gli autori hanno introdotto una decomposizione della distribuzione delle risposte:
  • Accuratezza della Moda (Mode Accuracy): La frazione di problemi in cui la risposta campionata più frequentemente (la moda) è corretta. Misura la correttezza del centro della distribuzione.
  • Leakage della Moda (Mode Leakage): La frazione media di campioni che cadono al di fuori del gruppo modale. Misura la dispersione dei campioni attorno al centro.

Risultati Chiave

1. Relazione Lunghezza-Accuratezza Non Monotona: In tutti i modelli, benchmark e metodi di controllo della lunghezza, l'accuratezza del campione è non monotona rispetto alla lunghezza media dell'output. L'accuratezza aumenta inizialmente con la lunghezza, raggiunge un picco a un valore intermedio e poi si stabilizza o declina man mano che la lunghezza aumenta ulteriormente. Questo schema si mantiene sia per il ragionamento matematico che per la generazione di codice.
2. Divergenza tra Accuratezza della Moda e del Campione: Un risultato critico è la divergenza tra l'accuratezza della moda e l'accuratezza del campione nei regimi di output lunghi. Mentre l'accuratezza del campione declina o si satura, l'accuratezza della moda continua a migliorare all'aumentare della lunghezza dell'output. Ciò indica che il "centro" della distribuzione delle risposte diventa più corretto anche quando i singoli campioni diventano meno affidabili.
3. Meccanismo di Degradazione: Il declino dell'accuratezza del campione alle lunghezze elevate è guidato dall'aumento della dispersione (mode leakage). Nel regime di output lungo, i campioni si allontanano ulteriormente da una moda centrale che è sempre più corretta. L'effetto netto è che i guadagni derivanti da un centro più accurato sono infine compensati dalla perdita di concentrazione dei campioni.
4. Dispersione a Forma di U: Il leakage della moda mostra una relazione a forma di U con la lunghezza in diverse configurazioni. A lunghezze brevi, il leakage è elevato a causa della mancanza di convergenza su una risposta dominante. Alle lunghezze ottimali, il leakage è minimizzato. Alle lunghezze eccessive, il leakage aumenta nuovamente poiché i campioni si disperdono attorno a una moda corretta ma meno concentrata.

Contributi Chiave

• Generalizzazione della Non-Monotonicità: Il paper dimostra che la relazione non monotona tra la lunghezza dell'output e l'accuratezza, precedentemente documentata per gli interventi test-time su modelli fissi, emerge anche attraverso un confronto controllato di policy addestrate con RL che spaziano su molteplici modelli, benchmark e metodi di controllo della lunghezza.
• Decomposizione della Distribuzione delle Risposte: Gli autori decompongono la distribuzione delle risposte nella correttezza del suo centro (accuratezza della moda) e nella dispersione dei campioni (leakage della moda). Dimostrano che output più lunghi migliorano il primo elemento mentre aumentano il secondo, fornendo una spiegazione meccanicistica alla sorprendente divergenza tra accuratezza della moda e accuratezza del campione.

Significatività e Rivendicazioni
Il paper sostiene di risolvere l'ambiguità riguardante l'efficacia del controllo della lunghezza nei modelli di ragionamento addestrati con RL. Stabilisce che estendere semplicemente il ragionamento non migliora uniformemente le prestazioni; esiste una lunghezza intermedia ottimale. Lo studio chiarisce che la degradazione delle prestazioni alle lunghezze eccessive non è dovuta al fatto che il modello apprenda percorsi di ragionamento errati (il centro rimane corretto o migliora), ma piuttosto al fatto che il modello diventa meno fiducioso o meno consistente nel suo campionamento (aumento della dispersione).

Gli autori concludono che la forza della penalità ottimale per il controllo della lunghezza varia tra i metodi e i modelli, suggerendo la necessità di lavori futuri per sviluppare metodi automatizzati per identificare il regime di lunghezza ottimale senza ricerca manuale degli iperparametri. Il lavoro non propone nuovi algoritmi di controllo della lunghezza, ma fornisce piuttosto un framework diagnostico per comprendere i compromessi inerenti agli attuali metodi.