💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Questo articolo dimostra che un eccessivo Supervised Fine-Tuning (SFT) può comprimere la distribuzione dei rollout, causando un collasso dell'entropia che porta all'inversione del rango e al degrado delle prestazioni nel successivo addestramento tramite Group Relative Policy Optimization (GRPO), un modo di fallimento che può essere previsto e mitigato monitorando l'entropia pre-RL e la dinamica iniziale del GRPO.

Autori originali: Siddharth Aphale, Kelly Liu

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Siddharth Aphale, Kelly Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: La trappola della "Perfezione Eccessiva"

Immaginate di stare addestrando un robot a scrivere codice. La ricetta standard prevede due passaggi:

Fine-Tuning Supervisionato (SFT): Mostrate al robot migliaia di esempi di codice corretto affinché impari i pattern.
Apprendimento per Rinforzo (RL): Lasciate che il robot provi a risolvere nuovi problemi da solo. Se ci riesce, riceve un premio (una ricompensa); se fallisce, non riceve nulla.

Il Problema: Il paper ha scoperto che se addestrate il robot troppo nel Passaggio 1 (Overtraining dell'SFT), questo diventa effettivamente peggio nel Passaggio 2.

Di solito pensiamo: "Più esempi il robot memorizza nel Passaggio 1, meglio sarà". Gli autori hanno scoperto l'opposto: il robot che memorizza di più nel Passaggio 1 è in realtà quello che performa peggio nel Passaggio 2. Infatti, il robot che memorizza meno finisce per essere il campione.

La Metafora: Il Ballerino Rigido vs Il Ballerino Flessibile

Per capire perché accade questo, immaginateate due ballerini che si preparano per una competizione dove devono improvvisare una coreografia basata su musica casuale.

Il Ballerino "Sovra-addestrato" (SFT Profondo): Questo ballerino ha praticato le stesse 10 coreografie perfette migliaia di volte. È incredibilmente preciso. Ma quando la musica cambia, si blocca. Conosce solo quelle 10 mosse. Non ha idea di come muoversi in nessun altro modo.
Il Ballerino "Giusto quanto basta" (SFT Superficiale): Questo ballerino ha praticato le basi ma ha mantenuto il corpo sciolto e flessibile. Conosce le regole, ma può ancora ondeggiare, torcersi e provare cose nuove quando la musica cambia.

La Competizione (RL):
La competizione richiede ai ballerini di provare molte mosse diverse contemporaneamente per vedere quale funziona meglio.

Il Ballerino Sovra-addestrato prova a fare la stessa identica mossa perfetta ogni volta. Poiché sono tutte uguali, i giudici (l'algoritmo) non riescono a capire quale mossa sia migliore. Il ballerino rimane bloccato e non riesce a imparare nulla di nuovo.
Il Ballerino Flessibile prova una grande varietà di mosse. I giudici possono dire: "Ah, questa mossa ha funzionato, quella no!" e il ballerino impara rapidamente.

Il "Perché" Tecnico: Il Collasso dell'Entropia

Il paper usa una parola sofisticata per indicare "varietà" o "flessibilità": Entropia.

Collasso dell'Entropia: Quando il robot è sovra-addestrato, la sua "mente" diventa troppo stretta. Smette di esplorare diverse possibilità e si limita a ripetere le stesse poche risposte. In termini tecnici del paper, la sua entropia collassa.
Il Segnale Muore: L'algoritmo di apprendimento (chiamato GRPO) funziona confrontando risposte diverse. Se il robot dà la stessa risposta 8 volte di seguito, l'algoritmo si confonde. Non può calcolare un "gradiente" (una direzione per migliorare) perché non c'è differenza da confrontare. È come cercare di sterzare un'auto quando il volante è bloccato dritto davanti a sé.
L'Inversione del Ranking: Questo porta a un risultato bizzarro chiamato Inversione del Ranking.
- Prima della seconda fase di addestramento, il robot sovra-addestrato sembra un genio (ottiene la risposta corretta il 100% delle volte nel test di pratica).
- Dopo la seconda fase di addestramento, diventa un disastro.
- Nel frattempo, il robot "meno perfetto", che all'inizio sembrava leggermente peggiore, diventa la superstar.

I Due Modelli: Una Storia di Due Città

Gli autori hanno testato questo su due diversi cervelli robotici (modelli):

Qwen (La Vittima): Questo modello è caduto nella trappola. Più lo addestravano nel Passaggio 1, più diventava rigido. Il checkpoint "migliore" (con il punteggio più alto) si è rivelato essere il punto di partenza peggiore per la fase successiva.
DeepSeek (Il Sopravvissuto): Questo modello era naturalmente più flessibile. Anche dopo un addestramento pesante, non è diventato rigido. È rimasto nella "zona sicura" dove poteva ancora imparare. Questo ha dimostrato che il problema non era la seconda fase di addestramento in sé, ma specificamente come la prima fase avesse rovinato la flessibilità del modello Qwen.

La Soluzione: Un Controllo in Due Fasi

Gli autori non si sono limitati a trovare il problema; hanno costruito uno strumento diagnostico per individuarlo prima di sprecare tempo e denaro.

Fase 1: Il Test di "Stretching" (Entropia Pre-RL): Prima di iniziare la seconda fase di addestramento, controllano quanto la mente del robot sia "sciolta". Se il robot è troppo rigido (bassa entropia), lo segnalano come ad alto rischio.
Fase 2: Monitoraggio di "Allerta Precoce": Se iniziano la seconda fase, osservano i primi minuti. Se il robot smette di provare cose nuove e inizia immediatamente a ripetersi, interrompono l'addestramento per risparmiare risorse.

Cosa Non Ha Funzionato?

Gli autori hanno provato a riparare il robot rotto con trucchi standard, come:

Aggiungere una penalità: "Non deviare troppo dal tuo addestramento originale". (Questo lo ha reso peggio).
Levigare le etichette (Smoothing): "Sii un po' meno sicuro delle tue risposte". (Questo ha fatto sembrare il robot di nuovo sicuro di sé, ma ha fallito comunque la competizione).

La Conclusione: Non puoi riparare un ballerino rigido dicendogli di "impegnarsi di più" durante la competizione. Devi smettere di addestrarlo in modo così rigido fin dall'inizio. Il paper dimostra che la varietà (entropia) è più importante della perfezione quando vuoi che un modello continui a imparare.

Sintesi Tecnica: L'overtraining dell'SFT predice l'inversione del ranking tramite il collasso dell'entropia sotto RLVR

Problema
L'euristica standard per il Reinforcement Learning con Verifiable Rewards (RLVR) nella generazione di codice prevede la selezione del checkpoint di Supervised Fine-Tuning (SFT) con il punteggio pass@1 più alto per inizializzare la fase di RL (ad esempio, GRPO). Questo articolo dimostra che tale euristica fallisce quando l'overtraining dell'SFT comprime la distribuzione di rollout del modello. Nello specifico, un prolungato SFT porta al "collasso dell'entropia", dove la diversità dell'output del modello diminuisce al punto che l'algoritmo di RL non può generare un segnale di gradiente significativo. In questo regime, la selezione del checkpoint con il pass@1 più alto identifica sistematicamente il peggior inizializzatore per l'RL, determinando una "inversione del ranking" in cui i checkpoint con SFT meno profondi superano quelli con SFT più profonda dopo l'addestramento RL.

Metodologia
Lo studio isola la durata dell'SFT come l'unica variabile indipendente attraverso due famiglie di modelli: Qwen2.5-Coder-3B-Base e DeepSeek-Coder-6.7B-Base.

Configurazione Sperimentale: Entrambi i modelli sono stati sottoposti a fine-tuning su 5.000 problemi di media difficoltà dal dataset KodCode-V1. I checkpoint sono stati selezionati a diverse profondità di SFT (da 1.0 a 5.8 epoche per Qwen; da 1.0 a 9.6 epoche per DeepSeek).
Addestramento RL: Tutti i checkpoint hanno subito un addestramento GRPO identico (400 step, dimensione del gruppo $g=8$ , reward binario di correttezza) su un dataset di test.
Metriche: Le prestazioni sono state misurate tramite pass@1 e pass@10 (utilizzando uno stimatore non distorto) su un sottoinsieme congelato di 40 problemi HumanEval+. Fondamentalmente, gli autori hanno monitorato l'entropia pre-RL (entropia media del next-token a $T=1.0$ ) e l'entropia durante l'addestramento per diagnosticare il collasso della distribuzione.
Interventi: Per testare se il fallimento fosse un artefatto degli iperparametri, gli autori hanno applicato una penalità KL alla policy di riferimento durante GRPO e lo smoothing delle etichette (label smoothing) durante l'SFT per ripristinare artificialmente l'entropia.

Contributi Chiave

Soglia Teorica per il Collasso del Gradiente: Gli autori derivano che, per reward binari, la varianza attesa del vantaggio intra-gruppo è $E[\sigma^2_G] = p(1-p)(g-1)/g$ . Identificano una soglia critica $p^*(g)$ dove, se la probabilità di un rollout corretto ( $p$ ) scende al di sotto di questo valore, il segnale relativo al gruppo collassa strutturalmente (la maggior parte dei gruppi riceve reward identici), causando la scomparsa del gradiente.
Caso di Studio sull'Inversione del Ranking: Su Qwen2.5-Coder-3B, l'articolo documenta una chiara inversione del ranking: all'aumentare della profondità dell'SFT, il pass@1 pre-RL sale, ma il pass@10 di picco post-RL scende monotonicamente (da 0.806 a 0.481). Il checkpoint con il pass@1 più alto (5.8 epoche) è quello che performa peggio sotto RL.
Validazione Contrastiva: Su DeepSeek-Coder-6.7B, dove il pass@1 pre-RL rimane significativamente al di sopra della soglia di collasso teorica $p^*(8)$ , non si verifica alcuna inversione del ranking. Al contrario, i ranghi si comprimono e tutti i checkpoint migliorano, validando l'ipotesi della soglia.
Diagnostica a Due Stadi: Gli autori propongono un protocollo diagnostico per identificare i checkpoint ad alto rischio prima o nelle prime fasi dell'RL:
- Stadio 1 (Pre-RL): Segnalare i checkpoint in cui l'entropia media del next-token scende al di sotto di una soglia ( $\tau_H = 0.18$ nats).
- Stadio 2 (Primo RL): Monitorare il calo relativo dell'entropia del worst-token tra gli step GRPO 10 e 150. Un calo superiore al 50% indica un collasso.
Localizzazione del Fallimento: Lo studio mostra che interventi semplici (penalità KL o label smoothing) non riescono a salvare i checkpoint collassati, suggerendo che il fallimento sia radicato nella fase di SFT, ovvero nell'esaurimento della plasticità e dell'entropia, piuttosto che essere un problema di iperparametri regolabili di GRPO.

Risultati

Qwen2.5-Coder-3B: Esiste una forte correlazione negativa ( $\rho = -0.75$ ) tra il pass@1 pre-RL e il pass@10 di picco post-RL. Il checkpoint a 5.8 epoche, nonostante avesse il pass@1 pre-RL più alto (0.187), è collassato a un pass@10 di picco di 0.481, mentre il checkpoint a 1.0 epoca ha raggiunto 0.806. L'entropia del modello a 5.8 epoche è diminuita del 78% durante l'addestramento, rispetto al 37% del modello a 1.0 epoca.
DeepSeek-Coder-6.7B: Tutti i checkpoint hanno mantenuto un pass@1 pre-RL ben al di sopra della soglia di collasso ( $p \geq 4.2 \times p^*(8)$ ). Di conseguenza, tutti i bracci sono migliorati sotto GRPO e il ranking pre-RL è stato perfettamente preservato post-RL ( $\rho = +1.00$ ).
Interventi: L'aggiunta di una penalità KL ( $\beta=0.01$ ) ha ridotto le prestazioni per entrambi i checkpoint (profondi e superficiali) ma non ha invertito l'inversione del ranking. Il label smoothing sul checkpoint a 5.8 epoche ha aumentato il pass@1 pre-RL a 0.600 ma ha portato al pass@10 post-RL più basso (0.214), indicando che appiattire artificialmente la distribuzione senza ripristinare la diversità sottostante delle soluzioni è insufficiente.

Significato e Rivendicazioni
L'articolo sostiene che la pratica standard di selezionare il checkpoint SFT con il pass@1 più alto per l'RL è fuorviante nei regimi in cui l'overtraining dell'SFT porta al collasso dell'entropia. Gli autori sostengono che il pass@1 misura la capacità alla temperatura errata (greedy, $T=0$ ) e non riesce a catturare la diversità necessaria per l'RL a $T=1.0$ .

La significatività risiede nell'identificazione del collasso dell'entropia come il legame meccanicistico tra l'overtraining dell'SFT e il fallimento dell'RL. Gli autori pongono che il fallimento non è un banale artefatto degli iperparametri di GRPO, ma un problema fondamentale di perdita di plasticità durante l'SFT. La diagnostica a due stadi proposta offre un metodo pratico e indipendente dal modello (basato su segnali di ordinamento e rischio piuttosto che su soglie universali) per filtrare i checkpoint che hanno già esaurito il loro segnale di apprendimento prima che venga spesa la computazione per l'RL. Gli autori concludono che preservare l'entropia durante l'SFT è un prerequisito per un RLVR di successo e che, una volta che l'entropia collassa, le varianti standard di RL non possono recuperare la policy.