Stage-1 Controls the Entropy Regime, Not the Outcome

Sintesi Tecnica: Lo Stadio 1 controlla il regime di entropia, non l'esito

Definizione del Problema
Le pipeline di post-addestramento a due stadi per i modelli Vision-Language (VLM) — che consistono in un warm-start di Stadio-1 (Supervised Fine-Tuning, SFT, o On-Policy Distillation, OPD) seguito da un Reinforcement Learning (RL) di Stadio-2 — sono sempre più standard. Un'ipotesi prevalente nella comunità è che la scelta del warm-start determini significativamente l'esito finale dell'RL. Nello specifico, i sostenitori affermano che l'SFT possa indurre un dimenticanza catastrofica delle capacità di base, mentre l'OPD (addestrare uno studente sui propri rollout sotto la distribuzione di token di un insegnante) fornisca un'inizializzazione superiore per l'RL. Questo articolo interroga tali affermazioni all'interno di un regime di piccoli dati (≈1–2k esempi) utilizzando il modello Qwen2.5-VL-7B, con l'obiettivo di determinare cosa controlli effettivamente lo Stadio-1 e se alteri significativamente l'endpoint a valle.

Metodologia
Lo studio impiega un setup sperimentale controllato che confronta tre distinte strategie di warm-start seguite da ricette GRPO (Group Relative Policy Optimization) di Stadio-2 strettamente corrispondenti:

1. OPD: Distillazione on-policy da un insegnante Qwen2.5-VL 72B della stessa modalità su tutti i 2.101 prompt di addestramento di Geometry3K.
2. SFTID: SFT ottimizzato in-domain utilizzando le tracce corrette dell'insegnante (tramite rejection sampling) con un system prompt.
3. SFTOOD: SFT ottimizzato fuori dominio (OOD) utilizzando le stesse tracce dell'insegnante ma senza system prompt e con early-stopping a 100 step.

Distinzioni Chiave nel Setup:

• Consistenza dell'Insegnante: Tutti i warm-start derivano dallo stesso insegnante 72B, eliminando i confondimenti legati all'identità dell'insegnante.
• Confondimento della Copertura dei Dati: Esiste una differenza deliberata nella copertura dei dati. Le tracce SFT sono derivate dal rejection sampling, mantenendo solo gli 807 problemi che l'insegnante risolve in 4 campioni. L'OPD si addestra su tutti i 2.101 prompt, inclusi 1.294 problemi che l'insegnante non risolve mai. Gli autori trattano questa come una differenza nota nel setting e ne analizzano l'impatto sull'entropia.
• Valutazione: I modelli sono valutati in-domain (validazione interna di Geometry3K) e out-of-domain (MathVista testmini). Le metriche includono l'entropia della policy, pass@k (con $k \in \{1, 4, 8, 16\}$) e la diversità delle risposte.

Risultati Chiave

1. La dimenticanza dipende dalla ricetta (F1)
Lo studio mette in discussione l'idea che l'SFT con piccoli dati causi intrinsecamente una dimenticanza catastrofica.

• Una variante SFT sovra-addestrata (200 step, senza system prompt) ha mostrato un calo significativo delle prestazioni OOD su MathVista (−9,5 punti).
• Tuttavia, un SFT con ricetta corrispondente ed early-stopped (100 step) ha effettivamente migliorato le prestazioni OOD di +2,1 punti rispetto al modello base.
• Conclusione: La dimenticanza osservata non è una proprietà intrinseca dell'SFT, ma una conseguenza di specifiche scelte della ricetta (ad esempio, durata dell'addestramento, prompt engineering).

2. Gli endpoint in-domain occupano una banda stretta (F2)
Nonostante i diversi warm-start, l'esito finale in-domain su Geometry3K converge verso un intervallo ristretto.

• Tutti e tre i warm-start, dopo GRPO, hanno raggiunto un punteggio di validazione interna ottimale compreso tra il 53% e il 54%.
• Ciò si allinea ai recenti metodi specializzati, suggerendo un limitato "headroom" per separare i warm-start su questo specifico benchmark piuttosto che una saturazione universale del compito.

3. Lo Stadio-1 controlla il regime di entropia, non l'esito (F3)
La differenza più distinta e affidabile tra i metodi è il regime di entropia che entra nella fase di RL.

• Gap di Entropia: L'OPD entra nella fase di RL con un'entropia della policy sostanzialmente più alta (0,10–0,16 inizialmente) rispetto alle varianti SFT (0,015–0,04). Questo gap persiste attraverso le traiettorie disponibili, con l'OPD che rimane più alto anche tardi nell'addestramento.
• Vantaggio di Inizializzazione In-Domain: Nella fase di inizializzazione (prima dell'RL), il modello OPD ad alta entropia dimostra un maggiore potenziale di esplorazione. Sebbene l'accuratezza greedy (pass@1) sia comparabile o leggermente inferiore, l'OPD ottiene un vantaggio significativo in pass@16 (+2,0 a +5,2 punti rispetto ai baseline SFT) e una maggiore diversità delle risposte.
• Vantaggio Svanente: Questo vantaggio è strettamente limitato:
  • Post-RL: Dopo la fase di GRPO dello Stadio-2, il vantaggio del pass@16 scompare. Gli endpoint finali per tutti i modelli sono entro 1,1 punti l'uno dall'altro, con intervalli di confidenza che attraversano lo zero.
  • Trasferimento OOD: Su MathVista, l'ordine dell'entropia scompare completamente. Tutti i sei modelli (tre inizializzazioni × due stadi) rientrano in un intervallo di 1,2 punti al pass@16.

Significatività e Rivendicazioni
Il paper inquadra esplicitamente il proprio contributo come una caratterizzazione empirica limitata piuttosto che un nuovo metodo o un record in classifica.

• Cosa controlla lo Stadio-1: La principale scoperta è che lo Stadio-1 è fortemente associato al regime di entropia della policy che entra nell'RL. L'OPD mantiene uno stato ad alta entropia, mentre l'SFT collassa in uno stato deterministico a bassa entropia.
• Cosa NON controlla lo Stadio-1: Lo studio non trova prove che la scelta del warm-start (OPD vs SFT) determini l'endpoint finale dell'RL o la generalizzazione OOD in questo setup di piccoli dati. Il "rendimento a valle" del vantaggio dell'entropia è piccolo, localizzato all'inizializzazione in-domain, e non sopravvive al processo di ottimizzazione dell'RL.
• Cautela: Gli autori riconoscono un confondimento: il gap di entropia potrebbe essere parzialmente guidato dall'OPD che vede la "coda difficile" di problemi (1.294 non risolti dall'insegnante) che l'SFT non vede mai. Sebbene l'intuizione a livello di obiettivo (reverse-KL vs cross-entropy) supporti il meccanismo dell'entropia, il paper non rivendica la causalità senza un controllo allineato ai dati (addestrare l'OPD sugli stessi 807 problemi dell'SFT).

Conclusione
In questo studio VLM con piccoli dati, la scelta del warm-start di Stadio-1 è un determinante forte del regime di entropia ma non dell'esito finale. Sebbene l'OPD offra un'inizializzazione ad alta entropia con una migliore esplorazione in-domain (pass@16), ciò non si traduce in un endpoint RL superiore o in una performance OOD. Il paper conclude che l'entropia è la differenza più chiaramente osservata, ma non è prova che l'OPD sia un warm-start di RL universalmente migliore.