Sintesi Tecnica: Ottimizzazione della Policy Guidata dalla Strategia (SGPO) per il Ragionamento degli LLM

1. Definizione del Problema

Gli attuali metodi per distillare le capacità di ragionamento da modelli linguistici di grandi dimensioni (LLM) forti a deboli si affidano prevalentemente all'imitazione a livello di traiettoria. Che si tratti di Fine-Tuning Supervisionato (SFT) su tracce esperte o di ottimizzazione di policy ibride, questi approcci addestrano i modelli studenti a riprodurre specifiche sequenze di soluzioni generate dagli esperti. Il documento sostiene che questa unità di trasferimento della conoscenza sia fallace: incoraggia la memorizzazione di pattern specifici per l'istanza piuttosto che l'acquisizione di abilità di risoluzione dei problemi trasferibili. Di conseguenza, i modelli addestrati in questo modo faticano a generalizzare su problemi nuovi perché imparano cosa rispondere piuttosto che come ragionare.

La sfida centrale affrontata è come spostare il target di distillazione dalle concrete traiettorie di soluzione a strategie di risoluzione dei problemi riutilizzabili che spieghino perché siano stati scelti determinati passaggi, senza richiedere al modello di fare affidamento su suggerimenti esterni durante l'inferenza.

2. Metodologia: Ottimizzazione della Policy Guidata dalla Strategia (SGPO)

Gli autori propongono SGPO, un framework che sostituisce l'imitazione della traiettoria a livello di istanza con la distillazione di strategie riutilizzabili. Il framework opera estraendo descrizioni strutturate delle strategie dalle risposte di un modello forte e utilizzandole per rimodellare la distribuzione del modello studente.

2.1 Componenti Core

Per ogni problema $q$, SGPO costruisce due gruppi di traiettorie:

1. Gruppo Autonomo: Campionato dalla policy corrente $\pi_\theta(\cdot | q)$.
2. Gruppo Guidato dalla Strategia: Campionato da $\pi_\theta(\cdot | q, s)$, dove $s$ è una descrizione concisa della strategia in linguaggio naturale (che specifica il tipo di problema, l'approccio e i passaggi procedurali) estratta da un modello forte, ma che non contiene calcoli o risposte finali.

Il framework affronta due domande chiave: Come distillare e Quando distillare.

2.2 Come Distillare: Obiettivo Forward-KL a Livello di Token

Invece di imitare direttamente la traiettoria guidata (il che porterebbe al collasso verso l'SFT), SGPO distilla lo spostamento distributivo indotto dal condizionamento della strategia.

• Divergenza Forward-KL: Il metodo minimizza la divergenza di Kullback-Leibler dove la distribuzione guidata dalla strategia è il riferimento e la distribuzione non guidata è il target ($D_{KL}(\pi_{guided} || \pi_{unguided})$).
• Selettività: A differenza della Reverse KL, che porterebbe la policy a collassare su un singolo modo guidato, la Forward KL incoraggia la policy non guidata a coprire il modo guidato preservando al contempo le alternative esistenti scoperte attraverso l'esplorazione autonoma.
• Meccanismo: L'obiettivo concentra naturalmente la pressione di ottimizzazione sui token in cui la distribuzione del token successivo cambia significativamente sotto il condizionamento della strategia (ad esempio, la scelta di un metodo matematico specifico). Questi corrispondono a punti decisionali critici per la strategia, mentre i token linguistici di routine esibiscono una bassa divergenza KL. Ciò fornisce un segnale di distillazione selettivo senza richiedere annotazioni esplicite a livello di token.

2.3 Stabilità ed Efficienza: Vincoli Prossimali

Per garantire la stabilità e l'efficienza dell'addestramento, SGPO impiega tre livelli di vincoli prossimali:

1. Livello di Traiettoria (Selezione del Target Raggiungibile): Invece di fare la media su tutte le traiettorie guidate corrette, il metodo seleziona l'unica traiettoria guidata più raggiungibile dalla attuale policy non guidata. Ciò minimizza il divario distributivo che il modello deve colmare.
2. Livello di Token (Clipping della KL): Le posizioni dei token in cui la divergenza tra le distribuzioni guidata e non guidata supera una soglia $\delta$ vengono mascherate. Questo evita che le posizioni outlier dominino l'ottimizzazione e causino il collasso dell'entropia.
3. Livello di Istanza (Ponderazione Adattiva): Un peso dinamico $\alpha(q)$ modula la forza della distillazione in base al beneficio marginale della guida strategica.
   • Se il tasso di successo autonomo è basso e il tasso di successo guidato è alto, $\alpha(q)$ è grande, rafforzando la guida.
   • Man mano che la competenza autonoma del modello cresce, $\alpha(q)$ diminuisce, transitando naturalmente l'addestramento dal miglioramento guidato dalla strategia all'ottimizzazione autonoma senza programmazione manuale.

2.4 Obiettivo Complessivo

La perdita totale combina la Group Relative Policy Optimization (GRPO) autonoma con il termine di distillazione prossimale della strategia:
$$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$$

3. Contributi Chiave

• Cambio di Paradigma: Sposta la distillazione del ragionamento dall'imitazione di specifiche traiettorie di soluzione all'internalizzazione di strategie di risoluzione dei problemi riutilizzabili.
• Distillazione Forward-KL: Introduce un obiettivo forward-KL a livello di token che trasferisce selettivamente la conoscenza strategica concentrandosi sugli spostamenti di probabilità nei punti decisionali, superando l'imitazione diretta della traiettoria.
• Framework Adattivo: Propone una dinamica di addestramento in cui la forza della distillazione scala automaticamente con la competenza del modello, eliminando la necessità di una programmazione manuale del curriculum.
• Scaling Complementare: Dimostra che i benefici della distillazione della strategia scalano con la capacità del modello base, suggerendo che sia richiesta una competenza minima di ragionamento per internalizzare efficacemente la guida strategica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro benchmark di ragionamento matematico (MATH500, AMC 23, OlympiadBench, AIME 24) utilizzando due famiglie di modelli: Qwen2.5 (1.5B e 7B) e Llama-3.2 (8B).

• Performance: SGPO ha costantemente superato i forti baselines, inclusi SFT, RL on-policy (SFT+GRPO) e metodi a policy ibrida (HPT, LUFFY).
  • Su Qwen2.5-7B-Instruct, SGPO ha migliorato il punteggio medio di 2,2 punti rispetto al baseline più forte (LUFFY) e di 9,9 punti rispetto al modello base.
  • Su Qwen2.5-1.5B-Instruct, il punteggio medio è migliorato di 6,7 punti rispetto al modello base.
• Studi di Ablazione:
  • Rimuovere la distillazione della strategia ha ridotto le performance, confermando il valore del trasferimento a livello di strategia rispetto al puro RL.
  • Rimuovere la GRPO autonoma ha portato al collasso dell'entropia e alla stagnazione delle performance, evidenziando la necessità di mantenere la diversità dell'esplorazione.
  • Rimuovere i vincoli prossimali ha causato il calo di performance più significativo (6,8 punti), indicando il loro ruolo critico nella stabilità.
• Analisi:
  • Selettività: Il segnale forward-KL ha raggiunto il picco nei passaggi critici per la strategia (ad esempio, determinare il minimo comune denominatore) pur rimanendo basso per i token di routine, a differenza della perdita monotonicamente decrescente del SFT diretto.
  • Scaling: I guadagni da SGPO sono stati maggiori per i modelli base più forti, suggerendo che la distillazione della strategia è complementare alla competenza fondamentale di ragionamento.

5. Significato e Rivendicazioni

Il documento afferma che trasferire la conoscenza a livello di strategia è una direzione più efficace per la distillazione del ragionamento rispetto all'imitazione a livello di traiettoria.

• Generalizzazione: Internalizzando come ragionare (strategie) invece di cosa rispondere (traiettorie), i modelli acquisiscono abilità trasferibili che generalizzano meglio su problemi nuovi.
• Selettività Intrinseca: L'obiettivo forward-KL proposto agisce come un meccanismo automatico per identificare e amplificare i token critici per la strategia, eliminando la necessità di annotazione manuale dei passaggi di ragionamento.
• Efficienza: Il meccanismo di ponderazione adattiva assicura che le risorse computazionali siano concentrate sugli istanze in cui la guida strategica fornisce il massimo beneficio marginale, portando a una convergenza più rapida e a tetti di performance più elevati.

Gli autori concludono che, sebbene il miglioramento delle capacità di ragionamento comporti potenziali rischi, l'attenzione specifica sul ragionamento matematico pone rischi diretti minimi, e il framework offre una strada robusta per potenziare il ragionamento degli LLM attraverso la distillazione della strategia.