Riepilogo Tecnico: Anchored Residual Guidance per la Privileged On-Policy Distillation

1. Definizione del Problema

Il documento affronta un particolare modo di fallimento nella Privileged On-Policy Distillation (Privileged OPD). Nella OPD standard, un modello studente apprende dalle predizioni di un insegnante su stati generati dallo studente stesso, mitigando il bias di esposizione del supervised fine-tuning (SFT). La Privileged OPD potenzia questo processo utilizzando un "self-teacher" (lo stesso modello base) aumentato da informazioni privilegiate (es. tracce oracle, soluzioni d'oro) per fornire una supervisione densa e diretta alla risposta.

Tuttavia, gli autori identificano che trattare questo insegnante pienamente privilegiato come un obiettivo di imitazione assoluto crea un "mismatch di raggiungibilità" (reachability mismatch). Poiché l'insegnante con visione completa condiziona sulla completezza del contesto futuro (incluso il risultato finale), la sua distribuzione di probabilità incorpora informazioni basate sul prospettismo (hindsight-biased information).

• La Conseguenza: Lo studente viene incentivato a saltare validi passaggi intermedi di ragionamento in favore di "scorciatoie localmente non supportate" per corrispondere alla distribuzione influenzata dal prospettismo.
• La Patologia: Ciò porta alla fuga di informazioni privilegiate (privileged-information leakage), dove il modello sembra "barare" anticipando risposte che non può logicamente derivare dal suo stato attuale, un fenomeno che peggiora all'aumentare della lunghezza della traiettoria (drift a lungo orizzonte).

2. Metodologia: Anchored Residual On-Policy Distillation (AR-OPD)

Per risolvere il mismatch tra il supporto predittivo locale dello studente e la distribuzione influenzata dal prospettismo dell'insegnante, gli autori propongono AR-OPD, un framework a doppia vista che disaccoppia la supervisione privilegiata in due componenti: un Ancoraggio Localmente Compatibile (Locally Compatible Anchor) e un Residuo Diretto alla Destinazione (Destination-Directed Residual).

Meccanismo Core

Inveve di forzare lo studente a imitare il pieno insegnante privilegiato ($q_{full}$), AR-OPD costruisce una distribuzione target ($q_\lambda$) utilizzando la seguente decomposizione nello spazio della log-probabilità:

$$\log q_\lambda(v | s_t) = \underbrace{\log q_{part}(v | s_t)}_{\text{Ancora}} + \lambda \underbrace{(\log q_{full}(v | s_t) - \log q_{part}(v | s_t))}_{\text{Residuo}} - C_t$$

1. L'Ancora ($q_{part}$): Un insegnante parzialmente privilegiato viene costruito troncando deterministicamente il contesto privilegiato (ad esempio, mantenendo il primo 50% della traccia di ragionamento, $\rho=0.5$). Questo insegnante fornisce un target causalmente raggiungibile che isola lo studente dal prospettismo delle risposte pur mantenendo una guida strutturale.
2. Il Residuo: La differenza tra l'insegnante a visione completa e l'insegnante a visione parziale rappresenta la preveggenza marginale (marginal foresight) (il segnale "diretto alla destinazione").
3. Il Parametro di Controllo ($\lambda$): Questo coefficiente scala il residuo.
   • Se $\lambda = 0$, il metodo si riduce alla partial privileged OPD.
   • Se $\lambda = 1$, recupera il target privilegiato completo.
   • Gli autori riscontrano che $\lambda < 1$ (regime contrattivo) è ottimale, mantenendo il target ancorato tra la visione parziale e quella completa per evitare il sovratrasferimento di informazioni basate sul prospettismo.

Obiettivo di Addestramento

Lo studente viene addestrato tramite divergenza KL in avanti per minimizzare la distanza tra la sua policy e questo target ancorato al residuo $q_\lambda$ sugli stati visitati dallo studente, piuttosto che sul target monolitico a visione completa.

3. Contributi Chiave

1. Diagnosi della Fuga dal Prospettismo (Hindsight Leakage): Il documento fornisce prove meccanicistiche che la monolithic privileged OPD induce patologie di ottimizzazione attirando gli studenti verso token al di fuori del loro supporto predittivo locale, particolarmente in traiettorie a lungo orizzonte (>768 token).
2. Framework AR-OPD: L'introduzione di un metodo di distillazione a doppia vista che operazionalizza la separazione tra raggiungibilità locale (Ancora) e guida futura (Residuo).
3. Validazione Empirica: Dimostrazione che il controllo del residuo a visione completa migliora le prestazioni rispetto sia al SFT standard che alla Full Privileged OPD, specificamente riducendo gli eventi di scorciatoia e mitigando il drift nelle fasi avanzate.

4. Risultati Sperimentali

Gli autori hanno valutato AR-OPD in quattro domini: Matematica (MATH500, AMC23), Codice (HumanEval, MBPP), Scienza (SciKnowEval) e QA Medica (MedQA, MedCQA), utilizzando Qwen2.5-7B-Instruct come modello base.

• Guadagni di Performance: AR-PODD ha ottenuto il punteggio medio più alto (70.3) in tutti i benchmark.
  • +12.1 punti rispetto al modello base.
  • +7.9 punti rispetto al Supervised Fine-Tuning (SFT).
  • +2.3 punti rispetto alla forte baseline di Full Privileged OPD.
• Specifiche di Dominio: I guadagni sono stati più pronunciati nel ragionamento matematico, dove AR-OPD ha raggiunto 74.6 su MATH500 (superando la Full OPD di 3.6 punti).
• Robustezza a Lungo Orizzonte: Su traiettorie superiori a 768 token, AR-OPD ha superato la Full OPD di 7.2 punti, dimostrando una superiore stabilità nei compiti di ragionamento estesi.
• Verifica del Meccanismo:
  • Riduzione delle Scorciatoie: AR-OPD ha ridotto gli "eventi di scorciatoia" (istanze di fuga di informazioni privilegiate) del 21.7% rispetto alla Full OPD.
  • Affidabilità del Segnale: Le diagnosi hanno mostrato che la visione privilegiata parziale mantiene quasi tanta capacità predittiva per la correttezza finale (ROC-AUC 0.766) quanto la visione completa (0.779), mentre il segnale marginale (full-minus-partial) è significativamente più debole (0.585), giustificando l'approccio residuo.

5. Significato e Rivendicazioni

Il documento sostiene che l'utilità dell'informazione privilegiata nella distillazione non è una scelta binaria (usare vs. scartare) ma un problema di design del target.

• Riframing del Privilegio: Gli autori sostengono che le distribuzioni oracle a visione completa contengono segnali utili diretti alla destinazione, ma sono pericolose se trattate come obiettivi assoluti a causa del bias del prospettismo.
• Guida Controllata: Ancorando il target a uno stato localmente raggiungibile e iniettando la preveggenza come un residuo controllato, AR-OPD consente ai modelli di beneficiare del "vedere di più" senza sacrificare l'integrità causale del processo di ragionamento.
• Scalabilità: Il metodo è particolarmente significativo per il ragionamento a lungo orizzonte, dove l'affidabilità dei target a visione completa degrada e il rischio di drift indotto dal prospettismo è più elevato.

Gli autori concludono che AR-OPD offre una ricetta robusta per i modelli di ragionamento post-training, bilanciando la densità della supervisione privilegiata con la compatibilità locale richiesta per un apprendimento on-policy stabile.