Sintesi Tecnica: Flusso Nascosto Privilegiato per l'Auto-Distillazione On-Policy

Definizione del Problema

L'auto-distillazione on-policy (OPSD) è una tecnica per l'addestramento di modelli di ragionamento in cui un modello studente campiona i propri rollout ed è supervisionato da un insegnante "privilegiato". Questo insegnante presenta la stessa architettura del modello, ma è condizionato da informazioni aggiuntive, come una soluzione di riferimento verificata, mentre lo studente vede solo il prompt del problema.

Gli obiettivi esistenti dell'OPSD si concentrano esclusivamente sul far corrispondere la distribuzione di output (le probabilità del token successivo) tra lo studente e l'insegnante privilegiato. Sebbene ciò allinei le predizioni finali, non supervisiona la computazione interna che produce tali predizioni. Nello specifico, il contesto privilegiato influenza gli stati latenti intermedi e la traiettoria di questi stati attraverso gli strati della rete. I metodi attuali vincolano solo l'head di output finale, lasciando il "flusso nascosto" — ovvero come le rappresentazioni interne del modello evolvano passo dopo passo lungo il rollout — privo di vincoli. Il documento postula che distillare questo processo interno potrebbe migliorare le prestazioni di ragionamento senza alterare l'impostazione fondamentale dell'addestramento on-policy.

Metodologia: Flusso Nascosto Privilegiato (PHF)

Gli autori propongono il Privileged Hidden Flow (PHF), un metodo che aumenta la standard OPSD distillando il movimento degli stati latenti piuttosto che gli stati stessi.

Meccanismo Core

Invece di forzare il vettore latente dello studente $h^S_{\ell,t}$ a corrispondere al vettore dell'insegnante $h^T_{\ell,t}$ nella stessa posizione del token (matching puntuale), il PHF fa corrispondere le transizioni tra le posizioni dei token.

1. Definizione di Transizione: Per un insieme di posizioni generate selezionate $W = \{w_1, \dots, w_m\}$, la transizione latente locale è definita come la differenza tra posizioni adiacenti: $\Delta h_{\ell,i} = h_{\ell, w_{i+1}} - h_{\ell, w_i}$.
2. Normalizzazione: Queste transizioni vengono normalizzate in direzioni unitarie per concentrarsi sulla geometria del movimento piuttosto che sull'ampiezza.
3. Componenti della Perdita (Loss):
   • Perdita di Direzione ($L_{dir}$): Allinea la direzione delle transizioni dello studente con le transizioni dell'insegnante in ogni strato.
   • Perdita di Geometria ($L_{geo}$): Fa corrispondere la matrice di Gram delle direzioni di transizione. Ciò cattura la struttura relazionale della traiettoria (ad esempio, quali passi sono paralleli, ortogonali o opposti) piuttosto che le coordinate assolute.
   • Relazione tra Strati Adiacenti ($L_{adj}$): Calcola la relazione tra le direzioni di transizione in strati adiacenti ($\ell$ e $\ell+1$) per garantire che la trasformazione del moto attraverso la profondità sia coerente con l'insegnante.

Invarianze Strutturali

Un contributo teorico chiave del PHF è la sua proprietà di invarianza, che affronta il problema del "drift rappresentazionale" dove le coordinate latenti cambiano durante l'addestramento:

• Invarianza di Offset: La perdita rimane invariata se viene aggiunto un offset costante all'intera traiettoria dello studente o dell'insegnante.
• Invarianza di Scala: La perdita è invariante rispetto alla moltiplicazione scalare positiva delle transizioni (prima della normalizzazione).
• Invarianza Ortogonale: Il termine geometrico è invariante rispetto a trasformazioni ortogonali indipendenti dei set di transizione studente e insegnante.

Queste proprietà permettono al PHF di supervisionare la forma e la direzione del processo di ragionamento senza richiedere che lo studente e l'insegnante occupino esattamente gli stessi punti nello spazio latente ad alta dimensione.

Ricetta di Addestramento

• Fonte dell'Insegnante: L'insegnante privilegiato è una Media Mobile Esponenziale (EMA) dello studente online, condizionata sulla soluzione di riferimento.
• Aggregazione: Il metodo aggrega la perdita di transizione attraverso tutti gli strati anziché selezionarne un sottoinsieme, e combina la perdita di transizione locale con la relazione tra strati adiacenti.
• Obiettivo: La perdita finale è $L_{PHF} = L_{OPSD} + \alpha L_{Flow}$, dove il coefficiente $\alpha$ è fissato a 0.05 in tutte le scale.
• Vincoli: Il metodo utilizza una finestra fissa di 128 posizioni generate per gestire la memoria e non introduce modelli di ricompensa, routing di correttezza o ulteriori rollout.

Contributi Chiave

1. Obiettivo di Trasporto delle Transizioni Privilegiate: Introduce una nuova perdita che fa corrispondere le transizioni latenti normalizzate tra token e la geometria della loro traiettoria, andando oltre il semplice matching degli stati puntuali.
2. Caratterizzazione Teorica: Dimostra che la perdita di trasporto possiede esatte invarianze algebriche rispetto agli offset della traiettoria e alle trasformazioni ortogonali, distinguendosi dal classico matching degli stati latenti.
3. Aggregazione su Tutti gli Strati: Dimostra che la media della perdita di transizione su tutti gli strati, combinata con una relazione tra strati adiacenti, produce miglioramenti coerenti senza richiedere la selezione manuale degli strati.
4. Validazione Empirica: Valida la ricetta fissa su tre scale di modelli (Qwen3-1.7B, 4B e 8B) sotto il protocollo ufficiale di ragionamento matematico OPSD.

Risultati Sperimentali

Gli autori hanno valutato il PHF sui benchmark AIME 2024, AIME 2025 e HMMT 2025 utilizzando la metrica Average@12 (correttezza media su 12 campioni per problema).

• Guadagni di Performance: Sotto un piano di addestramento fisso di 100 step, il PHF ha migliorato l'Average@12 rispetto alla baseline OPSD riprodotta:
  • Qwen3-1.7B: +2.2 punti (40.83 $\to$ 43.06)
  • Qwen3-4B: +1.5 punti (61.89 $\to$ 63.39)
  • Qwen3-8B: +1.7 punti (64.26 $\to$ 65.94)
• Consistenza: I guadagni sono stati positivi in tutte le scale e quasi in tutte le singole celle dei benchmark.
• Studi di Ablazione:
  • Direzione vs. Geometria: Né le varianti solo direzione né quelle solo geometria hanno eguagliato la ricetta completa PHF in tutte le scale, indicando che entrambi i componenti sono necessari.
  • Selezione degli Strati: Un controllo a "strati selezionati" (che corrisponde a un piccolo sottoinsieme scelto manualmente) ha performato peggio dell'aggregazione di tutti gli strati, supportando la decisione di mediare attraverso la profondità.
  • Matching Puntuale: Il documento nota che il matching puntuale degli stati latenti è un controllo di confine competitivo ma meno robusto al drift rappresentazionale rispetto all'approccio basato sulle transizioni.

Significato e Rivendicazioni

Il documento sostiene che il PHF offre un miglioramento modesto ma significativo al framework OPSD utilizzando l'informazione privilegiata in modo più strutturale.

• Supervisione a Livello di Processo: Il significato primario è dimostrare che i riferimenti privilegiati inducono un processo latente specifico (come il modello si muove attraverso il proprio rollout) che può essere distillato. Il PHF cattura questo processo senza richiedere che lo studente corrisponda alle coordinate latenti assolute dell'insegnante.
• Compatibilità di Deployment: A differenza dei metodi che richiedono modelli di ricompensa o verificatori esterni al tempo del test, il PHF mantiene l'impostazione di deployment OPSD: il modello valutato è lo studente online, e non sono necessarie informazioni privilegiate durante l'inferenza.
• Efficienza: Il metodo aggiunge solo un coefficiente scalare della perdita e una finestra di memorizzazione degli stati latenti, evitando l'overhead computazionale di ulteriori rollout o complessi meccanismi di routing.
• Ambito delle Rivendicazioni: Gli autori sono espliciti nel dichiarare che le loro prove sono limitate a una ricetta fissa, a una specifica famiglia di modelli (Qwen3) e a compiti di ragionamento matematico. Non affermano che il matching del flusso latente migliori ogni aspetto del ragionamento (ad esempio, la qualità della prova o la calibrazione) o che sia una soluzione universale, ma che fornisce uno spostamento aggregato positivo e coerente quando applicato alla auto-distillazione on-policy.