Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

Riepilogo Tecnico: Insegnamento del Prefisso, Svanimento del Suffisso: Collasso dell'Insegnabilità Locale nella Distillazione On-Policy da Forte a Debole

1. Definizione del Problema

Il lavoro affronta una specifica modalità di fallimento nella Distillazione On-Policy (OPD), in particolare negli scenari da forte a debole in cui un modello insegnante significativamente più grande supervisiona un modello studente più piccolo. Mentre la letteratura precedente assume che una supervisione densa su un'intera traiettoria generata sia uniformemente benefica, purché siano disponibili feedback dall'insegnante, gli autori sostengono che tale assunzione sia eccessivamente grossolana.

Il problema centrale identificato è il Collasso dell'Insegnabilità Locale. Nella OPD da forte a debole, anche quando persiste un vantaggio insegnante-studente non nullo lungo tutta una risposta, il contrasto locale del feedback dell'insegnante spesso decade nei segmenti successivi. Nello specifico:

• L'insegnante può continuare a fornire un segnale di preferenza globale (vantaggio medio non nullo).
• Tuttavia, il potere discriminatorio di questo segnale diminuisce; l'insegnante non riesce a distinguere nettamente le azioni candidate principali dello studente nella regione locale.
• Applicare una supervisione densa a queste regioni a basso contrasto ottimizza sul "rumore poco informativo" piuttosto che fornire una prioritizzazione significativa per lo studente, potenzialmente degradando le prestazioni o fallendo nel preservare le capacità fuori dominio.

2. Metodologia

Gli autori propongono una regola di rilascio specifica per la traiettoria per mitigare il collasso dell'insegnabilità locale. Invece di applicare una supervisione uniforme o utilizzare una lunghezza di prefisso globale fissa, il metodo determina dinamicamente dove troncare la supervisione densa in base all'utilità locale del segnale dell'insegnante.

Componenti Chiave del Metodo:

1. Margine Insegnante Locale per Stato:

   • Invece di fare affidamento sulla varianza del vantaggio del token campionato ($A_t$), che può essere instabile, il metodo valuta la capacità dell'insegnante di discriminare tra le azioni raggiungibili dello studente.
   • Ad ogni prefisso, viene costruita la serie di $K$ candidati principali dello studente ($C_t$).
   • Il margine del concorrente più vicino dell'insegnante ($M_t$) è calcolato come la differenza di log-probabilità tra il candidato 1 e il candidato 2 dell'insegnante all'interno di $C_t$:
     $$M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$$
   • Un calo sostenuto di $M_t$ indica che la guida dell'insegnante è diventata localmente piatta (meno azionabile).

2. Aggregazione a Livello di Frase:

   • Per mitigare gli artefatti a livello di token, i margini sono aggregati su segmenti di frase tokenizzati con NLTK ($B_i$).
   • Il segnale a livello di segmento $S_i$ è definito come:
     $$S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$$

3. Rilevamento del Punto di Cambiamento in Stile BIC:

   • La sequenza di segnali di segmento $\{S_i\}$ è analizzata per rilevare un calo.
   • Il metodo confronta un modello "nessun cambiamento" ($H_0$) contro un modello "un calo" ($H_1$) in cui esiste un punto di cambiamento $\tau$ tale che il segnale medio scende ($\mu_{pre} > \mu_{post}$).
   • Viene utilizzato un criterio RSS-BIC Profilato per selezionare il punto di cambiamento ottimale $\tau^*$, penalizzando la complessità del modello per evitare falsi positivi dovuti a fluttuazioni casuali.
   • Se viene rilevato un calo significativo, la supervisione densa viene mascherata per tutti i token successivi al confine del segmento rilevato.

4. Ricalcolo della Massa della Loss:

   • Per garantire che la magnitudine del gradiente rimanga coerente nonostante il troncamento, i vantaggi del prefisso trattenuti vengono ricalibrati:
     $$A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$$
   • Qui, $q_t$ è la maschera del prefisso (1 prima del taglio, 0 dopo) e $l_t$ è la maschera della loss originale.

3. Contributi Chiave

Il lavoro apporta tre contributi principali:

1. Identificazione del Collasso dell'Insegnabilità Locale: Gli autori diagnosticano che nella OPD da forte a debole, il vantaggio insegnante-studente può rimanere non nullo mentre il potere discriminatorio locale (contrasto) decade. Questo rivela che la supervisione densa su tutta la traiettoria non è sempre ottimale.
2. Una Regola di Rilascio Specifica per la Traiettoria: Introducono un meccanismo per determinare se il feedback dell'insegnante rimane localmente azionabile. Questa regola utilizza il margine 1°/2° posto dell'insegnante sui $K$ candidati principali dello studente, lo aggrega su segmenti di frase e termina la supervisione dopo un punto di cambiamento statistico discendente.
3. Validazione Empirica: Il metodo è stato validato su varie impostazioni di distillazione da forte a debole con Qwen3 (studenti da 1.7B, 4B e 8B). La regola di rilascio supera costantemente la OPD a traiettoria completa standard e le baseline a prefisso fisso sui benchmark in dominio e preserva meglio le capacità fuori dominio.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando la famiglia di modelli Qwen3 (Insegnante: Qwen3-30B-A3B-Instruct-2507; Studenti: 1.7B, 4B, 8B) su cinque benchmark matematici in dominio (AIME25, HMMT25, MATH500, Minerva) e un benchmark fuori dominio (GPQA).

• Guadagni di Prestazione: Per lo studente da 1.7B, il metodo proposto ha ottenuto un punteggio medio del 40,1% sui cinque benchmark matematici, rispetto al 36,8% della OPD completa standard e al 39,3% della migliore baseline a prefisso fisso (2048 token).
• Preservazione Fuori Dominio: Il metodo ha migliorato i punteggi GPQA (42,4%) rispetto alla OPD completa (40,7%), suggerendo una migliore preservazione delle capacità generali.
• Scalabilità: I benefici sono persistiti per studenti più grandi (4B e 8B), dove la regola di rilascio ha costantemente superato la OPD completa e altre baseline (ad esempio, 55,2% AVG per 8B contro 53,1% per la OPD completa).
• Ablazione: Un controllo "rilascio casuale" (permutando i punti di rilascio tra i campioni) ha prodotto prestazioni inferiori (38,0% AVG), confermando che il punto di rilascio deve essere accoppiato al segnale di insegnabilità locale specifico della traiettoria.
• Sensibilità alla Dimensione del Supporto: Il metodo è stato robusto alle variazioni nella dimensione del supporto $K$ dei candidati principali dello studente ($K \in \{2, 4, 16, 32\}$), con $K=4$ che ha prodotto i migliori risultati.

5. Significato e Affermazioni

Il lavoro afferma che una distillazione on-policy efficace da forte a debole richiede di valutare non solo la disponibilità della guida dell'insegnante, ma anche la sua utilità locale.

• Insight Centrale: La supervisione densa dovrebbe concentrarsi sulle regioni della traiettoria in cui il feedback dell'insegnante rimane discriminatorio. Una volta che il contrasto locale dell'insegnante collassa (diventa piatto), continuare la supervisione densa fornisce segnali di apprendimento trascurabili e può introdurre rumore.
• Implicazione Pratica: La regola di rilascio proposta offre un modo principiato per "sfumare" la supervisione (Insegnamento del Prefisso, Svanimento del Suffisso) senza alterare l'obiettivo OPD sottostante. Garantisce che il feedback generato rimanga "insegnabile" per lo studente.
• Modestia: Gli autori notano che la loro implementazione attuale esegue un passaggio diagnostico dopo la generazione completa del rollout e non accorcia intrinsecamente il processo di generazione (a differenza di FastOPD), il che significa che i guadagni di efficienza sono una considerazione secondaria rispetto alla validazione del segnale di insegnabilità. Affermano esplicitamente che la regola è un euristico pratico per validare l'affermazione centrale piuttosto che una garanzia teorica che tutti i token successivi al rilascio siano dannosi.