💬 NLP

Pass the Baton: Trajectory-Relayed On-Policy Distillation

Il documento introduce Relay-OPD, un nuovo metodo di distillazione on-policy che mitiga il fallimento del prefisso attivando dinamicamente gli interventi dell'insegnante per correggere le deviazioni della traiettoria dello studente, ottenendo così prestazioni allo stato dell'arte nei benchmark di ragionamento matematico riducendo significativamente la lunghezza della traiettoria di addestramento.

Autori originali: Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Pubblicato 2026-07-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haolei Xu, Xiaowen Xu, Haiwen Hong, Zixuan Ni, Hongxing Li, Yiwen Qiu, Weiming Lu, Yongliang Shen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui enormi computer super-intelligenti (chiamati Large Language Models) stanno imparando a risolvere enigmi complessi, come problemi di matematica o indovinelli logici. Per insegnargli, usiamo spesso un sistema "insegnante-studente". L'insegnante è un modello massiccio e potente che conosce le risposte, mentre lo studente è un modello più piccolo e veloce che cerca di imparare da lui. Di solito, l'insegnante scrive semplicemente la soluzione perfetta e lo studente la copia. Ma esiste un modo più intelligente chiamato On-Policy Distillation. Invece di limitarsi a copiare un saggio finito, lo studente prova a scrivere la soluzione da solo. Se si blocca o prende una strada sbagliata, l'insegnante interviene per guidarlo nel prossimo passaggio, proprio in quel momento. Questo è fondamentale perché insegna allo studente come pensare, non solo cosa memorizzare.

Tuttavia, questo metodo presenta un difetto complicato. Se lo studente commette un errore all'inizio — come prendere una curva sbagliata in un labirinto — l'insegnante cerca di guidare il resto del percorso. Ma poiché lo studente è già smarrito, la guida dell'insegnante diventa spesso confusa o inaffidabile, e lo studente continua a vagare fuori rotta. È come cercare di dare indicazioni a qualcuno che sta già guidando nella direzione sbagliata; più guida, più si confonde. Questo articolo affronta proprio questo problema: come facciamo a impedire allo studente di smarrirsi irrimediabilmente prima che l'aiuto dell'insegnante diventi inutile?

La staffetta del ragionamento

Gli autori di questo articolo, lavorando con modelli della famiglia Qwen, si sono resi conto che quando un modello studente inizia a prendere una strada errata, l'insegnante e lo studente iniziano effettivamente a non essere d'accordo su cosa fare dopo. Lo studente, ostinatamente impegnato nella sua idea sbagliata, vuole continuare dritto. L'insegnante, vedendo l'errore, vuole fermarsi, riflettere e cambiare direzione.

Chiamano questo momento di disaccordo un "handoff trigger" (un innesco di passaggio di consegne). Pensatelo come una corsa a staffetta. In una corsa standard, se il corridore (lo studente) inciampa e inizia a correre nella direzione sbagliata, l'allenatore (l'insegnante) potrebbe anche urlare istruzioni dai bordi della pista, ma il corridore continua a inciampare. In questo nuovo metodo, chiamato Relay-OPD, nel momento in cui l'allenatore vede il corridore dirigersi verso un precipizio, l'allenatore interviene, afferra il testimone e corre alcuni passi nella direzione corretta per resettare il percorso del corridore. Poi, l'allenatore restituisce il testimone, e lo studente continua la corsa, ora sulla strada giusta.

Come funziona: i token "Ma" e "Aspetta"

Il sistema è ingegnoso perché non ha bisogno di un essere umano che gli comunichi quando avviene un errore. Osserva le probabilità. Se l'insegnante ha un'alta probabilità di dire una parola di "riflessione" come "Ma" (But), "Aspetta" (Wait) o "Tuttavia" (However) (che segnalano un cambiamento di pensiero), ma lo studente ha un'alta probabilità di dire "Quindi" (So) o "Ora" (Now) (che segnalano la continuazione del pensiero attuale), il sistema sa: Siamo fuori rotta!

In quel preciso momento, l'insegnante prende il controllo per una breve "gamba" del viaggio. L'insegnante scrive un breve paragrafo per correggere il ragionamento, poi restituisce il controllo allo studente. Lo studente completa poi il resto del problema, imparando dal percorso corretto.

I ricercatori hanno scoperto che questo intervento non deve essere lungo. In effetti, l'insegnante deve scrivere solo lo 0,35% delle parole totali per fare una grande differenza. È come un allenatore che dà una singola, decisa spinta per correggere la forma di un corridore, piuttosto che correre l'intera gara al posto suo.

I risultati: più intelligenti e più veloci

Il team ha testato questo metodo su otto diversi benchmark matematici, utilizzando modelli studenti di diverse dimensioni (0,6 miliardi e 1,7 miliardi di parametri) e un insegnante da 4 miliardi di parametri. I risultati sono stati impressionanti:

Punteggi migliori: Gli studenti Relay-OPD hanno ottenuto punteggi significativamente più alti rispetto ai metodi standard. Per il modello da 1,7 miliardi di parametri, il punteggio medio è migliorato del 5,73% rispetto al metodo standard ed è stato superiore al secondo miglior concorrente del 1,49%.
Meno tempo sprecato: Poiché il sistema impedisce allo studente di vagare in vicoli ciechi, il processo di addestramento è diventato molto più efficiente. La lunghezza media dei percorsi di addestramento è stata ridotta di oltre il 50%. Gli studenti hanno imparato la stessa quantità di cose nella metà del tempo.
La "gamba" è importante: I ricercatori hanno dimostrato che la breve correzione dell'insegnante (la "gamba dell'insegnante") era cruciale. Semplicemente fermare lo studente quando commetteva un errore (senza che l'insegnante lo correggesse prima) non funzionava altrettanto bene. L'insegnante doveva mostrare allo studente come tornare sulla strada giusta.

Cosa non è

L'articolo specifica con cura cosa non è questo metodo. Non si tratta solo di tagliare le risposte lunghe precocemente (come tentato da altri metodi), né di riscrivere l'intero saggio dello studente dopo che è finito. È un intervento in tempo reale, "nel momento in cui accade". Inoltre, non si tratta dell'insegnante che prende il controllo dell'intera corsa; lo studente compie comunque la maggior parte del percorso. L'insegnante interviene solo per quelle brevi e critiche esplosioni quando lo studente sta per commettere un errore permanente.

In breve, Relay-OPD è come una rete di sicurezza che afferra uno studente che cade proprio prima che tocchi terra, lo reindirizza gentilmente e lo lascia continuare a correre. Trasforma un potenziale disastro in un momento di apprendimento, rendendo i modelli IA più intelligenti, più veloci e meno inclini a smarrirsi nei propri pensieri.

Sintesi Tecnica: Relay-OPD (Pass the Baton)

1. Definizione del Problema: Fallimento del Prefisso nella Distillazione On-Policy

La distillazione on-policy (OPD) migliora il trasferimento di conoscenza dai modelli teacher forti ai modelli student più deboli ancorando la supervisione a livello di token alle proprie traiettorie generate dallo studente. Tuttavia, questo approccio soffre di un difetto critico noto come fallimento del prefisso (prefix failure). Nei compiti di ragionamento a catena lunga, se un modello studente si impegna in una direzione di ragionamento errata precocemente durante la generazione, tutti i token successivi si costruiscono su questa deviazione. Ciò produce continuazioni lunghe e mal dirette che:

Elicitano una supervisione inaffidabile e potenzialmente dannosa dal teacher.
Sprecano una quantità sostanziale di calcolo di addestramento su traiettorie che non possono essere corrette.

I rimedi esistenti presentano limitazioni strutturali:

Troncamento a lunghezza fissa (es. FastOPD, ESR): Taglia le rollout in posizioni rigide indipendentemente da dove avvenga l'effettivo fallimento del ragionamento.
Riscrittura offline (es. TRD): Ripara le traiettorie solo dopo il completamento, lasciando spesso artefatti visibili.
Mixing a livello di token (es. SKD): Effettua lo switch basandosi su un generico disaccordo distributivo piuttosto che su segnali espliciti di fallimento del ragionamento.

Manca un meccanismo che agisca online, correggendo i fallimenti man mano che emergono, e che intervenga specificamente basandosi sullo stato del ragionamento stesso.

2. Metodologia: Relay On-Policy Distillation (Relay-OPD)

Gli autori propongono Relay-OPD, un metodo che intercala la generazione dello studente con brevi e mirati "takeover" (assunzioni di controllo) del teacher nei punti di fallimento rilevati.

2.1 Intuizione Centrale: Asimmetria di Continuazione Teacher-Student

Il metodo si basa su un'asimmetria osservata sui prefissi falliti:

Lo Studente: Tende a continuare lungo la direzione attuale (errata).
Il Teacher: Tende a fermarsi, riesaminare e reindirizzare il ragionamento (spesso usando token di riflessione come Ma, Aspetta, Tuttavia).

Questa divergenza funge da trigger di passaggio (handoff trigger) privo di etichette. Quando il token successivo più probabile del teacher è un token di riflessione, ma il set di supporto top- $K$ dello studente non contiene tali token, viene attivato un passaggio di consegne.

2.2 Costruzione della Traiettoria Relay

Quando un trigger viene attivato, il teacher assume brevemente il controllo per produrre una gamba del teacher (teacher leg), dopo di che lo studente riprende la generazione.

Trigger di Passaggio ( $\phi(h)$ ): Definito come $1[a_T(h) \in \mathcal{R}] \cdot 1[K_S(h) \cap \mathcal{R} = \emptyset]$ , dove $\mathcal{R}$ è l'insieme dei token di riflessione, $a_T$ è il top token del teacher e $K_S$ è il set top- $K$ dello studente.
Budget Relay ( $M, L$ ): Per evitare che la traiettoria si discosti troppo dalla policy dello studente, un budget limita l'intervento:
- $M$ : Numero massimo di takeover del teacher.
- $L$ : Numero di paragrafi aggiuntivi generati dal teacher dopo il token di riflessione.
Processo: Lo studente genera in modo autoregressivo. Al rilevamento di un trigger (e se il budget rimane), il teacher genera $L$ paragrafi (iniziando con il token di riflessione). Lo studente riprende quindi la generazione dal prefisso corretto.

2.3 Obiettivo di Ottimizzazione

Relay-OPD ottimizza la policy dello studente sulla risultante traiettoria relay $z$ . A differenza della standard OPD che utilizza i token originali dello studente, Relay-OPD utilizza i token effettivamente generati $z_t$ dalla traiettoria relay (inclusi i token generati dal teacher).
L'obiettivo utilizza un vantaggio a singolo campione di tipo reverse-KL:
$A_t^{Relay} = \log \pi_T(z_t | h_t^z) - \log \bar{\pi}_\theta(z_t | h_t^z)$
Questo viene ottimizzato tramite una perdita in stile PPO con clipping, permettendo allo studente di assorbire selettivamente i segnali correttivi del teacher invece di adattarsi completamente alla distribuzione del teacher.

2.4 Implementazione Efficiente

Per evitare l'overhead del passaggio tra due pipeline di generazione, Relay-OPD unifica il processo all'interno di un singolo motore di speculative decoding:

Lo Studente agisce come il modello draft.
Il Teacher agisce come il modello target.
Il motore cambia dinamicamente la policy target ( $\pi_{tgt}$ ) tra lo studente e il teacher in base allo stato corrente (leg dello Studente vs leg del Teacher).
Le leg del Teacher eseguono lo standard speculative decoding contro il teacher, mentre le leg dello studente accettano tutti i draft. Ciò garantisce che l'identità distributiva della traiettoria relay sia preservata esattamente.

3. Contributi Chiave

Identificazione dell'Asimmetria: Il documento identifica che la divergenza teacher-student sui prefissi falliti è un segnale affidabile e privo di etichette per l'intervento. Gli esperimenti dimostrano che correggere il fallimento del prefisso richiede solo un intervento precoce e locale, con i token del teacher che costituiscono appena lo 0,35% del totale dei token generati.
Framework Relay-OPD: Un nuovo metodo che converte questa asimmetria in una rollout relay a budget, unificando la generazione di studente e teacher in un singolo motore di speculative decoding.
Superiorità Empirica: Dimostrata attraverso otto benchmark di ragionamento matematico e due scale di studenti (0.6B e 1.7B).

4. Risultati Sperimentali

Gli autori hanno valutato Relay-OPD utilizzando Qwen3-4B-Instruct-2507 come teacher e Qwen3-0.6B/1.7B-Non-Thinking come studenti su otto benchmark (AIME 2024/2025/2026, MATH500, AMC 2023, OlympiadBench, HMMT Feb/Nov).

Performance:
- Studente 1.7B: Ha ottenuto i migliori risultati o i secondi migliori risultati su tutti i benchmark.
  - Accuratezza media: 46,96% (rispetto al 41,23% della standard OPD, un miglioramento di +5,73%).
  - Ha superato il baseline più forte, FastOPD, di +1,49%.
- Studente 0.6B: Guadagni costanti, migliorando l'accuratezza media di +3,01% rispetto alla standard OPD.
Efficienza:
- Lunghezza di Addestramento: Ha ridotto la lunghezza media della traiettoria di addestramento di >50% (da 4.658 a 2.296 token per il 1.7B).
- Convergenza: Ha raggiunto il checkpoint migliore in meno step (Step 35 rispetto a Step 55 per OPD).
- Inferenza: Ha ridotto la lunghezza media della risposta del 14–28% rispetto a FastOPD pur migliorando l'accuratezza.
Studi di Ablazione:
- Necessità della Leg del Teacher: Il semplice arresto al trigger (Trigger-stop) ha prodotto un'accuratezza del 43,48%; l'aggiunta della leg del teacher ( $L=3$ ) l'ha portata al 46,25%, provando il valore del contesto corretto.
- Obiettivo: L'obiettivo di tipo reverse-KL sui token generati ha superato sia gli obiettivi "Student Draft Token" che gli obiettivi "Teacher FKL", confermando il beneficio dell'assorbimento selettivo dei segnali correttivi.

5. Significato e Rivendicazioni

Il documento sostiene che il fallimento del prefisso è un collo di bottiglia fondamentale nella distillazione on-policy che i metodi esistenti di troncamento o riscrittura non riescono ad affrontare dinamicamente. Relay-OPD affronta questo problema:

Agendo Online: Correggendo i fallimenti man mano che emergono invece che post-hoc.
Minimizzando l'Intervento: Utilizzando un approccio "relay" dove il teacher interviene solo brevemente per reindirizzare, mantenendo la traiettoria vicina alla distribuzione della policy dello studente.
Efficienza: Riducendo significativamente il costo computazionale dell'addestramento accorciando le traiettorie ed evitando la computazione sprecata su errori irrecuperabili.

Gli autori concludono che Relay-OPD offre un meccanismo robusto e privo di etichette per la distillazione strong-to-weak nei compiti di ragionamento, ottenendo risultati allo stato dell'arte riducendo drasticamente i costi di addestramento.