Riepilogo Tecnico: Superare la barriera del tokenizer: On-Policy Distillation tra famiglie di modelli

1. Definizione del problema

La Distillazione On-Policy (OPD) è emersa come una tecnica altamente efficiente per il post-training di Large Language Models (LLM), consentendo il trasferimento di conoscenza da modelli "insegnanti" esperti a modelli "studenti" sfruttando segnali di supervisione densi a livello di token (log-probabilità) sulle traiettorie generate dallo studente stesso. Tuttavia, i metodi OPD esistenti sono strettamente limitati alla distillazione della stessa famiglia, dove l'insegnante e lo studente devono condividere un tokenizer identico.

Quando si tenta la distillazione cross-tokenizer (ad esempio, tra diverse famiglie di modelli come Qwen e Llama), sorge una barriera fondamentale: il disallineamento dei vocabolari. Le differenze nella dimensione del vocabolario, nelle preferenze di codifica e nella gestione dei caratteri speciali significano che le log-probabilità grezze dell'insegnante non possono essere mappate direttamente sui token dello studente. Le pratiche mainstream attuali per gli scenari cross-tokenizer ricorrono al Supervised Fine-Tuning (SFT) su risposte generate dall'insegnante. Questo approccio non riesce a catturare la ricca e densa conoscenza incorporata nella distribuzione di probabilità dell'insegnante, trattando l'output dell'insegnante meramente come testo statico piuttosto che come un segnale probabilistico. Inoltre, i metodi di allineamento cross-tokenizer esistenti sono progettati principalmente per la distillazione offline (off-policy) e non possono risolvere efficacemente il problema della propagazione del segnale a livello di token inerente alla OPD.

2. Metodologia

Gli autori propongono un framework per la Cross-Tokenizer On-Policy Distillation che colma il divario del vocabolario senza richiedere tokenizer condivisi o la modifica delle architetture interne dei modelli. Il metodo consiste in due componenti principali:

A. Allineamento Adattivo dei Chunk (Dual-Pointer Chunk Alignment - DPCA)

Per allineare le sequenze generate da diversi tokenizer, gli autori introducono un algoritmo deterministico che identifica chunk minimi sincronizzati.

• Meccanismo: L'algoritmo utilizza le proprietà deterministiche e monotone della funzione di detokenizzazione ($D$). Impiega una strategia a doppio puntatore ($p_S$ per lo studente, $p_T$ per l'insegnante) per trovare i più piccoli incrementi di token tali per cui i prefissi di testo decodificati corrispondano: $D(y^S_{1:i}) = D(y^T_{1:j})$.
• Strategia Greedy: I puntatori avanzano in base alla lunghezza delle stringhe decodificate. Se il frammento decodificato dello studente è più corto di quello dell'insegnante, il puntatore dello studente avanza, e viceversa.
• Garanzia Teorica: L'algoritmo garantisce la completezza (identificazione di tutti i punti di sincronizzazione) e la minimalità (garantire che i chunk non possano essere ulteriormente suddivisi). Ciò assicura che i segnali di supervisione densi siano localizzati nei più piccoli cluster di token possibili, evitando l'ambiguità del segnale su grandi blocchi aggregati.

B. Assegnazione del Credito a Livello di Chunk tramite Prior Semantico

Una volta che le sequenze sono partizionate in chunk sincronizzati, i segnali di supervisione dell'insegnante devono essere proiettati sui token dello studente.

• Corrispondenza della Probabilità Congiunta: Il metodo assume che la probabilità congiunta di generare un chunk sincronizzato (che rappresenta lo stesso testo sottostante) debba essere equivalente sotto entrambe le distribuzioni. Ciò implica che la somma delle log-probabilità all'interno di un chunk debba essere uguale.
• Ottimizzazione con Prior Semantico: Per distribuire i target di log-verosimiglianza dell'insegnante ($L^{(c)}_T$) attraverso i token dello studente ($s_c$) preservando la struttura semantica interna dello studente, gli autori risolvono un problema di ottimizzazione vincolata. Cercano una distribuzione target che mantenga il massimo allineamento direzionale con la distribuzione prior dello studente ($p$).
• Soluzione in Forma Chiusa: Le log-probabilità target risultanti ($\log q_i$) sono una versione linearmente scalata delle log-probabilità prior dello studente ($\log p_i$), scalate dal rapporto tra le log-verosimiglianze a livello di chunk:
  $$\log q_i = \frac{L^{(c)}_T}{L^{(c)}_S} \log p_i$$
  Ciò assicura che i token che inizialmente risultavano "sorprendenti" per lo studente (probabilità inferiore) ricevano una quota proporzionalmente maggiore del segnale di vantaggio, preservando la struttura semantica relativa all'interno del chunk.

C. Obiettivo di Addestramento

Le log-probabilità per token calcolate vengono integrate in un framework OPD standard utilizzando una funzione di perdita di campionamento dell'importanza RL (divergenza KL inversa), permettendo allo studente di aggiornare la propria policy basandosi sulle proprie rollout pur aderendo alla guida dell'insegnante.

3. Contributi Chiave

1. Prima OPD Cross-Tokenizer ad Alta Fedeltà: Questo lavoro è il primo a consentire la distillazione on-policy ad alta fedeltà, per token, tra diverse famiglie di modelli con tokenizer distinti.
2. Algoritmo di Allineamento Adattivo: La proposta dell'algoritmo Dual-Pointer Chunk Alignment (DPCA), che garantisce matematicamente l'identificazione di chunk minimi sincronizzati tra schemi di tokenizzazione eterogenei.
3. Assegnazione del Credito tramite Prior Semantico: Un meccanismo innovativo per proiettare le log-probabilità dell'insegnante sui token dello studente che preserva la struttura semantica interna dello studente, evitando la distorsione delle probabilità relative dei token.
4. Efficienza Computazionale: Dimostrare che la OPD cross-tokenizer è significativamente più efficiente dal punto di vista computazionale rispetto ai baseline tradizionali di SFT o di distillazione off-policy.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo su benchmark di ragionamento (AIME, MATH, GPQA-Diamond, LiveCodeBench) utilizzando due coppie insegnante-studente distinte:

• Setting 1: Qwen3-8B (Insegnante) $\to$ Llama-3.1-8B-SFT (Studente).
• Setting 2: DeepSeek-R1 (Insegnante) $\to$ DeepSeek-R1-Distill-Qwen-7B (Studente).

Performance:

• Nel setting Qwen $\to$ Llama, la OPD ha raggiunto un punteggio medio di 40.7, superando SFT (35.1), ALM (35.7) e CDM (35.9) con margini significativi (fino a +5.6 punti).
• Nel setting DeepSeek-R1, la OPD ha raggiunto 52.0, superando i baseline di 2.4–2.7 punti in media.
• I guadagni sono stati costanti attraverso i benchmark di matematica, scienza e codice, con miglioramenti particolarmente notevoli su AIME25 (+11.6 punti) e GPQA-Diamond (+6.1 punti).

Efficienza Computazionale:

• Per raggiungere la stessa accuratezza AIME24 (44.4%) partendo da un modello inizializzato con SFT, gli autori hanno stimato che estendere l'SFT avrebbe richiesto 482K campioni di addestramento aggiuntivi e circa 1.17 $\times$ 10$^{21}$ FLOPs.
• Al contrario, il metodo OPD ha raggiunto le stesse prestazioni con soli 20K campioni aggiuntivi e circa 4.8 $\times$ 10$^{19}$ FLOPs.
• Ciò rappresenta una riduzione dell'uso di dati di addestramento a ~4.1% e del costo computazionale totale a ~4% rispetto allo schema di estrapolazione SFT.

Confronto con la OPD Same-Tokenizer:

• Il paper nota che il guadagno di performance della OPD cross-tokenizer (media +5.6) è comparabile alla OPD same-tokenizer (media +5.5), indicando che il meccanismo di proiezione non degrada significativamente la qualità del segnale di supervisione.

5. Significato e Claim

Il paper sostiene che questo lavoro sblocca una gamma più ampia di coppie insegnante-studente per la distillazione on-policy. Rimuovendo il requisito di tokenizer condivisi, il metodo permette un trasferimento di conoscenza più flessibile tra diverse famiglie di modelli. Gli autori sostengono che un vocabolario condiviso non è un prerequisito per una OPD efficace, a patto che il feedback dell'insegnante possa essere proiettato sui token dello studente in modo che conservi la log-probabilità.

Il lavoro apre nuove strade per adattare e potenziare le interazioni tra LLM, suggerendo che il paradigma della "supervisione densa" può essere esteso oltre il post-training di una singola serie di modelli. Gli autori riconoscono i limiti riguardanti la scala dei modelli testati (sotto gli 8B di parametri a causa di vincoli computazionali) e identificano la validazione su modelli di scala maggiore (ad esempio, 70B) come lavoro futuro.