Riepilogo Tecnico: SimCT - Recupero della Supervisione Persa per la Distillazione On-Policy Cross-Tokenizzatore

1. Enunciato del Problema

La distillazione on-policy (OPD) è un paradigma standard per trasferire il comportamento di un grande modello insegnante a un modello studente più piccolo. A differenza della distillazione offline, l'OPD interroga l'insegnante sui prefissi generati dalla politica corrente dello studente, allineando così la distribuzione di addestramento alla distribuzione di inferenza e mitigando l'accumulo di errori.

Tuttavia, l'OPD standard assume implicitamente che i modelli insegnante e studente condividano lo stesso tokenizzatore, permettendo un confronto token per token delle loro previsioni del prossimo token. In scenari reali di deployment, i modelli insegnante e studente appartengono spesso a famiglie diverse con tokenizzatori eterogenei. Questo disallineamento crea due ostacoli fondamentali:

1. Disallineamento del Vocabolario: Gli insiemi di token ($\mathcal{V}_T$ e $\mathcal{V}_S$) si sovrappongono solo parzialmente. Limitare la supervisione ai token condivisi scarta una porzione significativa della distribuzione di output dell'insegnante.
2. Disallineamento della Sequenza: Anche quando il testo sottostante è identico, tokenizzatori diversi lo segmentano in sequenze di token differenti (ad esempio, "happy" vs "hap" + "py" vs "ha" + "pp" + "y"). Di conseguenza, la distribuzione del prossimo token dell'insegnante a un prefisso specifico potrebbe non corrispondere alla stessa unità di testo della distribuzione dello studente, rendendo la divergenza KL a livello di token standard mal definita.

Le soluzioni esistenti cross-tokenizzatore tentano di colmare questo divario tramite trasporto ottimo (computazionalmente costoso), strati di proiezione appresi (che richiedono parametri aggiuntivi) o matching di chunk a grana grossa (che perdono segnali a grana fine). Questi metodi spesso falliscono nel recuperare l'intero segnale dell'insegnante o introducono un sovraccarico significativo.

2. Metodologia: Semplice OPD Cross-Tokenizzatore (SimCT)

Gli autori propongono SimCT, un metodo che ripristina la supervisione persa espandendo lo spazio di supervisione piuttosto che modificare la funzione obiettivo OPD stessa.

Concetto Chiave: Unità Minime Allineate

Invece di forzare le previsioni a coincidere solo su token identici, SimCT identifica le Unità Minime Allineate (MAU). Una MAU è definita come la continuazione testuale più fine che entrambi i tokenizzatori possono realizzare, anche se la decompongono in sequenze di token diverse.

• Token Condivisi: I token presenti in entrambi i vocabolari ($\mathcal{V}_T \cap \mathcal{V}_S$) sono trattati come unità allineate 1:1.
• MAU: Per le regioni testuali in cui i tokenizzatori non concordano, il metodo costruisce la partizione più fine coerente con i confini, dove ogni unità può essere rappresentata come una sequenza di token dell'insegnante e una sequenza di token dello studente.

Costruzione dello Spazio di Supervisione

SimCT definisce uno spazio di supervisione comune $\mathcal{U}_{SimCT}$:
$$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$$
dove $\mathcal{A}$ è l'insieme di tutte le unità minime allineate.

Punteggio e Perdita

Per confrontare le distribuzioni su questo spazio, SimCT introduce mappe di punteggio $\Pi_T$ e $\Pi_S$:

1. Token Condivisi: Il punteggio è il log-probabilità originale.
2. MAU (Multi-token): Il punteggio è la media normalizzata per lunghezza del log-verosimiglianza dei token costituenti. Per un'unità $u$ realizzata come $k$ token $(v_1, \dots, v_k)$ dal modello $M$:
   $$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$$
   Questa normalizzazione previene la penalizzazione di unità che richiedono più token sotto un tokenizzatore specifico.

Le distribuzioni finali $q_T$ e $q_S$ su $\mathcal{U}_{SimCT}$ sono ottenute normalizzando questi punteggi. La perdita di distillazione rimane la divergenza KL inversa standard:
$$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$$

Proprietà Teoriche

• Teorema 1: Le MAU costituiscono l'interfaccia più fine coerente con i confini giustamente esprimibile da entrambi i tokenizzatori. Nessuna decomposizione strettamente più fine preserva la tokenizzabilità congiunta.
• Proposizione 1: Rendere queste unità più grossolane (unendo le MAU in span più ampi) riduce strettamente la divergenza KL tra le distribuzioni dell'insegnante e dello studente, cancellando efficacemente le distinzioni utili all'interno dello span. Pertanto, preservare la granularità minima è teoricamente ottimale per mantenere il segnale.

3. Contributi Chiave

1. Identificazione della Perdita di Segnale: Il documento dimostra che l'OPD cross-tokenizzatore standard scarta silenziosamente una grande frazione del segnale dell'insegnante a causa sia del disallineamento del vocabolario che di quello delle sequenze.
2. Espansione dello Spazio di Supervisione: SimCT introduce una nuova interfaccia di supervisione che recupera segnali da vocabolari non condivisi e segmenti testuali non allineati 1:1 senza richiedere parametri addestrabili aggiuntivi o calcoli di trasporto complessi.
3. Giustificazione Teorica: Gli autori dimostrano che le MAU rappresentano la granularità di supervisione più fine possibile e che renderle più grossolane rimuove inevitabilmente distinzioni utili tra insegnante e studente.
4. Validazione Empirica: Esperimenti estesi mostrano che SimCT supera costantemente le baseline a vocabolario condiviso e altri metodi cross-tokenizzatore in compiti di ragionamento matematico e generazione di codice.

4. Risultati Sperimentali

Gli autori hanno valutato SimCT su tre coppie insegnante-studente eterogenee (Qwen2.5, Phi-4, Gemma-2) attraverso quattro benchmark: GSM8K, MATH-500, MBPP e LiveCodeBench-v6.

• Miglioramenti delle Prestazioni: SimCT ha ottenuto miglioramenti costanti rispetto ai warm-start SFT e a tutte le baseline (SimpleOPD, DSKD, ALM, GOLD). Ha prodotto un guadagno relativo medio del 6,0% rispetto a SFT e ha superato la migliore baseline cross-tokenizzatore con un margine significativo.
• Analisi del Recupero del Segnale: Studi di ablazione hanno confermato che i guadagni derivano dal recupero di due tipi di segnali scartati:
  • Fuori dal Vocabolario Condiviso (OoSV): Previsioni ad alta probabilità dell'insegnante al di fuori del vocabolario condiviso.
  • Unità Non Allineate: Segmenti di testo che non possono essere allineati 1:1.
    Il recupero di entrambe le fonti tramite lo spazio MAU unificato ha prodotto le migliori prestazioni.
• Ablazione della Granularità: Unire le MAU in unità più grossolane ha portato a un calo delle prestazioni, correlato alla previsione teorica che l'irrigidimento rimuove il segnale KL che rappresenta le preferenze insegnante-studente a grana fine.
• Efficienza: SimCT aggiunge solo un sovraccarico computazionale marginale rispetto a SimpleOPD (circa 0,16 ore per esecuzione su 8 GPU H20) ed è significativamente più veloce dei metodi che richiedono proiezioni apprese o trasporto ottimo.

5. Significato e Affermazioni

Il documento sostiene che il collo di bottiglia principale nell'OPD cross-tokenizzatore non è il paradigma di addestramento in sé, ma la costruzione dello spazio di supervisione. Spostando il focus dal "matching dei token" al "matching delle continuazioni testuali", SimCT recupera una supervisione precedentemente inaccessibile.

Gli autori affermano che SimCT fornisce una soluzione semplice, priva di parametri e robusta per la distillazione tra modelli con tokenizzatori diversi. I risultati suggeriscono che preservare le unità giustamente tokenizzabili più fini è critico per mantenere la qualità dei segnali di apprendimento on-policy. Il lavoro stabilisce che espandere lo spazio di supervisione per includere unità minime allineate è una strategia più efficace rispetto alla modifica della funzione di perdita o all'aggiunta di macchinari di allineamento complessi.

Limitazioni notate dagli autori:

• La valutazione è attualmente limitata ai domini matematico e del codice.
• Il metodo si basa su tokenizzatori standard di tipo BPE; potrebbe essere necessaria un'adattazione per tokenizzatori con comportamenti di segmentazione fondamentalmente diversi.
• L'implementazione attuale presuppone l'accesso in white-box alle distribuzioni del prossimo token dell'insegnante; l'estensione a contesti black-box è lasciata per lavori futuri.