Sintesi Tecnica: DuDi – Distillazione a Doppio Segnale con Verbalizzatore Cross-Lingue

Problematica

I Piccoli Modelli di Linguaggio (SLM) offrono significativi vantaggi in termini di efficienza, scalabilità e implementazione su dispositivi edge con risorse limitate. Tuttavia, le loro capacità multilingue, in particolare per le lingue del Sud-est asiatico (SEA), degradano severamente quando le dimensioni del modello scendono sotto la scala dei miliardi di parametri. Il Fine-Tuning Supervisionato (SFT) standard spesso causa bruschi cali di prestazioni per i modelli sub-miliardari (ad es. Qwen2.5-0.5B) rispetto ai loro omologhi più grandi. Sebbene la Distillazione della Conoscenza (KD) sia una strategia comune per trasferire la conoscenza da insegnanti più grandi a studenti più piccoli, gli approoli di KD multilingue esistenti sono spesso limitati a contesti specifici per task o non riescono a unificare efficacemente la supervisione a livello di sequenza e a livello di token. Inoltre, i metodi di distillazione standard spesso faticano con il disallineamento tra addestramento e inferenza e la diversità linguistica inerente alle lingue SEA, dove i dati di addestramento di alta qualità sono scarsi.

Metodologia: Il Framework DuDi

Gli autori propongono DuDi (Dual-Signal Distillation with Cross-Lingual Verbalizer), un framework unificato progettato per potenziare gli SLM multilingue integrando tre componenti principali:

1. Segnale a Livello di Sequenza

DuDi incorpora un obiettivo online a livello di sequenza ispirato al Self-Play Fine-Tuning (SPIN). A differenza dei metodi iterativi statici, DuDi campiona le risposte ($y' \sim \pi_\theta(x)$) in tempo reale. Il modello viene addestrato per differenziare la propria policy attuale dalla verità di base (ground-truth) massimizzando la verosimiglianza relativa delle risposte ground-truth. Questo guida la policy dello studente verso la direzione della verità di base in modo dinamico.

2. Segnali a Livello di Token (Doppio Segnale)

Per affrontare i limiti del ricorso esclusivamente a dati generati dallo studente o dataset statici, DuDi impiega un approccio a doppio segnale per la supervisione a livello di token:

• Segnale Off-Policy: Derivato dal corpus di addestramento, questo segnale utilizza i logit forniti dall'insegnante per garantire che il segnale di supervisione rimanga strettamente ancorato alla distribuzione della verità di base. Impedisce alla policy appresa di allontanarsi dalla distribuzione dei dati target.
• Segnale On-Policy: Derivato dalle risposte generate dallo studente ($\tilde{y} \sim \pi_\theta(x)$), questo segnale permette all'insegnante di perfezionare gli output auto-generati dello studente, correggendo gli errori in tempo reale.

3. Verbalizzatore Cross-Lingue

Per migliorare la trasferibilità della conoscenza in contesti multilingue, DuDi introduce un verbalizzatore cross-lingue. Questa componente trasforma un prompt di input ($x$), la verità di base ($y$), la lingua sorgente ($l$) e una lingua target campionata ($l_z$) in un prompt verbalizzato strutturato ($z$) per l'insegnante e un corrispondente prompt ($p_z$) per lo studente.

• Meccanismo: L'insegnante riceve il prompt nella lingua sorgente con la verità di base come dimostrazione. Lo studente è poi istruito a generare una risposta nella lingua target (campionata uniformemente dal set di addestramento, escludendo la lingua sorgente, e includendo l'inglese).
• Obiettivo: Questo costringe lo studente ad allineare la propria generazione on-policy con la guida dell'insegnante attraverso i confini linguistici, facilitando segnali di apprendimento più ricchi.

Obiettivo di Addestramento Unificato

L'obiettivo di apprendimento finale ($L_{DuDi}$) è una somma ponderata di:

1. Allineamento a livello di sequenza (stile SPIN).
2. Distillazione a livello di token off-policy (guidata dalla verità di base).
3. Distillazione a livello di token on-policy (guidata dall'insegnante tramite il verbalizzatore cross-lingue).

Contributi Chiave

1. Framework DuDi: Un framework di distillazione multilingue general-purpose che ottimizza congiuntamente obiettivi a livello di sequenza e supervisione a livello di token a doppio segnale (off-policy e on-policy).
2. Verbalizzatore Cross-Lingue: Un meccanismo innovativo che perfeziona il feedback dell'insegnante convertendo input e dimostrazioni in prompt che guidano lo studente a generare risposte in diverse lingue target, migliorando così la trasferibilità.
3. Analisi Esaustiva: Studi di ablazione ed analisi estese che confermano come l'ottimizzazione a livello di sequenza, la supervisione a livello di token e la verbalizzazione cross-lingue forniscano segnali di apprendimento complementari e trasferibili.

Risultati Sperimentali

Gli autori hanno valutato DuDi utilizzando il benchmark SEA-HELM su sette lingue del sud-est asiatico (indonesiano, vietnamita, thailandese, tamil, tagalog, malese e birmano).

• Prestazioni: DuDi ha superato costantemente i baseline competitivi, inclusi SFT, DFT, SPIN, SDFT, SeqKD e GKD.
  • Su Qwen2.5-0.5B, DuDi ha ottenuto un punteggio medio di 10,1, superando statisticamente in modo significativo il secondo miglior baseline (DFT con 9,7) e SPIN (9,5).
  • DuDi ha dimostrato robustezza attraverso diverse famiglie di modelli (Qwen2.5, Qwen3, Llama3.2) e scale (studenti da 0,5B a 1,5B).
  • Nell'impostazione Qwen3-0.6B, DuDi ha migliorato la prestazione media del 15,6% rispetto al forte baseline GKD.
• Studi di Ablazione:
  • Rimuovere la KD off-policy ha causato il calo di prestazioni più grande (-24,6%), evidenziando il suo ruolo critico nell'ancorare il modello alla distribuzione target.
  • Rimuovere la KD on-policy ha comportato un calo del -6,6%.
  • Rimuovere il verbalizzatore ha causato un calo del -5,0%.
  • Rimuovere l'inglese dal set di lingue target nel verbalizzatore ha degradato le prestazioni, suggerendo che l'inglese facilita una migliore trasferibilità cross-lingue.
• Analisi del Verbalizzatore: L'analisi del rapporto di sovrapposizione ha mostato che il verbalizzatore cross-lingue ha raggiunto la massima concordanza tra i logit dell'insegnante e dello studente durante i rollout on-policy, confermando che fornisce i segnali di supervisione più informativi.
• Inizializzazione: Lo studio ha confermato che lo "start a freddo" (cold-start) con SFT (inizializzando da un modello sottoposto a fine-tuning sui dati ground-truth) è cruciale; l'inizializzazione diretta da modelli base o da output generati dall'insegnante ha prodotto prestazioni significativamente inferiori.

Significato e Rivendicazioni

Il paper sostiene che DuDi affronti la specifica sfida di ridurre le capacità multilingue fornendo un framework unificato che sfrutta segnali di apprendimento complementari. Gli autori affermano che:

• L'Ottimizzazione Congiunta è Necessaria: I componenti (segnale di sequenza, doppi segnali di token e verbalizzatore) non sono efficacementi indipendentemente, ma richiedono l'integrazione congiunta per raggiungere risultati allo stato dell'arte negli SLM multilingue.
• Trasferibilità Cross-Lingue: Il verbalizzatore cross-lingue è un'innovazione chiave che migliora la trasferibilità della conoscenza insegnante-studente, superando i limiti dei verbalizzatori solo in inglese o monolingue.
• Robustezza: Il framework è robusto attraverso diverse architetture e scale di modelli, rendendolo una soluzione valida per il deployment di SLM efficienti in ambienti linguistici diversi e a basse risorse come il sud-est asiatico.

Gli autori concludono che DuDi offre un efficace framework di fine-tuning per gli SLM in ambienti multilingue, impegnandosi a rilasciare tutti gli artefatti (codice, dataset, modelli) per la ricerca aperta.