Riepilogo Tecnico: SRA (Allineamento della Rappresentazione degli Span per la Distillazione di Modelli Linguistici di Grande Dimensione)

Enunciato del Problema

Il documento affronta la sfida della Distillazione della Conoscenza Cross-Tokenizer (CTKD), in cui un grande modello linguistico "insegnante" e un modello più piccolo "studente" utilizzano tokenizer e vocabolari differenti. I metodi CTKD esistenti si basano principalmente su strategie di allineamento a livello di token o a livello di logit (ad esempio, utilizzando la distanza di edit, il trasporto ottimale o strati di proiezione). Gli autori sostengono che questi approcci sono spesso fragili e sensibili alle discrepanze tra i tokenizer perché tentano di allineare unità discrete e atomiche che potrebbero non corrispondere semanticamente tra diversi sistemi di vocabolario. Inoltre, i metodi attuali spesso non riescono a catturare le dinamiche sottostanti dell'evoluzione delle caratteristiche all'interno dell'architettura Transformer quando i tokenizer differiscono.

Metodologia: Framework SRA

Il proposto framework SRA riformula la CTKD spostando l'unità fondamentale di allineamento dai singoli token agli span robusti e indipendenti dal tokenizer. Questo approccio si basa sull'analogia fisica dei Sistemi Dinamici Multi-Particellari (MPDS), in cui il Transformer è visto come un sistema di particelle interagenti (token) che evolvono attraverso i livelli.

1. Costruzione e Mappatura degli Span

• Definizione di Span: Invece di allineare direttamente i token, SRA raggruppa i token in "span" che corrispondono alle stesse unità testuali nell'input grezzo.
• Allineamento tramite LCS: Per abbinare gli span tra i modelli insegnante e studente, gli autori calcolano la Sottosequenza Comune più Lunga (LCS) degli offset dei caratteri prodotti da entrambi i tokenizer. Questo identifica i segmenti corrispondenti del testo di input, definendo indici di inizio e fine per gli span allineati in entrambi i modelli senza richiedere una mappatura diretta token-a-token.

2. Rappresentazione dello Span tramite Centro di Massa (CoM)

Attingendo alla prospettiva MPDS, ogni span è trattato come un cluster di particelle. Lo stato di questo cluster è rappresentato dal suo Centro di Massa (CoM):

• Pooling Ponderato: La rappresentazione di uno span è calcolata come una media ponderata dall'attenzione dei suoi stati nascosti di token costituenti.
• Pesi di Attenzione: Il peso $w_i$ per un token è derivato dai punteggi di attenzione ricevuti dall'ultimo token della sequenza attraverso tutte le teste di attenzione. Questo imita il concetto fisico in cui le particelle "più pesanti" (più semanticamente salienti) dominano il centro del cluster.
• Formula: $C_i = \sum w_t H_t$, dove $H_t$ è lo stato nascosto e $w_t$ è il peso derivato dall'attenzione.

3. Obiettivi di Distillazione

SRA impiega una funzione di perdita combinata per trasferire la conoscenza a livello di span:

• Trasferimento dello Stato Nascosto a Livello di Span ($L_{HS}^{Span}$):

  • Allinea le rappresentazioni CoM degli span studente e insegnante utilizzando una perdita di similarità coseno.
  • Regolarizzatore Geometrico ($L_{Geo}$): Per preservare l'integrità strutturale dello spazio di rappresentazione, viene aggiunto un regolarizzatore per mantenere le distanze relative (distanza coseno) tra coppie di span nel modello studente, facendole corrispondere a quelle nel modello insegnante.
  • Perdita Ponderata: La perdita è ponderata dalla salienza semantica degli span (derivata dalla somma dei pesi dei token all'interno dello span), assicurando che lo studente si concentri sulle regioni più informative.

• Distillazione dei Logit degli Span Allineati ($L_{KD}^{Span}$):

  • Affronta la discrepanza del vocabolario ($V_{tea} \neq V_{stu}$) limitando il trasferimento di conoscenza al sottospazio condiviso $\tilde{V} = V_{tea} \cap V_{stu}$.
  • I logit a livello di span sono aggregati dai logit dei token all'interno del vocabolario condiviso, e viene calcolata una divergenza di Kullback-Leibler (KL) tra le distribuzioni dell'insegnante e dello studente su questo spazio condiviso.

• Obiettivo Totale: La perdita finale combina la perdita di cross-entropy standard sulle etichette di verità fondamentale con le perdite di distillazione a livello di span (stati nascosti e logit), bilanciate da un iperparametro $\alpha$.

Contributi Chiave

1. Nuovo Framework Concettuale: Il documento introduce un framework CTKD basato sulla visione del Sistema Dinamico Multi-Particellare dei Transformer, modellando gli span come cluster di particelle e utilizzando il loro Centro di Massa per rappresentazioni stabili e additive.
2. Distillazione a Livello di Span: Propone un metodo per distillare la conoscenza a livello di span, comprendendo sia le rappresentazioni nascoste che i logit. Questo include uno schema di ponderazione derivato dall'attenzione per dare priorità agli span salienti e un regolarizzatore geometrico per preservare la geometria relativa dello spazio di rappresentazione.
3. Validazione Empirica: Gli autori dimostrano che SRA supera significativamente le linee di base CTKD all'avanguardia (inclusi ULD, DSKD, MinED e MultilevelOT) su molteplici coppie insegnante-studente e benchmark.

Risultati Sperimentali

Gli autori hanno valutato SRA su diverse coppie cross-architettura e cross-tokenizer (ad esempio, Qwen1.5/2.5, Mistral-7B, GPT-2, OPT, TinyLLaMA) utilizzando dataset di esecuzione di istruzioni (Dolly, Vicuna, SelfInst, S-NI, DialogSum).

• Prestazioni: SRA ha costantemente ottenuto i punteggi ROUGE-L più alti e le migliori prestazioni medie in tutte le impostazioni rispetto a solide linee di base.
• Qualità Semantica: Le valutazioni semantiche utilizzando GPT-4o-mini come giudice hanno confermato che SRA produce risposte più fedeli semanticamente e allineate contestualmente.
• Studi di Ablazione:
  • La rimozione del regolarizzatore geometrico o del meccanismo di pooling ponderato ha portato a un degrado delle prestazioni, confermando la necessità di preservare le relazioni strutturali e concentrarsi sugli span salienti.
  • Il metodo ha mostrato robustezza anche negli scenari con lo stesso tokenizer, superando i metodi basati sulla distanza e altri metodi CTKD.
• Efficienza: Sebbene SRA richieda leggermente più memoria GPU rispetto ad alcune linee di base a causa dell'abbinamento e dell'aggregazione degli span, ha ottenuto il tempo medio di addestramento per passo più basso tra i metodi confrontati.

Significato e Affermazioni

Il documento afferma che SRA fornisce un approccio robusto e fondato sulla fisica alla distillazione della conoscenza che supera la fragilità dell'allineamento a livello di token. Spostando l'unità di allineamento agli span e sfruttando il concetto di Centro di Massa, SRA supporta naturalmente il trasferimento dell'evoluzione dinamica delle caratteristiche da livello a livello. Gli autori affermano che il loro metodo convalida il principio che la distillazione dovrebbe concentrarsi sulla dinamica dell'evoluzione geometrica del sistema piuttosto che solo sugli output finali, offrendo una soluzione scalabile per il deployment di modelli efficienti in ambienti di tokenizer eterogenei.

Il lavoro è presentato come un passo verso un trasferimento di conoscenza più stabile e completo, sebbene gli autori riconoscano limitazioni come la natura statica della mappatura dei logit attuale e il costo computazionale dell'inferenza dell'insegnante in tempo reale richiesta per l'allineamento degli span.