Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation

Riepilogo Tecnico: Sfruttare le Dinamiche di Instradamento nei Modelli Mixture-of-Experts per un Adattamento Linguistico Efficiente

Enunciato del Problema
I modelli Mixture-of-Experts (MoE) sono lo standard per il scaling dei Large Language Models (LLM) grazie alla loro capacità di mantenere un numero massiccio di parametri mantenendo gestibili i costi di inferenza tramite attivazione sparsa. Tuttavia, il comportamento di instradamento interno dei modelli MoE in contesti multilingue rimane poco esplorato. Sebbene sia noto che i modelli multilingue densi si affidano all'inglese come "pivot" interno negli strati intermedi, con neuroni specifici per la lingua nei primi e negli ultimi strati, non è chiaro come i MoE sviluppino strategie di instradamento specializzate per le diverse lingue. Inoltre, l'adattamento di grandi MoE a nuove lingue a risorse limitate è computazionalmente costoso. Sebbene la loro struttura modulare permetta teoricamente un adattamento efficiente in termini di parametri aggiornando solo un sottoinsieme di esperti, attualmente non è noto quali esperti aggiornare senza una previa comprensione delle dinamiche di instradamento multilingue.

Metodologia
Gli autori conducono uno studio controllato utilizzando il modello OLMoE-Base (un transformer solo-decodificatore con 64 esperti per strato, che seleziona i migliori 8) per investigare le dinamiche di instradamento durante il pre-addestramento continuo.

1. Configurazione del Pre-addestramento Continuo: Il modello OLMoE-Base centrato sull'inglese viene pre-addestrato continuamente su un corpus bilanciato di 35 miliardi di token che copre sette lingue ad alta risorsa (inglese, arabo, ceco, spagnolo, finlandese, hindi, russo) campionati dal dataset CulturaX. Il modello risultante è denominato OLMoE-M7.
2. Metriche di Analisi dell'Instradamento: Per caratterizzare come viene distribuita la massa di instradamento, gli autori analizzano:
   • Entropia del Router: Misura quanto è concentrata l'attivazione degli esperti per una data lingua. Un'entropia più bassa implica che i token sono instradati a un piccolo sottoinsieme di esperti.
   • Divergenza di Instradamento Cross-lingua (JSD): La Divergenza Jensen–Shannon tra le distribuzioni di utilizzo degli esperti a livello di lingua per quantificare quanto siano distinti i pattern di instradamento tra coppie di lingue.
   • Sovrapposizione del Vocabolario: Viene analizzata la sovrapposizione del vocabolario a livello di token tra coppie di lingue per verificare se essa guidi la similarità di instradamento più della similarità tipologica o basata sulla famiglia linguistica.
3. Strategia di Adattamento (SSFT): Motivati dall'analisi dell'instradamento, gli autori propongono il Fine-tuning Selettivo e Condiviso degli Esperti (SSFT) per l'adattamento a lingue a risorse limitate.
   • Selezione degli Esperti: Definiscono un "gap di attivazione" (la differenza nella frequenza di attivazione tra le due lingue principali di un esperto) per identificare gli esperti specifici per la lingua.
   • Aggiornamento Ibrido: SSFT aggiorna solo gli ultimi due strati del modello. Seleziona un piccolo insieme di esperti specifici per la lingua (quelli con un alto gap di attivazione per la lingua target) e li integra con un piccolo insieme di esperti "condivisi" (altamente attivi in tutte le lingue).
   • Baseline: Il metodo è confrontato con il Fine-tuning Selettivo degli Esperti (SEFT, solo specifico per la lingua), il Fine-tuning Casuale degli Esperti, il Fine-tuning di Tutti gli Esperti (AEFT) e il Fine-tuning del Modello Completo (Full-FT).

Principali Risultati sulle Dinamiche di Instradamento

• Specializzazione per Strato: Contrariamente all'ipotesi che un addestramento multilingue bilanciato induca una separazione linguistica in tutto il modello, lo studio rileva che l'instradamento rimane diffuso e agnostico rispetto alla lingua negli strati iniziali e intermedi. Una specializzazione linguistica distinta emerge principalmente negli strati finali.
• Sovrapposizione del Vocabolario vs. Famiglia Linguistica: Negli strati finali, la similarità di instradamento si correla più fortemente con la sovrapposizione del vocabolario a livello di token rispetto alla famiglia linguistica, alla similarità sintattica o geografica. Ad esempio, hindi e marathi (alta sovrapposizione del vocabolario) mostrano pattern di instradamento simili, mentre inglese e olandese (famiglia condivisa ma bassa sovrapposizione) mostrano pattern divergenti.
• Dominanza dell'Inglese: Il modello base esibisce pattern di instradamento dominati dall'inglese. Il pre-addestramento continuo riduce questa dominanza ma non la elimina; i token in inglese mantengono ancora pattern di instradamento distinti rispetto alle lingue non inglesi negli strati finali.

Risultati sull'Adattamento a Risorse Limitate
Gli autori valutano SSFT su sei lingue a risorse limitate (catalano, estone, marathi, slovacco, ucraino, urdu) accoppiate con ancoraggi ad alta risorsa.

• Prestazioni: SSFT ottiene un forte compromesso tra prestazioni ed efficienza. Sulla benchmark MultiBLiMP, SSFT raggiunge una precisione media dell'83,6%, superando SEFT (78,7%) e Random-SEFT (73,8%). Si avvicina alle prestazioni di Full-FT (90,5%) aggiornando significativamente meno parametri.
• Efficienza: SSFT aggiorna meno del 2% dei parametri del modello (circa 75–138M parametri). In termini di costo computazionale, SSFT richiede circa 10 volte meno ore GPU e 100 volte meno FLOPs rispetto a Full-FT.
• Esperti Condivisi: L'inclusione di esperti condivisi in SSFT è critica; aggiornare solo gli esperti specifici per la lingua (SEFT) produce prestazioni inferiori, e semplicemente aumentare il numero di esperti specifici per la lingua (SEFT-Top20) non eguaglia le prestazioni dell'approccio ibrido SSFT.
• Robustezza: Gli autori notano che mentre Full-FT porta a un oblio catastrofico delle lingue apprese precedentemente quando addestrato su dataset più grandi, SSFT dimostra un oblio catastrofico inferiore.

Significato e Affermazioni
Il paper afferma di fornire indicazioni pratiche per l'adattamento multilingue a risorse limitate nei modelli MoE. Dimostrando che la specializzazione linguistica nei MoE è concentrata negli strati finali e guidata dalla sovrapposizione del vocabolario, gli autori mostrano che un adattamento efficiente non richiede un fine-tuning completo del modello. La strategia proposta SSFT sfrutta queste dinamiche per ottenere prestazioni competitive con aggiornamenti minimi dei parametri. Il lavoro suggerisce che un adattamento efficace si basa su un approccio ibrido: indirizzare esperti specializzati per la nuova lingua preservando al contempo gli esperti condivisi per mantenere la stabilità cross-lingua. Gli autori concludono che questi risultati offrono una via per un adattamento linguistico scalabile ed efficiente senza il carico computazionale del fine-tuning completo.

Limitazioni
Gli autori riconoscono che i loro esperimenti sono limitati all'architettura OLMoE-Base (1B attivi / 7B parametri totali) a causa dei vincoli computazionali. Notano inoltre che la loro strategia si basa sull'esistenza di una lingua "ancora" ad alta risorsa con una significativa sovrapposizione del vocabolario, il che potrebbe limitare l'applicabilità a isolati linguistici o lingue a risorse limitate senza parenti stretti nei dati di pre-addestramento. Infine, i risultati sono specifici per il pre-addestramento continuo su corpora bilanciati e potrebbero differire sotto altri regimi di addestramento.