Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Sintesi Tecnica: Mix-MoE: Miglioramento della Traduzione Automatica Multilingue dei Modelli Linguistici di Grande Formato tramite MoE Miste

Enunciato del Problema
Sebbene i Modelli Linguistici di Grande Formato (LLM) dimostrino capacità solide nella traduzione automatica multilingue (MT), il loro fine-tuning su corpora paralleli introduce una sfida significativa: l'interferenza dei parametri. Quando un LLM viene affinato per un compito a valle come la traduzione utilizzando nuovi dati, i suoi parametri si spostano per ottimizzare il nuovo compito, causando spesso il degrado delle sue capacità originali, solide, di comprensione e generazione linguistica monolingue. Gli approcci esistenti, come le architetture generiche di Mixture-of-Experts (MoE) o i metodi di isolamento dei parametri, spesso mancano di design specifici per il compito che sfruttino esplicitamente la conoscenza monolingue pre-addestrata per assistere la traduzione, oppure si affidano a meccanismi di instradamento che considerano solo il contenuto semantico, trascurando potenzialmente pattern strutturali o ritmici sottostanti nel testo.

Metodologia
Gli autori propongono Mix-MoE, un framework misto di Mixture-of-Experts progettato per addestrare LLM per la MT multilingue mitigando l'interferenza dei parametri. Il framework trasforma un LLM denso in un modello MoE sparso con due gruppi distinti di esperti e impiega una strategia di addestramento in due fasi:

1. Gruppi di Esperti Specializzati:

   • Esperti di Modello Linguistico (LM): Progettati per catturare e conservare la conoscenza monolingue appresa durante il pre-addestramento. Questi sono inizializzati "upcycling" i pesi dei livelli originali della Rete Feed-Forward (FFN) dell'LLM.
   • Esperti di Traduzione Automatica (MT): Specializzati nell'acquisire e memorizzare la conoscenza di traduzione bilingue. Questi sono inizializzati dagli Esperti LM pre-addestrati.
   • Il modello prende di mira i livelli FFN per la trasformazione MoE, poiché questi livelli funzionano come memorie chiave-valore per la conoscenza linguistica, mantenendo i livelli di Attenzione densi per preservare la consapevolezza del contesto.

2. Meccanismo di Instradamento Potenziato da FFT:

   • Per facilitare un'interazione efficace tra gli esperti e catturare segnali linguistici diversificati, gli autori introducono un meccanismo di instradamento potenziato da caratteristiche della Trasformata di Fourier Veloce (FFT).
   • Le caratteristiche spettrali vengono estratte dagli stati nascosti del modello tramite FFT e concatenate alle rappresentazioni semantiche originali.
   • Reti di instradamento separate (una per gli esperti LM, una per gli esperti MT) utilizzano queste rappresentazioni aumentate per selezionare gli esperti. Ciò permette al router di considerare non solo il contenuto semantico, ma anche pattern nel dominio della frequenza indicativi della struttura del testo (ad esempio, ritmo della frase, complessità morfologica).

3. Strategia di Post-Pre-addestramento in Due Fasi:

   • Fase 1 (Addestramento degli Esperti LM): Il modello viene addestrato su corpora monolingue. Solo gli Esperti LM e la loro rete di instradamento corrispondente vengono aggiornati. L'obiettivo è rifinire la rappresentazione delle strutture linguistiche individuali.
   • Fase 2 (Addestramento degli Esperti MT): Il modello viene addestrato su corpora paralleli bilingue. Gli Esperti LM e i loro parametri del router vengono congelati per preservare la conoscenza monolingue acquisita. Solo gli Esperti MT e la loro rete di instradamento vengono addestrati per specializzarsi nel compito di traduzione.

Contributi Chiave

1. Architettura Mix-MoE: Una nuova architettura MoE che presenta esperti LM e MT specializzati, accoppiata a un meccanismo di instradamento potenziato da FFT che sfrutta sia segnali semantici che potenziali segnali strutturali dal testo.
2. Strategia di Addestramento in Due Fasi: Una pipeline di addestramento su misura che permette agli Esperti MT di beneficiare della conoscenza pre-addestrata mentre si specializzano nella traduzione, separando efficacemente gli obiettivi di apprendimento monolingue e bilingue per mitigare l'interferenza dei parametri.
3. Validazione Empirica: Esperimenti estesi che dimostrano come il metodo proposto raggiunga risultati all'avanguardia su molteplici compiti di traduzione e coppie linguistiche.

Risultati Sperimentali
Gli autori hanno valutato Mix-MoE su 14 direzioni linguistiche utilizzando il dataset WMT (inclusi finlandese, ceco, tedesco, russo, turco, estone e cinese da/per inglese) e il benchmark FLORES-200.

• Prestazioni: Mix-MoE ha costantemente superato le linee di base, inclusi il Fine-tuning Completo, LoRA, LLaMA-Pro e varianti generiche di MoE (ad esempio, MoE-LPR, LLaMA-MoE v2). Ad esempio, nel compito DE-EN, Mix-MoE ha ottenuto un punteggio BLEU di 31,8, superando significativamente la linea di base del Fine-tuning Completo in Due Fasi (20,8).
• Mitigazione dell'Interferenza dei Parametri: Studi di ablazione hanno confermato che la separazione degli esperti è cruciale. Un addestramento MoE standard in due fasi (aggiornamento di tutti gli esperti nella Fase 2) ha ottenuto risultati peggiori rispetto a Mix-MoE, indicando che il congelamento specifico degli Esperti LM previene la dimenticanza catastrofica.
• Instradamento FFT: I confronti con la Proiezione Casuale e la Trasformata Discreta del Coseno (DCT) hanno mostrato che le caratteristiche derivate dalla FFT hanno migliorato significativamente l'efficacia dell'instradamento, confermando che i pattern nel dominio della frequenza forniscono segnali strutturali preziosi per la selezione degli esperti.
• Scalabilità: Il metodo ha dimostrato robustezza e scalabilità quando esteso a modelli più grandi (Llama3.1-8B e Qwen2.5-14B), superando costantemente gli approcci di fine-tuning completo.

Significato e Affermazioni
Il documento afferma che Mix-MoE affronta la sfida critica dell'interferenza dei parametri nel fine-tuning degli LLM per la traduzione multilingue. Separando esplicitamente l'apprendimento della modellazione linguistica monolingue e della traduzione bilingue in gruppi di esperti distinti, e utilizzando un meccanismo di instradamento sensibile ai pattern strutturali del testo, il framework preserva con successo le capacità linguistiche originali dell'LLM migliorando al contempo le prestazioni di traduzione. Gli autori collocano questo lavoro come un passo avanti nell'addestramento efficiente della MT, offrendo una soluzione pratica per il dispiegamento di sistemi di traduzione multilingue che mantengono una comprensione linguistica di alta qualità senza la ridondanza di aggiornamenti massicci dei parametri.