Riepilogo Tecnico: DeltaMoE – Una Via Efficiente in Dati verso LLM Multilingue

1. Enunciato del Problema

L'espansione dei Large Language Models (LLM) verso nuove lingue è attualmente un processo ad alta intensità di risorse. La pipeline standard prevede un Continued Pre-Training (CPT) su corpora multilingue massicci, seguito da una complessa fase di allineamento post-training (ad esempio, SFT e RL). Questo approccio richiede un'estesa ripetizione dei dati per prevenire l'oblio catastrofico delle capacità originali e necessita di enormi quantità di dati di istruzione di alta qualità per l'allineamento.

Le recenti tecniche di fusione "senza dati" tentano di bypassare la fase di allineamento fondendo un modello potenziato dal CPT con un modello instruct esistente. Tuttavia, questi metodi affrontano un compromesso critico:

• Media Lineare (Model Soups): Diluisce le conoscenze linguistiche appena acquisite, limitando i guadagni nelle lingue espansive.
• Fusione Delta: L'applicazione diretta delle modifiche ai parametri causa spesso un oblio catastrofico delle capacità linguistiche originali del modello.

La sfida fondamentale consiste nell'acquisire nuove capacità linguistiche e di allineamento in modo efficiente senza sacrificare le prestazioni originali del modello.

2. Metodologia: DeltaMoE

Gli autori propongono DeltaMoE, un framework in due fasi che riutilizza un modello denso in un'architettura Mixture-of-Experts (MoE) per risolvere il suddetto compromesso.

Fase 1: Continued Pre-Training tramite Riutilizzo Sparse

Il modello base denso viene trasformato in un'architettura MoE creando copie profonde delle reti Feed-Forward (FFN) originali per fungere da "esperti".

• Architettura: Il modello è composto da $N$ esperti e un router. I parametri originali (in particolare l'0-esimo esperto) vengono bloccati per agire come un repository dedicato per le conoscenze linguistiche originali.
• Addestramento: Solo gli esperti di espansione appena aggiunti e il router vengono aggiornati durante il CPT sui dati della nuova lingua.
• Obiettivo: Il modello minimizza la perdita di Next Token Prediction (NTP) utilizzando una perdita di bilanciamento del carico (LLB) per garantire una distribuzione efficiente dei token tra gli esperti. Ciò assicura che la conoscenza originale rimanga intatta mentre le nuove lingue vengono apprese dagli esperti attivi.

Fase 2: Fusione del Modello MoE (Integrazione Delta)

Una volta che il modello base MoE è stato addestrato su nuove lingue, mancano le capacità di allineamento. Invece di un costoso post-training, gli autori innestano un delta parametrico ($\Delta_{post}$) da un modello instruct denso ben allineato.

• Calcolo del Delta: $\Delta_{post} = \theta_{post-trained} - \theta_{base}$, rappresentante la conoscenza di allineamento acquisita durante l'addestramento del modello instruct.
• Innesto per Componenti:
  • Parametri Condivisi: Per i livelli comuni a entrambe le architetture densa e MoE (ad esempio, Attenzione, Embedding), il delta viene applicato direttamente.
  • Parametri degli Esperti: Per i livelli FFN, viene calcolato un singolo delta specifico per FFN dai pesi FFN del modello denso. Questo delta viene poi applicato uniformemente a tutti gli esperti nell'architettura MoE.
• Razionale: Questa strategia tratta tutti gli esperti come eredi della stessa struttura fondamentale, permettendo alla conoscenza di allineamento di essere trasmessa a tutti gli esperti senza diluire le conoscenze linguistiche specifiche memorizzate negli esperti bloccati o addestrati.

3. Contributi Chiave

1. Nuovo Framework: Introduzione di DeltaMoE, che integra il riutilizzo MoE con una strategia di fusione delta raffinata per espandere le lingue e acquisire capacità di allineamento senza pesanti procedure di post-training.
2. Risoluzione dei Compromessi: Il metodo disaccoppia efficacemente l'acquisizione di conoscenze (tramite nuovi esperti) dalla ritenzione delle conoscenze (tramite esperti bloccati) e dal trasferimento di allineamento (tramite innesto delta), risolvendo il conflitto tra l'espansione delle capacità e la preservazione di quelle originali.
3. Generalizzabilità: L'approccio è validato su diversi modelli base (Qwen2.5-7B, LLaMA-3.1-8B) e diverse fonti di delta di allineamento (instruct standard, Tulu3 SFT), dimostrando robustezza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sull'espansione di Qwen2.5-7B e LLaMA-3.1-8B verso ungherese, serbo e bengalese, valutati rispetto a baseline con dati, FLOPs e conteggi di parametri corrispondenti.

• Prestazioni sulle Lingue Espansive: DeltaMoE ha raggiunto prestazioni all'avanguardia (SOTA), migliorando i punteggi medi sulle lingue espansive di 1.7 punti rispetto ad altri metodi basati su delta con parametri comparabili.
• Preservazione delle Capacità Originali: A differenza della fusione delta densa che ha causato un significativo oblio, DeltaMoE ha preservato le prestazioni linguistiche originali, superando le baseline di fusione delta densa di 1.5 punti nelle metriche di ritenzione.
• Efficienza: Anche quando le baseline dense sono state addestrate su una quantità di dati CPT doppia (per corrispondere ai FLOPs dell'addestramento MoE), DeltaMoE ha mantenuto un vantaggio significativo (circa 1.94 punti) nelle prestazioni sulle lingue espansive.
• Studi di Ablazione:
  • Strategia di Fusione: La media lineare all'interno di un'architettura MoE non è riuscita a risolvere il compromesso, confermando la necessità dell'approccio di fusione delta.
  • Sintonizzazione del Router: Una strategia minima di ripetizione dei dati (0.15B token) combinata con la sintonizzazione del router ha permesso a DeltaMoE di superare le baseline di media densa nella ritenzione delle conoscenze.
  • Scalabilità: L'aumento del numero di esperti addestrabili oltre tre ha prodotto guadagni trascurabili, suggerendo che 3 esperti addestrabili sono sufficienti per più lingue espansive.

5. Significato e Affermazioni

Il documento afferma che DeltaMoE offre un percorso pratico e scalabile per estendere l'allineamento multilingue degli LLM esistenti. Riutilizzando i modelli densi in architetture MoE e innestando delta di allineamento, il metodo:

• Elimina la necessità di enormi dataset di istruzioni e complesse fasi di allineamento RL per le nuove lingue.
• Risolve il dilemma "oblio vs. apprendimento" intrinseco nelle attuali tecniche di fusione.
• Fornisce un'alternativa efficiente in termini di dati che raggiunge prestazioni superiori con un sovraccarico computazionale significativamente inferiore rispetto all'espansione dei dati di addestramento densi.

Gli autori riconoscono le limitazioni, notando che le lingue valutate non rappresentano pienamente la diversità linguistica globale e che l'architettura MoE introduce un sovraccarico computazionale non trascurabile rispetto ai modelli densi durante l'inferenza. Tuttavia, il framework è presentato come una soluzione robusta per un'espansione multilingue efficiente.