Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights

1. Il Problema

I Large Language Models (LLM) moderni sono fortemente centrati sulla lingua inglese, mostrando prestazioni significative nei linguaggi a risorse limitate (low-resource). Le strategie di adattamento esistenti, come il continual pre-training (pre-addestramento continuo) e il fine-tuning con istruzioni specifiche, presentano due gravi svantaggi per le comunità linguistiche con poche risorse:

1. Costo Computazionale Elevato: Richiedono enormi quantità di risorse hardware per l'addestramento.
2. Dipendenza dai Dati: Necessitano di grandi corpus di testo e, soprattutto, di dataset di istruzioni di alta qualità (coppie domanda-risposta) nella lingua target, che spesso sono difficili o impossibili da reperire.
   Inoltre, ogni volta che viene rilasciato un nuovo modello istruito più potente, le comunità devono ripetere l'intero processo di adattamento, creando un collo di bottiglia insostenibile.

2. Metodologia

Gli autori propongono l'uso del Model Merging (fusione di modelli) come alternativa leggera ed efficiente per trasferire la competenza linguistica a un LLM già istruito, senza necessità di un nuovo addestramento.

Flusso di lavoro:

1. Preparazione dei Modelli Base: Vengono addestrati modelli base specifici per la lingua target (Basco, Galiziano, Catalano, Spagnolo) utilizzando un continual pre-training su corpus specifici.
2. Fusione (Merging): Questi modelli base specifici per la lingua vengono fusi con un modello istruito generico (ad es., Llama 3.1 Instruct o Qwen 3 Instruct) utilizzando tecniche di fusione dei pesi.
3. Obiettivo: Ottenere un modello che mantenga le capacità di seguire le istruzioni del modello originale, ma che abbia acquisito la competenza linguistica del modello base specifico.

Tecniche di Fusione Valutate:
Il paper confronta diverse strategie di fusione:

• Linear Merging: Media pesata semplice dei parametri.
• Task Arithmetic: Somma dei vettori di task (differenza tra modello fine-tuned e base) al modello base.
• DARE (Drop And REscale): Sparsifica i vettori di task eliminando parametri ridondanti e ridimensionando i rimanenti.
• TIES & Breadcrumbs: Tecniche avanzate per risolvere conflitti di segno e filtrare aggiornamenti estremi o trascurabili.

Esperimenti:

• Lingue: Basco (eu), Galiziano (gl), Catalano (ca), Spagnolo (es).
• Famiglie di Modelli: Llama 3.1 (8B) e Qwen 3 (8B e 14B).
• Scenari: Fusione monolingue (una lingua alla volta) e fusione multilingue (combinazione di più modelli specifici in un unico modello).

3. Contributi Chiave

1. Dimostrazione di Fattibilità: Si prova che è possibile "insegnare" una nuova lingua a un LLM istruito fondendolo con un modello base specifico, eliminando la necessità di dataset di istruzioni nella lingua target.
2. Analisi Sistematica: Viene fornita una caratterizzazione sperimentale approfondita di diverse tecniche di fusione e configurazioni di iperparametri (pesi di fusione $w_i$) su quattro lingue iberiche.
3. Estensione del Benchmark IFEval: Gli autori hanno esteso il benchmark IFEval (valutazione del rispetto delle istruzioni) al Basco e al Galiziano, creando risorse preziose per la valutazione di modelli in lingue a risorse limitate.
4. Rilascio Open Source: Vengono rilasciati i modelli base addestrati, i modelli istruiti fusi per tutte le lingue target e le varianti del dataset IFEval.

4. Risultati Principali

• Prestazioni Linguistiche: I modelli fusi mostrano miglioramenti sostanziali nelle lingue target rispetto ai modelli istruiti non adattati, specialmente per le lingue a risorse più scarse (Basco, Galiziano, Catalano). Le prestazioni sono competitive rispetto ai metodi di adattamento congiunto (pre-training + instruction tuning) ma con un costo computazionale drasticamente inferiore.
• Traduzione Automatica: I modelli fusi migliorano significativamente la qualità della traduzione (BLEU score) verso e dalle lingue target.
• Seguire le Istruzioni (Instruction Following):
  • I modelli fusi mantengono la capacità di seguire le istruzioni, sebbene con risultati variabili a seconda della tecnica di fusione.
  • Non superano sempre il modello istruito originale (baseline), indicando che la fusione può talvolta degradare leggermente l'allineamento, ma non lo distrugge.
  • La tecnica Linear Merging e Task Arithmetic si sono dimostrate le più robuste in generale.
• Fusione Multilingue: È possibile fondere più modelli linguistici specifici in un unico modello multilingue che mantiene prestazioni bilanciate, sebbene leggermente inferiori rispetto ai modelli monolingue specifici.
• Impatto degli Iperparametri: È stato osservato che aumentare il peso del modello base linguistico ($w_i$) migliora le prestazioni linguistiche ma può degradare la capacità di seguire le istruzioni. Un intervallo ottimale di $w_i \in [0.5, 1.0)$ è stato identificato per bilanciare le due esigenze.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti significativo per l'accessibilità dei LLM nelle lingue minoritarie e a risorse limitate:

• Efficienza: Riduce drasticamente i requisiti hardware, permettendo a gruppi di ricerca più piccoli di adattare modelli all'avanguardia alle proprie lingue senza dover ri-addestrare da zero.
• Scalabilità: Offre una soluzione scalabile per aggiornare i modelli linguistici ogni volta che escono nuove versioni di modelli istruiti potenti; basta fondere il nuovo modello con il modello base linguistico esistente.
• Sostenibilità: Promuove la diversità linguistica nell'IA riducendo il divario tra le lingue ad alta risorsa e quelle a bassa risorsa, rendendo i modelli più equi e inclusivi.

In sintesi, il paper dimostra che il Model Merging è un'alternativa praticabile, efficiente ed efficace alle tradizionali metodologie di adattamento, ponendo le basi per un futuro più accessibile dei modelli linguistici multilingue.