Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance

1. Il Problema

I Modelli Linguistici su Grande Scala (LLM) multilingue attuali, come mBERT, mT5 e Llama3, mostrano prestazioni subottimali nelle attività che richiedono generazione e comprensione cross-lingua (es. traduzione automatica, riassunto cross-lingua, QA). Le cause principali identificate sono:

• Squilibrio dei dati: I corpora di pre-addestramento sono dominati da lingue ad alta risorsa, lasciando le lingue a bassa risorsa sottorappresentate.
• Bias monolingua: Il pre-addestramento standard si basa sulla previsione del prossimo token in un contesto monolingua, rafforzando la fluidità all'interno di una singola lingua ma limitando il trasferimento cross-lingua.
• Limitazioni dei metodi esistenti: Approcci come il fine-tuning bilingue o l'allineamento contrastivo spesso richiedono grandi quantità di dati paralleli, soffrono di instabilità o non sono compatibili con le architetture decoder-only autoregressive.

2. Metodologia

Gli autori propongono un approccio di pre-addestramento continuo che integra esplicitamente un obiettivo di allineamento cross-lingua senza sacrificare la fluidità monolingua. La metodologia si basa su tre pilastri principali:

A. Task di Mappatura Cross-Lingua (CL Task)

A differenza dei metodi tradizionali che usano la previsione di token mascherati (MLM) o istruzioni esplicite di traduzione, il nuovo task Cross-Lingual Mapping (CL) è progettato specificamente per modelli decoder-only.

• Funzionamento: Dato un paio di frasi parallele $(X, Y)$, dove $X$ è la lingua sorgente e $Y$ la lingua target, il modello impara a generare la sequenza $Y$ condizionato interamente sulla sequenza $X$ e sui token target già generati.
• Obiettivo: Questo approccio allinea direttamente gli spazi semantici latenti tra le lingue durante la fase di pre-addestramento, permettendo al modello di apprendere corrispondenze semantiche e trasformazioni sintattiche senza dipendere da istruzioni fisse o separazione rigida tra encoder e decoder.

B. Ottimizzazione Giusta (Joint Optimization)

Il framework di addestramento combina due obiettivi in una singola funzione di perdita:

1. Next-Token Prediction (NTP): Mantiene la competenza monolingua e la fluidità (prevedendo il prossimo token nella stessa lingua).
2. Cross-Lingual Mapping (CL): Allinea le rappresentazioni tra le lingue.
   La perdita totale è: $\mathcal{L}_{PT} = \mathcal{L}_{NTP} + \mathcal{L}_{CL}$.
   Questo garantisce che il modello non dimentichi le lingue ad alta risorsa (evitando il "catastrophic forgetting") mentre sviluppa robuste capacità di trasferimento.

C. Coefficiente di Allineamento Linguistico (LAC)

Per valutare quantitativamente la coerenza tra le lingue, gli autori introducono una nuova metrica, il Language Alignment Coefficient (LAC).

• Definizione: È il rapporto tra la media della similarità coseno degli embedding delle frasi e la deviazione standard di queste similarità su un sottoinsieme di layer del modello.
• Vantaggio: A differenza della semplice similarità coseno media, il LAC normalizza la similarità rispetto alla sua dispersione (variabilità). Un valore LAC più alto indica non solo un'allineamento forte, ma anche una stabilità dell'allineamento attraverso i diversi layer del modello, rendendolo robusto anche in scenari con pochi dati.

3. Contributi Chiave

1. Nuovo Task di Pre-addestramento: Introduzione del task CL che modella esplicitamente le corrispondenze linguistiche durante il pre-addestramento, superando i limiti del fine-tuning bilingue post-hoc.
2. Nuova Metrica di Valutazione: Sviluppo del LAC per quantificare in modo robusto la coerenza delle rappresentazioni multilingue, specialmente utile per lingue a bassa risorsa.
3. Framework di Valutazione Esteso: Creazione di un ampio set di dati e benchmark che copre Traduzione Automatica (MT), Comprensione del Linguaggio Naturale Cross-Lingua (CLNLU), QA Cross-Lingua (CLQA) e Riassunto (CLSum).
4. Validazione Empirica: Dimostrazione che l'approccio proposto migliora significativamente le prestazioni rispetto a baseline forti (come Llama-3-8B e BLOOM-3B) senza degradare le capacità monolingue.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Llama-3-8B e BLOOM-3B, utilizzando dataset come WMT2024, FLORES-200, XQuAD e Belebele.

• Traduzione Automatica (MT):
  • Il modello proposto (Llama_CL) ha ottenuto miglioramenti significativi nel punteggio BLEU, con un incremento fino a +11.9 punti rispetto alle baseline su coppie di lingue specifiche (es. EN-CS).
  • Ha superato anche approcci con istruzioni esplicite di traduzione (Llama_CLI) in termini di generalizzazione, evitando l'overfitting su task specifici.
• QA Cross-Lingua (CLQA):
  • Su XQuAD, il modello ha mostrato un aumento di 6.72 punti nel punteggio BERTScore-Precision rispetto alla baseline.
  • Nelle valutazioni di QA open-ended (senza riferimento), il modello ha ottenuto il punteggio più alto in termini di qualità della risposta generata.
• Comprensione del Linguaggio (CLNLU):
  • Sull'dataset Belebele, si è osservato un aumento di oltre il 5% nell'accuratezza rispetto alle baseline.
• Perplexità Monolingua:
  • Il modello ha mantenuto o migliorato la perplexità sulle lingue ad alta risorsa, dimostrando che l'aggiunta del task CL non compromette la fluidità monolingua.
• Analisi Ablativa:
  • Gli esperimenti hanno confermato che l'integrazione del task CL durante il pre-addestramento è cruciale. L'uso di dati bilingue solo nel fine-tuning o con istruzioni esplicite (pre-training con prompt di traduzione) ha portato a risultati inferiori o a un'overfitting su task specifici.

5. Significato e Implicazioni

Questo lavoro dimostra che l'integrazione esplicita di obiettivi cross-lingua nella fase di pre-addestramento è superiore rispetto ai metodi di allineamento post-hoc o al semplice fine-tuning.

• Efficienza: Permette di costruire LLM multilingue più robusti senza richiedere quantità massive di dati paralleli per ogni fase successiva.
• Generalizzazione: Il modello apprende una rappresentazione semantica condivisa che facilita il trasferimento di conoscenza anche verso coppie di lingue non viste durante l'addestramento (generalizzazione zero-shot).
• Equilibrio: Risolve il compromesso tra fluidità monolingua e capacità cross-lingua, un problema storico nei modelli multilingue.

In sintesi, il paper propone una soluzione scalabile ed efficace per colmare il divario linguistico nei LLM, offrendo un nuovo paradigma per l'addestramento di modelli capaci di comprendere e generare testo in modo coerente attraverso diverse lingue, con particolare attenzione alle lingue a bassa risorsa.