Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation

Sintesi Tecnica: Inizializzazione degli Embedding per Lingue a Basse Risorse Non Presenti in Modelli NMT Multilingue

Definizione del Problema
I modelli di Traduzione Automatica Neurale (NMT) multilingue, come il NLLB-200 di Meta, supportano 200 lingue ma ne lasciano migliaia non supportate, incluse la maggior parte delle lingue Bantu Grassfields del Camerun. Quando i ricercatori tentano di effettuare il fine-tuning di questi modelli per una lingua non presente, si scontrano con un ostacolo pratico critico: il modello manca di un token linguistico specifico per la nuova lingua. Il workaround standard consiste nel riutilizzare il token di una lingua "proxy" tipologicamente correlata. Tuttavia, non esiste un metodo fondato per selezionare il proxy ottimale, né esiste un confronto sistematico tra le strategie di selezione. Questa lacuna costringe i professionisti a fare affidamento su scelte euristiche che potrebbero non produrre prestazioni ottimali.

Metodologia
Gli autori propongono una strategia di inizializzazione degli embedding che elimina la necessità di selezionare una singola lingua proxy. Invece di mappare una nuova lingua su un singolo token esistente, il metodo inizializza l'embedding del token della nuova lingua come la media aritmetica degli embedding di $k$ lingue tipologicamente correlate già presenti nel modello.

• Procedura: Dato un modello pre-addestrato $M$ con un insieme di token linguistici $L$ e una nuova lingua $L_{new} \notin L$, il nuovo embedding $e_{L_{new}}$ è calcolato come:
  $$e_{L_{new}} = \frac{1}{k} \sum_{i=1}^{k} e_{P_i}$$
  dove $P_i$ sono $k$ lingue proxy appartenenti alla stessa famiglia linguistica. L'architettura del modello viene modificata solo aggiungendo il nuovo token al vocabolario e ridimensionando la matrice di embedding.
• Caso di Studio: Il metodo è stato valutato su Limbum (ISO 639-3: 'lmp'), una lingua Bantu Grassfields priva di precedenti risorse computazionali (nessun treebank, embedding di parole o corpus parallelo).
• Selezione dei Proxy: Per il Limbum, gli autori hanno selezionato tre lingue Bantu presenti in NLLB-200: Swahili (swh), Luganda (lug) e Lingala (lin). Significativamente, nessuna di queste è un parente stretto all'interno del sottogruppo Grassfields, ma condividono l'appartenenza alla più ampia famiglia Bantu.
• Protocollo di Addestramento: Gli autori hanno effettuato il fine-tuning di NLLB-200-distilled-600M utilizzando uno schema in due fasi per il modello con embedding mediato (S2b): una fase di warm-up in cui tutti i parametri sono congelati tranne il nuovo embedding e gli strati di cross-attention, seguita da un full fine-tuning.
• Dati: Lo studio ha utilizzato il primo corpus parallelo Limbum-Inglese, composto da 8.837 coppie di frasi derivate dal Nuovo Testamento in Limbum (7.380 coppie) e da un dizionario Limbum-Inglese (1.457 coppie).

Configurazione Sperimentale e Baseline
Lo studio ha confrontato quattro sistemi:

1. S0 (Zero-shot): NLLB-200 senza fine-tuning, mappando l'input in Limbum sul token Swahili.
2. S1 (From Scratch): Un Transformer addestrato da zero sul corpus Limbum-Inglese.
3. S2a (Single Proxy): NLLB-200 sottoposto a fine-tuning utilizzando lo Swahili come unico token proxy.
4. S2b (Averaged Initialization): NLLB-200 sottoposto a fine-tuning con il nuovo token Limbum inizializzato tramite la media degli embedding di Swahili, Luganda e Lingala.

Risultati Chiave

• Dominanza del Trasferimento Multilingue: Il risultato più significativo è il divario di prestazioni tra il modello "from-scratch" (S1, chrF2++ = 14,5) e le varianti fine-tuned di NLLB-200 (S2a/S2b, chrF2++ $\approx$ 47). Il trasferimento multilingue ha garantito un miglioramento di 32 punti, mentre la scelta della strategia di inizializzazione (singolo proxy vs. media) ha contribuito per meno di un punto.
• Equivalenza delle Strategie: L'inizializzazione mediata (S2b) ha raggiunto un chrF2++ di 46,7, un valore statisticamente comparabile all'approccio a singolo proxy Swahili (S2a, chrF2++ = 47,3). Gli intervalli di confidenza al 95% si sovrappongono significativamente.
• Efficienza dei Dati: La curva di apprendimento ha mostrato rendimenti decrescenti. Utilizzando solo il 25% dei dati di addestramento (1.768 coppie), S2b ha raggiunto un chrF2++ di 32,12, quasi il doppio rispetto alla baseline "from-scratch".
• Copertura Lessicale: Uno studio di ablazione rimuovendo i dati del dizionario (lasciando solo il testo del Nuovo Testamento) ha causato un drastico calo delle prestazioni sugli elementi di test del dominio del dizionario (da 25,48 a 15,30 chrF2++), confermando che le risorse lessicali supplementari sono critiche per la copertura fuori dominio.
• Fallimento Sistemico sui Toni: Tutti i sistemi, inclusi i modelli fine-tuned, hanno ottenuto un'accuratezza dello 0,0% nella preservazione dei diacritici tonali. Sebbene i punteggi chrF2++ fossero elevati, i modelli non sono riusciti a riprodurre le marcature tonali contrastive essenziali per la chiarezza semantica in Limbum (ad esempio, distinguere "venire" da "essere").

Significatività e Contributi
Il documento apporta cinque contributi primari:

1. Creazione di Risorse: Il rilascio del primo corpus parallelo Limbum-Inglese (8.837 coppie) e del relativo codice per supportare la ricerca NLP per questa lingua a basse risorse.
2. Validazione Empirica: Dimostrare che il fine-tuning di NLLB-200 su lingue Bantu estremamente esigue (es. Limbum) produce alte prestazioni (chrF2++ $\approx$ 47) utilizzando dati minimi (7.070 coppie) su hardware di classe consumer (Google Colab T4 GPU).
3. Innovazione Metodologica: Proporre un metodo di media degli embedding che eguaglia le prestazioni del fine-tuning a singolo proxy, eliminando la necessità di una selezione euristica del proxy. Ciò fornisce un "default sicuro" per i ricercatori che lavorano con lingue non presenti.
4. Analisi di Ablazione: Quantificare il contributo delle frazioni di dati e il valore specifico delle risorse lessicali supplementari (dizionari) in contesti a basse risorse.
5. Evidenziare Sfide Aperte: Documentare il fallimento totale dei sistemi NMT attuali nel preservare i diacritici tonali, identificando una lacuna critica per le lingue africane tonali dove le metriche standard come chrF2++ e BLEU non riescono a penalizzare l'ambiguità semantica causata dalla mancanza di segni tonali.

Conclusione
Lo studio conclude che, per la traduzione in lingue Bantu estremamente esigue, il trasferimento multilingue è il fattore dominante nelle prestazioni, rendendo la specifica scelta della strategia di inizializzazione (media vs. singolo proxy) secondaria. Il metodo di media offre un'alternativa più robusta e fondata alla selezione del proxy, consentendo un adattamento efficace senza complessità architettoniche. Tuttavia, l'incapacità di questi modelli di gestire i diacritici tonali rimane una sfida non ancora risolta per la NMT nelle lingue tonali.