Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings

Questo lavoro propone l'utilizzo del Trasporto Ottimale come obiettivo di allineamento durante il fine-tuning per migliorare le rappresentazioni contestualizzate multilingue in modo non supervisionato, ottenendo risultati competitivi su compiti di trasferimento cross-linguale come XNLI e XQuAD.

L'essenziale

Immagina di avere due biblioteche enormi: una piena di libri in inglese e l'altra piena di libri in altre lingue (tedesco, arabo, spagnolo, ecc.). Il tuo obiettivo è far sì che i concetti simili in queste due biblioteche "si parlino" tra loro, anche se le parole sono diverse.

In passato, per collegare queste biblioteche, gli informatici usavano dei "dizionari" pre-costruiti. Era come se avessi una lista fissa che diceva: "La parola gatto in inglese corrisponde sempre a Katze in tedesco". Il problema? La lingua non è così rigida. A volte una parola inglese può corrispondere a due parole tedesche, o il significato cambia a seconda del contesto (come la parola "match" che può significare "partita di cricket" o "abbinare i vestiti").

Ecco come questo paper propone di risolvere il problema, usando un'idea matematica chiamata Trasporto Ottimale (Optimal Transport - OT).

L'Analogia del Trasloco Perfetto

Immagina che le parole in una frase siano dei pallet di merci in un magazzino (la lingua di partenza) e tu debba spostarli in un nuovo magazzino (la lingua di destinazione).

1. Il vecchio metodo (Allineamento rigido): Era come avere un camionista che segue una lista rigida. Se la lista dice "sposta il pallet A nel punto B", lo fa, anche se nel nuovo magazzino il punto B è occupato o non ha senso. Se il pallet A pesa 100kg e il punto B può reggere solo 50kg, il camionista si blocca o fa un errore. Inoltre, se hai due pallet che devono andare nello stesso posto, il camionista deve scegliere quale dei due portare, perdendo l'altro.
2. Il metodo nuovo (Trasporto Ottimale): Immagina di avere un traslocatore magico e flessibile. Questo traslocatore non segue una lista rigida. Guarda l'intero magazzino di partenza e quello di arrivo e si chiede: "Qual è il modo più economico ed efficiente per spostare TUTTA la merce dal punto A al punto B, permettendo di dividere i carichi?"
   • Se una parola inglese corrisponde a due parole tedesche, il traslocatore sposta metà del "peso" della parola inglese su una e metà sull'altra.
   • Se il contesto cambia il significato, il traslocatore adatta il percorso in tempo reale.

Cosa fanno gli autori?

Gli autori di questo studio hanno preso un modello di intelligenza artificiale che già parla molte lingue (chiamato mBERT, un po' come un poliglotta che ha letto tutto internet) e lo hanno "addestrato" di nuovo usando questo metodo di trasporto magico.

Ecco i passaggi chiave, spiegati semplicemente:

• Niente dizionari pre-fatti: Non hanno usato liste di parole già allineate. Hanno lasciato che l'IA imparasse da sola quali parole corrispondono a quali, guardando le frasi parallele (frasi che dicono la stessa cosa in lingue diverse).
• Il "Costo" come insegnante: L'obiettivo è minimizzare il "costo" per spostare le parole dalla lingua di partenza a quella di arrivo. Se il modello sbaglia a collegare le parole, il "costo" sale. L'IA impara a ridurre questo costo, diventando sempre più brava a capire le sfumature.
• Contesto è tutto: Poiché usano parole che cambiano significato in base alla frase (embeddings contestualizzati), il "traslocatore" capisce che la parola "banca" in una frase finanziaria è diversa da "banca" in una frase sul fiume, e le sposta in posti diversi nella nuova lingua.

I Risultati: Perché è importante?

Hanno testato questo metodo su due compiti difficili:

1. Capire se una frase ne implica un'altra (es. "Ho un cane" implica "Ho un animale"?).
2. Rispondere a domande trovando la risposta in un testo.

I risultati sono stati ottimi:

• Il loro metodo ha battuto i modelli precedenti che usavano le vecchie liste rigide.
• Ha funzionato molto bene anche per le lingue con poche risorse (lingue per cui non abbiamo molti libri o dati), perché il metodo è intelligente e non ha bisogno di milioni di esempi pre-etichettati per funzionare.
• È stato capace di gestire situazioni complesse, come quando una parola in inglese corrisponde a una frase intera in un'altra lingua (es. "precautionary approach" in inglese corrisponde a una sola parola composta in tedesco).

In sintesi

Pensa a questo lavoro come a un traduttore che non usa un dizionario, ma impara a "sentire" la struttura della lingua. Invece di forzare le parole a stare in posizioni fisse, permette loro di fluire e adattarsi, trovando il percorso più naturale per trasferire il significato da una lingua all'altra.

È come passare dal costruire un ponte rigido e fragile tra due isole, a creare un sistema di barche flessibili che possono trasportare persone e merci in modo dinamico, adattandosi alle onde e alle correnti. Il risultato? Una comunicazione tra lingue molto più fluida e precisa.

Sommario tecnico

1. Il Problema

Le rappresentazioni contestualizzate delle parole (come quelle generate da mBERT) hanno migliorato notevolmente le prestazioni nei compiti NLP, ma l'allineamento tra spazi di embedding di lingue diverse rimane una sfida complessa, specialmente per le lingue a risorse limitate.
Le approcci precedenti per l'allineamento cross-linguale si basavano spesso su:

• Tecniche di rotazione (Procrustes): Richiedono la generazione di una matrice di trasformazione per ogni coppia di lingue, il che è poco scalabile.
• Allineamento basato su coppie di parole pre-collezionate: Utilizzano allineatori supervisionati o non supervisionati (es. FastAlign) per generare coppie di parole "uno-a-uno" prima del fine-tuning. Questo approccio presenta due limiti principali:
  1. Perde le relazioni many-to-many (es. un concetto in una lingua che corrisponde a più parole in un'altra o viceversa).
  2. Le allineamenti pre-calcolati sono spesso sub-ottimali e non tengono conto del contesto dinamico delle parole all'interno di una frase specifica.

L'obiettivo di questo lavoro è migliorare le rappresentazioni contestualizzate multilingue per il trasferimento cross-linguale (zero-shot) senza dipendere da coppie di parole pre-allineate, permettendo invece un allineamento flessibile e contestuale.

2. Metodologia

Gli autori propongono l'uso del Trasporto Ottimale (Optimal Transport - OT) come funzione di perdita (loss function) durante il fine-tuning di un modello linguistico contestualizzato multilingue (mBERT).

• Input: Il metodo utilizza frasi parallele (coppie di frasi allineate nelle lingue sorgente e target, con l'inglese come target fisso). Non richiede dizionari bilingue o allineamenti preesistenti.
• Rappresentazione: Vengono estratte le rappresentazioni contestualizzate (dall'ultimo strato del LM) per le parole o i sub-word nelle frasi sorgente e target.
• Ottimizzazione OT:
  • Viene utilizzata una variante regolarizzata dell'OT, nota come Divergenza di Sinkhorn, che bilancia la distanza di Wasserstein e la Maximum Mean Discrepancy (MMD).
  • L'obiettivo è minimizzare il costo di trasferimento della massa di probabilità dalla distribuzione delle parole della frase sorgente a quella della frase target.
  • A differenza dei metodi rigidi, l'OT permette un allineamento "soft" (morbido) many-to-many. Il modello impara implicitamente quali parole corrispondono in base al contesto, senza essere vincolato a un mapping uno-a-uno predefinito.
• Funzione di Perdita (Fine-tuning):
  • La perdita totale è composta dalla divergenza di Sinkhorn (che guida l'allineamento) più un termine di regolarizzazione L2.
  • Il termine L2 penalizza lo spostamento eccessivo degli embedding rispetto alla loro inizializzazione pre-addestrata, evitando che il modello dimentichi le conoscenze linguistiche originali.
  • L'ottimizzazione avviene in modo end-to-end su batch di frasi parallele.

3. Contributi Chiave

1. Allineamento Non Supervisionato e Dinamico: Eliminano la necessità di coppie di parole pre-collezionate. L'allineamento viene appreso durante il fine-tuning in modo non supervisionato, adattandosi al contesto specifico della frase.
2. Flessibilità Many-to-Many: Grazie alla natura del Trasporto Ottimale, il metodo gestisce naturalmente relazioni complesse tra parole (es. composti, frasi idiomatiche) che i metodi basati su allineatori tradizionali perdono.
3. End-to-End: L'ottimizzazione OT è integrata direttamente nel processo di addestramento del modello linguistico, utilizzando i gradienti della divergenza di Sinkhorn per aggiornare i pesi del LM.
4. Benchmarking: Il metodo è stato valutato su due task standard di trasferimento zero-shot: XNLI (inferenza testuale) e XQuAD (risposta alle domande).

4. Risultati

Gli esperimenti sono stati condotti su mBERT con diverse configurazioni di lingue (5 lingue principali e un set esteso a 15 lingue).

• Rispetto alla Baseline (mBERT): Il metodo proposto (WordOT) ha ottenuto miglioramenti significativi:
  • +1.9% di punteggio F1 medio su XNLI.
  • +1.3% di punteggio F1 medio su XQuAD.
• Rispetto ad altri metodi di allineamento:
  • Supera il metodo basato su allineamento L2 (Cao et al., 2020) con un miglioramento medio di +0.8% su XNLI e +6.7% su XQuAD.
  • Su XQuAD, supera anche l'approccio MAD-X (basato su adapter) con un miglioramento di +4.5% in F1.
  • Su XNLI, i risultati sono comparabili (leggermente inferiori di 1.0%) a modelli più recenti come AMBER, che utilizza obiettivi multipli (MLM, TLM, allineamento).
• Robustezza ai Dati: Il metodo si dimostra robusto anche con quantità ridotte di dati paralleli (fino a 50k frasi), mantenendo prestazioni vicine a quelle ottenute con 250k frasi.
• Limiti: L'applicazione su modelli più grandi e pre-addestrati su dati massicci (come XLM-R) non ha portato a ulteriori miglioramenti significativi rispetto alla baseline, suggerendo che l'OT è più efficace quando il modello pre-addestrato ha meno dati di base o quando l'allineamento esplicito è necessario per colmare il divario tra lingue.

5. Significato e Implicazioni

Questo lavoro dimostra che il Trasporto Ottimale è uno strumento potente per l'allineamento di spazi di embedding contestualizzati.

• Superamento dei limiti degli allineatori tradizionali: Permette di catturare relazioni semantiche e sintattiche complesse (many-to-many) che gli allineatori parola-per-parola non riescono a gestire.
• Efficienza delle risorse: Non richiede la costruzione di dizionari bilingue o l'uso di allineatori esterni, rendendo il processo più scalabile e adattabile a nuove coppie di lingue.
• Trade-off: Sebbene il calcolo OT sia computazionalmente più costoso rispetto all'allineamento L2 (richiede circa il 30% di tempo in più durante il fine-tuning), il guadagno in accuratezza, specialmente per le lingue a risorse limitate e nei task di comprensione del linguaggio, giustifica il costo.

In sintesi, gli autori propongono un approccio elegante che sfrutta la geometria delle distribuzioni di probabilità per allineare le lingue in modo più naturale e contestuale, migliorando le capacità di trasferimento zero-shot dei modelli multilingue moderni.