Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings

In dit artikel wordt een methode voorgesteld die Optimal Transport gebruikt als uitlijningsdoelwit tijdens het fine-tunen van meertalige contextuele embeddings, waardoor onbegeleide en zachte woorduitlijning mogelijk is zonder vooraf bekende paren, wat leidt tot verbeterde prestaties bij kruislinguale transferopdrachten zoals XNLI en XQuAD.

De kern

Stel je voor dat je twee groepen mensen hebt die in totaal verschillende talen spreken: één groep spreekt Nederlands en de andere spreekt bijvoorbeeld Japans. Je wilt dat ze samenwerken aan een project, maar ze begrijpen elkaar niet.

In de wereld van kunstmatige intelligentie (AI) proberen we computers te leren om deze twee groepen te laten "praten" met elkaar. Dit doen we door de woorden van beide talen om te zetten in een soort digitale "ruimte" waar ze dicht bij elkaar liggen als ze hetzelfde betekenen.

Deze paper beschrijft een nieuwe, slimme manier om die digitale ruimte te ordenen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Woordenboek"-Valkuil

Vroeger probeerden AI-modellen twee talen te laten overeenkomen door een strak woordenboek te gebruiken. Ze dachten: "Oké, 'hond' in het Nederlands moet precies op 'dog' in het Engels staan."

Maar taal is lastig. Soms betekent één woord in het Nederlands twee verschillende dingen in het Engels, afhankelijk van de context.

• Voorbeeld: Het woord "match" in het Engels kan betekenen "een schoen die past bij een broek" (passend zijn) of "een cricketwedstrijd". In het Nederlands zijn dat twee totaal verschillende woorden ("passen" vs. "wedstrijd").
• De fout: Oude methoden dwongen de computer om één op één te koppelen. Dat werkt niet goed als de context verandert. Het is alsof je probeert een losse puzzel in te passen in een raam dat net iets te klein is; je moet de stukjes forceren, en dat gaat niet perfect.

2. De Oplossing: Optimal Transport (De "Verhuisbed"-Analogie)

De auteurs van dit paper gebruiken een wiskundig concept genaamd Optimal Transport (OT).

Stel je voor dat je een verhuisbedrijf runt.

• De Bron: Je hebt een huis vol meubels (de zinnen in het Nederlands).
• De Doel: Je hebt een leeg huis waar die meubels naartoe moeten (de zinnen in het Engels).
• De Taak: Je wilt de meubels zo verplaatsen dat het huis aan de andere kant er precies zo uitziet als het origineel, maar dan in een andere taal.

Bij de oude methoden (zoals een strak woordenboek) was het alsof je elke stoel één specifieke stoel in het nieuwe huis moest koppelen. Als je 3 stoelen hebt en er staan er 4 in het nieuwe huis, krijg je problemen.

Met Optimal Transport is het anders. Je mag meubels verdelen.

• Als je in het Nederlands één groot woord hebt dat twee kleine woorden in het Engels omvat, mag je die ene stoel "opsplitsen" en over twee stoelen in het nieuwe huis verdelen.
• Je berekent de minimale moeite (de "kosten") die nodig is om alles van A naar B te verplaatsen.
• Het systeem leert tijdens het verhuizen zelf welke meubels bij elkaar horen, zonder dat je van tevoren een lijstje met "dit is een stoel, dit is een tafel" hoeft te maken.

3. Hoe werkt dit in de computer? (De "Leraren"-Analogie)

De auteurs gebruiken een slimme AI (een "Contextualized Language Model", zoals mBERT) die al veel taal kent, maar die ze nog moeten "fijnschaven" voor vertaling.

1. De Les: Ze geven de computer een stapel zinnen in het Nederlands en de bijbehorende zinnen in het Engels.
2. De Oefening: De computer probeert de Nederlandse zinnen om te zetten naar de Engelse ruimte.
3. De Strafpunten: In plaats van te zeggen "Fout! 'Hond' moet op 'dog' staan", zegt de computer: "Hoeveel moeite kost het om deze hele zin in het Nederlands naar deze zin in het Engels te verplaatsen?"
   • Als de computer de woorden goed heeft begrepen (bijvoorbeeld dat "match" hier "passen" betekent), is de "verhuiskost" laag.
   • Als de computer de woorden door elkaar haalt, is de kost hoog.
4. Het Leren: De computer gebruikt deze "kosten" als een lesbrief. Hij past zichzelf aan om de kosten steeds lager te krijgen. Zo leert hij zelf welke woorden bij elkaar horen, zelfs als er geen woordenboek is.

4. Waarom is dit cool?

• Geen woordenboek nodig: Je hoeft niet eerst duizenden woordenparen te verzamelen en te controleren. De computer leert het zelf terwijl hij oefent.
• Flexibel: Het kan omgaan met complexe situaties. Soms is één woord in taal A gelijk aan drie woorden in taal B. De oude methoden faalden hier; deze methode werkt het uit alsof je een stukje boter over drie broodjes smeert.
• Beter resultaat: De tests tonen aan dat deze methode beter presteert dan eerdere methoden, vooral bij moeilijke taken zoals het beantwoorden van vragen in een andere taal of het begrijpen van zinnen.

Samenvatting in één zin

In plaats van een stijf woordenboek te gebruiken om talen te koppelen, gebruiken deze onderzoekers een slimme "verhuisstrategie" die de computer zelf laat uitrekenen hoe je de betekenis van een zin het makkelijkst van de ene taal naar de andere kunt verplaatsen, waardoor de AI veel slimmer en flexibeler wordt.

Technische samenvatting

Probleemstelling

Hoewel contextuele woordembeddings (zoals BERT) de prestaties in NLP-taken aanzienlijk hebben verbeterd, blijft het verbeteren van meertalige representaties en cross-linguale transfer learning een uitdaging, vooral voor talen met beperkte data (low-resource languages).

Bestaande methoden voor het aligneren van embedding-ruimten tussen bron- en doeltaal hebben verschillende beperkingen:

1. Afhankelijkheid van vooraf gedefinieerde paren: Veel methoden vereisen vooraf verzamelde woordparen (bijv. via fastAlign) die vaak suboptimaal zijn en heuristieken gebruiken om één-op-één mapping te forceren. Dit negeert complexe linguïstische relaties zoals één-op-meerdere of meerdere-op-één mapping (bijv. samengestelde woorden).
2. Contextuele complexiteit: Bij contextuele embeddings verandert de betekenis van een woord afhankelijk van de context. Eenvoudige rotatie-methoden (zoals Procrustes) of statische woordaligners kunnen deze dynamische context niet adequaat vangen.
3. Rigiditeit: Bestaande technieken zijn vaak rigide en vereisen specifieke transformatiematrices per taalpaar, wat schaalbaarheid beperkt.

Methodologie

De auteurs stellen een nieuwe aanpak voor die Optimal Transport (OT) gebruikt als aligniedoelstelling (loss function) tijdens het fine-tunen van een meertalig contextueel taalmodel (LM).

Kerncomponenten van de methode:

1. Input: Het model gebruikt parallelle zinnen (bron- en doeltaal) zonder vooraf gedefinieerde woordaligneringen.
2. Optimal Transport (OT): In plaats van statische mapping, wordt OT gebruikt om de "kosten" te minimaliseren van het transporteren van de verdeling van woordrepresentaties in de brontaal naar die in de doeltaal.
   • Er wordt gebruikgemaakt van de Sinkhorn-divergentie, een geregulariseerde variant van OT. Dit introduceert een entropische straffing die zorgt voor "soft matching". Hierdoor kunnen woorden in de bronzin op een zachte manier worden gekoppeld aan meerdere woorden in de doeltaal (en vice versa), wat beter past bij de werkelijkheid van taal.
   • De cost matrix ($C$) wordt berekend op basis van de Euclidische afstand tussen de contextuele embeddings (uit de laatste laag van het LM).
3. Fine-tuning proces:
   • Voor elke iteratie worden parallelle zinnen ingevoerd.
   • De embeddings worden gegenereerd door het LM.
   • De OT-optimizer berekent de optimale transportkosten (de Sinkhorn-divergentie) tussen de bron- en doelverdelingen.
   • Deze kosten worden gebruikt als een extra loss-term om het LM te fine-tunen. De totale loss bestaat uit de OT-kosten plus een regularisatieterm die voorkomt dat de embeddings te ver afwijken van de initiële pre-getrainde staat.
   • Het proces verloopt end-to-end: het model leert de woordaligneringen impliciet tijdens het optimaliseren van de loss, zonder externe aligners.

Belangrijkste Bijdragen

1. Ongecontroleerde Alignering: Het introduceren van OT als een ongecontroleerde (unsupervised) methode voor het aligneren van embeddings, wat de noodzaak elimineert van vooraf verzamelde één-op-één woordparen.
2. Soft Matching in Context: Het toepassen van OT binnen de ruimte van contextuele embeddings, waardoor het model complexe, context-afhankelijke relaties (zoals één-op-meerdere mapping) kan leren in plaats van geforceerde één-op-één mapping.
3. End-to-End Learning: Het model leert de aligneringen direct tijdens het fine-tunen, wat leidt tot een bredere scope van linguïstische informatie (semantiek en syntaxis) die wordt meegenomen in de alignering.

Resultaten

De methode (genaamd WordOT) is geëvalueerd op twee standaard cross-linguale taken: XNLI (tekstuele implicatie) en XQuAD (vraagbeantwoording).

• Prestaties: In vergelijking met de baseline mBERT (multilingual BERT) boekte WordOT gemiddelde verbeteringen van:
  • +1,9% F1-score op XNLI.
  • +1,3% F1-score op XQuAD.
• Vergelijking met SOTA: De resultaten waren concurrerend met of beter dan recente state-of-the-art modellen zoals AMBER en MAD-X, vooral op XQuAD waar een verbetering van +4,5% t.o.v. MAD-X werd behaald.
• Robuustheid: De methode bleek robuust zelfs met minder parallelle data (bijv. 50k zinnen in plaats van 250k), wat het geschikt maakt voor low-resource scenario's.
• Kwalitatieve Analyse: Het model slaagde erin om complexe linguïstische structuren correct te aligneren, zoals samengestelde Duitse woorden die vertaald werden naar meervoudige Engelse termen, en contextuele afhankelijkheden in het Arabisch.

Betekenis en Impact

Dit paper biedt een significante doorbraak in het veld van cross-linguale NLP door:

• Afscheid te nemen van rigide aligneringen: Het toont aan dat het forceren van één-op-één mapping suboptimaal is voor contextuele embeddings en dat "soft" transport (OT) een superieur alternatief biedt.
• Efficiëntie in data-gebruik: Het demonstreert dat men hoge prestaties kan behalen zonder enorme hoeveelheden vooraf gelabelde woordparen, wat cruciaal is voor talen met weinig digitale resources.
• Schaalbaarheid: Hoewel de berekening van OT computatiever is dan eenvoudige L2-afstanden (ongeveer 30% langzamer tijdens training), levert het aanzienlijk betere resultaten op, wat de trade-off tussen rekentijd en nauwkeurigheid rechtvaardigt.

Samenvattend proposeert deze studie een elegante, end-to-end oplossing die de kracht van Optimal Transport benut om meertalige contextuele embeddings effectiever te aligneren, waardoor cross-linguale transfer voor diverse taalparen wordt verbeterd.