Bridging Linguistic Gaps: Cross-Lingual Mapping in Pre-Training and Dataset for Enhanced Multilingual LLM Performance

Probleemstelling

Meertalige Large Language Models (LLMs) worstelen momenteel met taken die taaloverschrijdend zijn (zoals machinevertaling en cross-linguale vraagbeantwoording). De belangrijkste oorzaken hiervoor zijn:

1. Data-ongelijkheid: Er is een groot tekort aan trainingsdata voor taakarme talen (low-resource languages) vergeleken met taakrijke talen.
2. Monolinguale bias: Bestaande pre-training methoden vertrouwen voornamelijk op "next-token prediction" binnen één taal. Dit versterkt de vlotheid in individuele talen, maar zorgt voor een zwakke semantische uitlijning tussen verschillende talen.
3. Beperkingen van bestaande oplossingen: Bestaande methoden, zoals tweetalige fine-tuning of contrastieve leer, vereisen vaak enorme hoeveelheden parallelle data of leiden tot instabiliteit en overfitting op specifieke taken, waardoor de algemene generatieve capaciteit van het model wordt aangetast.

Methodologie

De auteurs stellen een nieuwe aanpak voor die een Cross-Lingual Mapping (CL) Taak integreert in de continue pre-training fase van een decoder-only LLM (gebaseerd op Llama-3-8B). Deze aanpak combineert twee objectieven:

1. Next-Token Prediction (NTP): Het model blijft trainen op monolinguale data om de vlotheid en kennis van hoge-resourcetalen te behouden en catastrofaal vergeten te voorkomen.
2. Cross-Lingual Mapping (CL): In plaats van expliciete vertaalinstructies te gebruiken, leert het model om een sequentie in een doeltaal te genereren op basis van een volledige bronsequentie in een andere taal. Dit gebeurt zonder vooraf gedefinieerde instructies (instruction-agnostic), waardoor het model een directe, impliciete semantische uitlijning in de embedding-ruimte leert.

De Loss Functie:
Het totale pre-training doel is een som van beide verliesfuncties:
$$L_{PT}(\theta) = L_{NTP}(\theta) + L_{CL}(\theta)$$
Hierbij wordt tijdens het trainen een mix van monolinguale en tweetalige data gebruikt (ongeveer 52,7% NTP en 47,3% CL), zonder extra wegingen tussen de taken.

Nieuwe Evaluatiemetric: Language Alignment Coefficient (LAC)
Om de kwaliteit van de taaluitlijning kwantitatief te meten, introduceren de auteurs de Language Alignment Coefficient (LAC).

• Dit is de verhouding tussen de gemiddelde cosine-相似iteit van zinsembeddings en de standaardafwijking van die similariteitscores over een selectie van lagen in het model.
• LAC is statistisch equivalent aan het omgekeerde van de Variatiecoëfficiënt. Een hogere LAC-waarde geeft aan dat de uitlijning niet alleen sterk is, maar ook stabiel over verschillende lagen van het neurale netwerk, wat robuustheid garandeert zelfs bij beperkte testdata.

Belangrijkste Bijdragen

1. Cross-Lingual Mapping Taak: Een nieuwe pre-training strategie die expliciete taaluitlijning mogelijk maakt zonder monolinguale vlotheid op te offeren.
2. Language Alignment Coefficient (LAC): Een nieuwe, robuuste metric om de consistentie van meertalige representaties te kwantificeren, superieur aan traditionele gemiddelde cosine-相似iteit.
3. Uitgebreid Evaluatiekader: Een comprehensieve evaluatie over Machine Translation (MT), Cross-Lingual Natural Language Understanding (CLNLU), Cross-Lingual Question Answering (CLQA) en Cross-Lingual Summarization (CLSum) voor zowel Llama-3-8B als BLOOM-3B.
4. Dataset Constructie: Het creëren van specifieke datasets voor cross-linguale taken, inclusief handmatig geverifieerde QA-paren en gebruik van bestaande bronnen zoals WMT2024, CrossSum en OpenHermes-2.5.

Resultaten

De experimenten tonen aanzienlijke verbeteringen ten opzichte van sterke baselines (zoals Llama-3-8B met standaard SFT):

• Machine Translation (MT):
  • Tot 11,9 punten verbetering in BLEU-score (bijv. +12,0 op WMT-EN-CS).
  • Significante verbeteringen in COMET-scores, wat aangeeft dat de vertalingen semantisch accurater zijn.
• Cross-Lingual Question Answering (CLQA):
  • Een stijging van 6,72 punten in BERTScore-Precision op de XQuAD dataset.
  • In open-ended vragen (geen referentie) scoorde het model het hoogst in kwaliteit en creativiteit (bijv. het schrijven van gedichten in de stijl van Lewis Carroll).
• Cross-Lingual NLU (CLNLU):
  • Meer dan 5% stijging in nauwkeurigheid op de Belebele dataset voor verschillende taalkoppels.
• Vergelijking met andere methoden:
  • De CL-methode presteert beter dan methoden die alleen gebruikmaken van tweetalige data (Bi_NTP) of methoden met expliciete vertaalinstructies tijdens pre-training (CLI). De CLI-methode leidde namelijk tot overfitting op vertaling en slechtere prestaties in samenvatting en vraagbeantwoording.
  • De methode werkt ook effectief op modellen met een zwakkere basis (BLOOM-3B), waarbij zelfs grotere verbeteringen werden gezien dan op Llama-3-8B.
• Monolinguale Vlotheid:
  • De prestaties op Engelstalige taken (MMLU, LogiQA) bleven vergelijkbaar met of licht verbeterd ten opzichte van de originele baseline, wat aantoont dat er geen sprake is van catastrofaal vergeten.

Significantie

Dit paper biedt een cruciale doorbraak in de ontwikkeling van meertalige LLMs door te bewijzen dat expliciete cross-linguale objectieven tijdens de pre-training essentieel zijn voor robuuste taaluitlijning.

• Efficiëntie: Het lost het probleem op van het vereisen van enorme parallelle corpora voor fine-tuning door de uitlijning in de basisfase in te bouwen.
• Generalisatie: Het model generaliseert beter naar onbekende taalkoppels (zero-shot) en behoudt de flexibiliteit voor diverse downstream taken (van vertaling tot creatief schrijven).
• Toekomstperspectief: Hoewel er nog uitdagingen blijven bij complexe redeneertaken en samenvattingen, biedt deze "Cross-Lingual Mapping" strategie een schaalbare en effectieve route om de kloof tussen hoge- en laag-resourcetalen te overbruggen zonder de kwaliteit van de taalgeneratie te compromitteren.