Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders

Probleemstelling

In het veld van meertalige taalmodellen (zoals XLM-R) wordt vaak aangenomen dat betere kruislinguale uitlijning (cross-lingual alignment) automatisch leidt tot betere kruislinguale overdracht (transfer) van taken. Uitlijning verwijst naar het proces waarbij semantisch equivalente invoer in verschillende talen dichter bij elkaar in de embedding-ruimte worden gebracht.

Echter, empirische bevindingen tonen aan dat expliciete uitlijningstechnieken, hoewel ze de gelijkenis van embeddings verhogen, vaak falen om de prestaties op token-niveau (zoals POS-tagging) te verbeteren, en soms zelfs leiden tot een achteruitgang. De kernvraag van dit onderzoek is: Waarom vertaalt "betere" uitlijning zich niet consistent naar "beter" kruislinguale overdracht?

Methodologie

De auteurs voeren een systematische analyse uit van encoder-only modellen (specifiek XLM-R) om de interactie tussen uitlijningsdoelen, taakdoelen en linguïstische factoren te onderzoeken.

1. Experimenteel Opzet:
Het onderzoek bestaat uit drie fasen:

• Fase I (Uitlijning): Fine-tuning van XLM-R op verschillende taalparen (Duits-Engels, Engels-Kazachs, Japans-Kazachs, Koreaans-Kazachs) met behulp van een aangepaste HiCTL (Hierarchical Contrastive Learning) loss-functie. Deze loss bestaat uit een combinatie van:
  • $L_S$: Zinsniveau-verlies (Sentence-level).
  • $L_W$: Woordniveau-verlies (Word-level).
  • $L_M$: Masked Language Modeling (MLM).
    Er worden 7 verschillende configuraties getest door de gewichten ($\lambda$) van deze losses te variëren (bijv. alleen woordniveau, alleen zinsniveau, of combinaties).
• Fase II (Downstream Fine-tuning): De uitgelijnde checkpoints worden vervolgens gefine-tuned op twee downstream taken in het Engels:
  • POS Tagging (token-niveau taak).
  • Sentence Classification (zinsniveau taak).
    Er worden twee fine-tuning strategieën vergeleken: Full Model Fine-tuning (alle parameters) en Linear Layer Only Fine-tuning (slechts de classificatielaag).
• Fase III (Zero-shot Evaluatie): Evaluatie van de modellen op een reeks talen (waaronder niet-uitgelijnde talen) om de transferprestaties te meten.

2. Analyse-maatstaven:
Naast standaard nauwkeurigheidsmetingen (Accuracy) gebruiken de auteurs geavanceerde representatieve analyses:

• Embedding Afstanden: Cosine-afstanden tussen token- en zinsembeddings in verschillende lagen (4e, 8e, 12e).
• Gradient Similariteit: Analyse van de hoek tussen de gradients van het uitlijningsdoel en het taakdoel. Als deze orthogonaal zijn (hoek van 90 graden), helpen ze elkaar niet; als ze negatief gecorreleerd zijn, conflicteren ze.

Belangrijkste Bijdragen

1. Ontkoppeling van Uitlijning en Prestaties: De auteurs bewijzen dat een vermindering van cosine-afstanden (wat vaak als "succesvolle uitlijning" wordt gezien) niet een betrouwbare voorspeller is voor verbeteringen in downstream-taken.
2. Orthogonaliteit van Doelen: Ze tonen aan dat de gradients van uitlijningsobjectieven en downstream-taakobjectieven vaak orthogonaal (of zelfs conflicterend) zijn. Het optimaliseren van het ene doel draagt weinig bij aan het andere, en kan zelfs schadelijk zijn.
3. Afhankelijkheid van Taaktype: De impact van uitlijning varieert sterk afhankelijk van het taaktype (token-niveau vs. zinsniveau) en de taakstrategie (full fine-tuning vs. lineaire laag).

Resultaten

• Prestatieverschillen:
  • Voor Sentence Classification (zinsniveau) leidt uitlijning vaak tot kleine verbeteringen of stabiele prestaties, vooral wanneer zinsniveau-losses worden gebruikt.
  • Voor POS Tagging (token-niveau) leidt uitlijning vaak tot prestatieverlies, ongeacht de configuratie. Dit is vooral zichtbaar bij full model fine-tuning.
• Gradient Conflicten:
  • De gradienten voor Sentence Classification tonen vaak een positieve correlatie met uitlijningsgradients.
  • De gradienten voor POS Tagging zijn echter vaak orthogonaal of negatief gecorreleerd met uitlijningsgradients. Dit betekent dat het optimaliseren van de uitlijning de parameters in een richting duwt die schadelijk is voor de POS-taak.
• Embedding Afstanden: Hoewel de uitlijning de afstand tussen embeddings in de middenlagen (bijv. laag 8) verkleint (wat de uitlijning bevestigt), correleert dit niet met betere taakresultaten. In sommige gevallen nemen de afstanden in de bovenste lagen juist toe, wat wijst op een verslechtering van de taak-specifieke representaties.
• Fine-tuning Strategie: Linear Layer Only Fine-tuning resulteert in consistentere en vaak betere verbeteringen dan Full Model Fine-tuning. Full fine-tuning versterkt de interferentie tussen de uitlijnings- en taakobjectieven, wat leidt tot instabiliteit en soms degradatie.

Betekenis en Conclusie

De studie weerlegt het algemene dogma dat "meer uitlijning" altijd "beter" is voor meertalige overdracht. De belangrijkste inzichten zijn:

1. Doelconflicten: Uitlijning en downstream-taken zijn vaak orthogonale optimalisatieproblemen. Het verbeteren van de uitlijning zonder rekening te houden met de specifieke eisen van de downstream-taak kan leiden tot "catastrophical forgetting" of suboptimale representaties.
2. Voorzichtige Loss-selectie: Het is cruciaal om de uitlijningsloss af te stemmen op het niveau van de downstream-taak (bijv. woordniveau-loss voor POS-tagging is niet altijd de oplossing, en kan zelfs schadelijk zijn als het conflicteert met de taakgradients).
3. Metrische Valstrik: Het vertrouwen op embedding-afstanden of recall-metrics als proxy voor taakprestaties is misleidend. Deze metrics meten de ruimtelijke uitlijning, maar niet de functionaliteit voor specifieke taken.

Praktische aanbeveling: Voor het combineren van kruislinguale uitlijning met taak-specifiek fine-tuning moeten onderzoekers zorgvuldig kiezen welke loss-functies worden gebruikt en overwegen om alleen de classificatielaag te fine-tunen (linear probing) om de interferentie met de onderliggende representaties te minimaliseren. Uitlijning is geen universele oplossing, maar een proces dat sterk afhankelijk is van de taak, de taalparen en de trainingsdynamiek.