Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders

1. Problemstellung

Im Bereich der mehrsprachigen Sprachmodelle (z. B. XLM-R, mBERT) wird oft angenommen, dass eine bessere Kreuzsprachen-Alignment (Cross-Lingual Alignment) – also das räumliche Zusammenrücken semantisch äquivalenter Embeddings verschiedener Sprachen – automatisch zu einer besseren Kreuzsprachen-Transferleistung (Cross-Lingual Transfer) führt.

Die Autoren stellen diese Annahme jedoch in Frage. Empirische Beobachtungen zeigen, dass explizite Alignment-Techniken, obwohl sie die Ähnlichkeit der Embeddings erhöhen, häufig keine Verbesserung bei token-basierten Downstream-Aufgaben (wie POS-Tagging) bewirken und diese Leistung manchmal sogar verschlechtern. Die zentrale Forschungsfrage lautet: Warum führt „besseres" Alignment nicht zu „besserem" Transfer, und welche Faktoren beeinflussen diese Diskrepanz?

2. Methodik

Die Studie basiert auf einer systematischen Analyse von Encoder-only-Modellen (speziell XLM-R, 270M Parameter) und verfolgt einen dreistufigen experimentellen Ansatz:

• Phase I: Kreuzsprachen-Alignment (Fine-Tuning):
  • Das Basismodell wird mit verschiedenen kontrastiven Lernzielen (basierend auf HiCTL) aligniert.
  • Es werden vier Sprachpaare verwendet: Deutsch-Englisch, Englisch-Kasachisch, Japanisch-Kasachisch und Koreanisch-Kasachisch.
  • Die Verlustfunktionen kombinieren unterschiedliche Ebenen: Satz-Ebene ($L_S$), Wort-Ebene ($L_W$) und Masked Language Modeling ($L_{MLM}$). Es werden 7 verschiedene Konfigurationen dieser Verlustkombinationen getestet.
• Phase II: Downstream Fine-Tuning:
  • Die alignierten Modelle werden für zwei Aufgaben feinabgestimmt: POS-Tagging (token-basiert) und Satzklassifizierung (satzbasiert).
  • Zwei Fine-Tuning-Strategien werden verglichen: Full Fine-Tuning (alle Parameter) und Linear-Only Fine-Tuning (nur der letzte lineare Layer wird aktualisiert, der Encoder bleibt eingefroren).
• Phase III: Zero-Shot Evaluation:
  • Die Leistung wird auf einer Vielzahl von Sprachen (einschließlich solcher, die im Alignment nicht vorkamen) evaluiert.
  • Zusätzlich zu der Genauigkeit (Accuracy) werden repräsentationale Analysen durchgeführt:
    • Kosinus-Abstände zwischen Embeddings (Token- und Satzebene).
    • Gradienten-Similarität: Analyse der Winkel zwischen den Gradienten des Alignment-Ziels und den Gradienten der Downstream-Aufgabe.

3. Schlüsselbeiträge und Erkenntnisse

Die Autoren identifizieren zwei Hauptgründe für das Scheitern des Transfers trotz besseren Alignments:

1. Unzuverlässigkeit von Embedding-Distanzen als Metrik:

   • Eine Verringerung der Kosinus-Distanzen zwischen Embeddings (was als „besseres Alignment" interpretiert wird) ist kein verlässlicher Prädiktor für eine Verbesserung der Downstream-Aufgaben.
   • Modelle, die in der 8. Schicht (oft als sprachneutraler Bereich angesehen) starke Distanzreduktionen zeigen, leiden dennoch unter Leistungsabfällen bei der Feinabstimmung.

2. Orthogonalität der Gradienten (Konflikt der Ziele):

   • Die Gradienten des Alignment-Ziels und die der Downstream-Aufgabe sind oft fast orthogonal (Winkel nahe 90 Grad) oder sogar negativ korreliert.
   • Dies bedeutet, dass die Optimierung des einen Ziels (Alignment) wenig bis nichts zur Optimierung des anderen (Aufgabenerfüllung) beiträgt und sich die Ziele sogar gegenseitig behindern können.
   • Unterschied nach Aufgabentyp: Bei der Satzklassifizierung sind die Gradienten oft positiv korreliert mit dem Alignment, während sie beim POS-Tagging (token-basiert) häufig orthogonal oder konfliktär sind.

3. Einfluss des Fine-Tuning-Modus:

   • Linear-Only Fine-Tuning zeigt konsistentere Verbesserungen, da der Encoder (und damit das Alignment) stabil bleibt.
   • Full Fine-Tuning verstärkt den Gradientenkonflikt, was zu Leistungsabfällen führen kann, da das Modell versucht, sowohl das Alignment als auch die spezifische Aufgabe zu optimieren, was zu widersprüchlichen Parameterupdates führt.

4. Ergebnisse

• Leistungsdaten (Tabelle 1): Die Ergebnisse variieren stark je nach Verlustkonfiguration und Sprachpaar. Die reine Wort-Level-Alignment ($S_0W_1M_0$) führt oft zu Leistungsverschlechterungen. Kombinationen, die Satz-Level-Verluste beinhalten, funktionieren besser für Satzklassifizierung, aber nicht unbedingt für POS-Tagging.
• Gradienten-Analyse (Tabelle 3):
  • Für POS-Tagging sind die Gradienten-Similaritäten oft negativ oder nahe Null, was auf einen fundamentalen Konflikt zwischen Alignment und der feinen token-basierten Struktur hinweist.
  • Für Satzklassifizierung sind die Gradienten-Similaritäten tendenziell positiver, was erklärt, warum Alignment hier eher hilft.
• Sprachliche Faktoren: Sprachpaare, die Englisch enthalten, zeigen oft stärkere Konflikte als Paare ohne Englisch (z. B. Japanisch-Kasachisch), was auf die Rolle von Englisch als „Anker" und die damit verbundene Verzerrung hindeutet.

5. Bedeutung und Schlussfolgerungen

Das Paper widerlegt die intuitive Annahme, dass „mehr Alignment" immer „besseren Transfer" bedeutet. Die wichtigsten Implikationen sind:

• Metriken neu bewerten: Die bloße Messung von Embedding-Ähnlichkeiten oder Recall-Werten reicht nicht aus, um den Erfolg von Alignment-Methoden für Downstream-Aufgaben zu bewerten.
• Zielkonflikte erkennen: Alignment und Downstream-Aufgaben sind oft orthogonal. Eine naive Kombination beider Ziele ohne sorgfältige Abstimmung kann schädlich sein.
• Praktische Leitlinien:
  • Für token-basierte Aufgaben (wie POS, NER) sollte man vorsichtig mit explizitem Alignment sein, da der Gradientenkonflikt hoch ist.
  • Linear-Only Fine-Tuning ist eine stabilere Strategie nach dem Alignment, da sie das gelernte Alignment im Encoder bewahrt.
  • Die Wahl des Verlusts muss auf die repräsentationale Ebene der Aufgabe abgestimmt sein (Satz-Level-Alignment für Satzklassifizierung, etc.).

Zusammenfassend zeigt die Arbeit, dass die Interaktion zwischen linguistischen Strukturen, Verlustdesign und Fine-Tuning-Dynamiken komplex ist und dass „besseres" Alignment nur dann zu „besserem" Transfer führt, wenn die Gradienten der Ziele kompatibel sind und die Fine-Tuning-Strategie diesen Konflikt managt.