One Model to Translate Them All? A Journey to Mount Doom for Multilingual Model Merging

1. Problemstellung

Das Paper adressiert die Herausforderung, mehrere unabhängig feinabgestimmte (fine-tuned) maschinelle Übersetzungsmodelle (MT) für verschiedene Sprachpaare zu einem einzigen multilingualen Modell zu verschmelzen, ohne auf die ursprünglichen Trainingsdaten zugreifen zu können.

• Hintergrund: Während das gemeinsame Training (Joint Training) rechenintensiv und datenhungrig ist, bietet das unabhängige Feinabstimmen von monolingualen oder sprachspezifischen Modellen eine praktikable Alternative. Diese spezialisierten Modelle sind jedoch teuer in der Bereitstellung und Wartung.
• Ansatz: „Model Merging" (Modellverschmelzung) kombiniert Gewichte direkt im Weight-Space, um diese Nachteile zu umgehen.
• Das Problem: Obwohl Merging-Strategien (wie Task Arithmetic, TIES, DARE) in multitaskigen Szenarien (z. B. verschiedene Aufgaben in einer Sprache) erfolgreich sind, ist ihr Verhalten im Kontext von multilingualen Übersetzungen (verschiedene Sprachpaare) schlecht verstanden. Die Autoren vermuten, dass die geometrische Inkompatibilität der Gewichte bei unterschiedlichen Zielsprachen zu einem signifikanten Leistungsabfall führt.

2. Methodik

Die Studie verwendet eine systematische Herangehensweise mit folgenden Komponenten:

• Datensatz und Modelle:
  • Basismodell: Qwen-2.5-3B-Instruct.
  • Sprachen: Vier indische Sprachen (Hindi, Bengali, Tamil, Telugu) ↔ Englisch.
  • Daten: Große zweisprachige Korpora aus dem Samanantar-Datensatz (Millionen von Satzpaaren pro Richtung).
  • Training: Vollständiges Fine-Tuning (Full-Parameter Fine-Tuning) für jedes Sprachpaar separat, um starke Upper-Bound-Modelle zu erstellen.
• Versuchsdesign:
  • Die Autoren testen drei Merging-Konfigurationen:
    1. Many-to-One (Indic→En): Verschiedene Quellsprachen, gemeinsame Zielsprache (Englisch).
    2. One-to-Many (En→Indic): Gemeinsame Quellsprache (Englisch), verschiedene Zielsprachen.
    3. Bidirektional: Verschmelzung von En→L und L→En Modellen zu einem bidirektionalen System.
  • Basislinien: Vergleich mit dem vortrainierten Basismodell und den einzelnen feinabgestimmten Modellen.
  • Merging-Methoden: Task Arithmetic, TIES, DARE und SCE-Merging.
• Analyse-Techniken:
  • Span-conditioned Neuron Selectivity: Analyse, welche Neuronen (MLP-Gates) aktiv sind, wenn Quell- vs. Zieltext verarbeitet wird.
  • Neuron Usage Alignment (NUA): Misst die Ähnlichkeit der Aktivierungsmuster zwischen Modellen.
  • Centered Kernel Alignment (CKA): Misst die geometrische Ähnlichkeit der Repräsentationen in verschiedenen Schichten.
  • Principal Angle Analysis: Quantifiziert die geometrische Divergenz der Unterräume in den Repräsentationen.

3. Wichtige Ergebnisse

A. Leistungsabfall beim Merging

• Many-to-One (Indic→En): Das Merging verbessert die Abdeckung und Stabilität über alle Sprachen hinweg im Vergleich zum Basismodell, erreicht aber nicht die Spitzenleistung der einzelnen feinabgestimmten Modelle. Der Leistungsabfall ist moderat.
• One-to-Many (En→Indic): Hier ist der Abfall katastrophal. Die Modelle verlieren fast ihre Fähigkeit, die Zielsprache zu generieren. Beispielsweise bleibt beim Merging für Englisch→Hindi nur noch ca. 22 % der BLEU-Leistung erhalten.
• Bidirektionalität: Die Verschmelzung entgegengesetzter Richtungen führt zu einer starken asymmetrischen Degradation. Die Generierung in die indische Richtung kollabiert fast vollständig, während die Generierung ins Englische teilweise erhalten bleibt.

B. Neuronale Analyse und Ursachen

Die Analyse der internen Repräsentationen liefert die Erklärung für das Scheitern:

1. Schichtspezifische Spezialisierung:
   • Embedding-Schichten: Hier findet eine starke sprachspezifische Anpassung statt (besonders bei der Eingabe indischer Sprachen).
   • Zwischenschichten: Bleiben weitgehend geteilt und kompatibel.
   • Obere Transformer-Schichten (Generierung): Hier findet die kritische Reorganisation statt. Feinabstimmung verteilt die sprachspezifische Selektivität in die oberen Schichten, die für die autoregressive Generierung zuständig sind.
2. Geometrische Inkompatibilität:
   • Obwohl die gleichen Neuronen aktiviert werden (hohe NUA), ändern sich die Aktivierungsgeometrien (Richtungen im Vektorraum) in den oberen Schichten drastisch, wenn die Zielsprache variiert.
   • CKA-Ergebnisse: In den letzten Schichten (z. B. Layer 36) bricht die Ähnlichkeit der Repräsentationen zwischen Modellen mit unterschiedlichen Zielsprachen ein (CKA-Werte fallen auf < 0,20 für Zielsprachen), während die Quellseiten-Alignment hoch bleibt.
3. Ursache des Scheiterns:
   • Das Merging kombiniert geometrisch inkompatible Unterräume in den oberen Schichten. Da diese Schichten die Ausgabe steuern, führt eine lineare Interpolation (Merging) zur Zerstörung der sprachspezifischen Generierungsfähigkeiten, insbesondere wenn die Zielsprachen unterschiedlich sind.
   • Dies widerspricht der Annahme des Mergings, dass Modelle in denselben „Loss-Basin" liegen (modulo Permutationssymmetrie).

4. Hauptbeiträge

1. Systematische Studie: Dies ist eine der ersten umfassenden Untersuchungen des Weight-Space Mergings für multilinguale MT mit vollparametrischem Fine-Tuning auf großen Korpora.
2. Richtungsasymmetrie: Nachweis einer starken Asymmetrie: Merging funktioniert besser, wenn die Zielsprache gleich ist (Many→One), aber scheitert fast vollständig, wenn die Zielsprachen variieren (One→Many) oder bidirektionale Systeme gebildet werden.
3. Mechanistische Erklärung: Identifikation, dass Fine-Tuning die sprachspezifische Spezialisierung nicht nur lokalisiert, sondern die Repräsentationsgeometrie in den oberen Schichten neu organisiert. Diese Umverteilung erhöht die Divergenz in den generativen Schichten, was Standard-Merging-Annahmen verletzt.
4. Open Source: Bereitstellung der Checkpoints für Benchmarking-Zwecke.

5. Bedeutung und Fazit

Das Paper zeigt, dass „One Model to Translate Them All" durch einfaches Weight-Space Merging unabhängig feinabgestimmter Modelle nicht erreicht werden kann, wenn die Zielsprachen unterschiedlich sind.

• Theoretische Implikation: Multilinguales Fine-Tuning verändert die Geometrie des Modells so, dass die Annahmen der linearen Kompatibilität (die für Merging notwendig sind) in den oberen Schichten verletzt werden.
• Praktische Konsequenz: Für den Einsatz in der Praxis bedeutet dies, dass Merging-Strategien für generative multilinguale Systeme neu entwickelt werden müssen, die diese schichtspezifische geometrische Divergenz berücksichtigen, oder dass alternative Ansätze (wie Adapter oder getrennte Heads) notwendig sind.
• Zusammenhang mit bestehender Literatur: Die Ergebnisse stützen die Theorie, dass semantische Strukturen (frühe Schichten) stabil bleiben, während sprachspezifische Generierungsmechanismen (späte Schichten) bei unabhängiger Spezialisierung inkompatibel werden.

Zusammenfassend liefert die Arbeit eine tiefgehende neuronale Erklärung dafür, warum das Verschmelzen von Modellen für unterschiedliche Zielsprachen in der maschinellen Übersetzung zu einem „Berg Doom" (Katastrophe) führt, und hebt die Notwendigkeit hervor, die geometrischen Eigenschaften von Merging im multilingualen Kontext neu zu bewerten.