Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen zwar beeindruckende allgemeine Intelligenz und reasoning-Fähigkeiten, leiden jedoch unter einer starken Ungleichgewichtigkeit in ihrer Mehrsprachigkeit. Während sie in Englisch und einigen ressourcenstarken Sprachen hervorragend funktionieren, versagen sie oft bei der zuverlässigen Verarbeitung (Verstehen und Generieren) von Texten in ressourcenarmen oder bisher nicht gesehenen Sprachen.

Das Kernproblem liegt nicht im fehlenden Wissen, sondern in der Schwierigkeit, dieses Wissen mit den unterschiedlichen semantischen Repräsentationsräumen verschiedener Sprachen zu verknüpfen. Bestehende Ansätze, die Encoder-Modelle zur Verbesserung des Eingangsverständnisses nutzen, lassen die Generierung oft weiterhin englisch-zentriert. Eine direkte Integration von Übersetzungsmodellen ist schwierig, da die Repräsentationsräume von Encoder-Decoder-Übersetzungsmodellen und LLMs (die oft als Decoder-only oder Encoder-Decoder mit unterschiedlichen Tokenisierungen und Trainingszielen agieren) nicht direkt kompatibel sind.

2. Methodik: XBridge

Die Autoren stellen XBridge vor, ein compositional Framework, das die Stärken von vortrainierten multilingualen Encoder-Decoder-Übersetzungsmodellen (NMT) mit einem englisch-zentrierten LLM kombiniert, ohne das LLM neu zu trainieren.

Architektur:
XBridge folgt einer Encoder-LLM-Decoder-Architektur:

1. Multilingualer Encoder: Nimmt Eingaben in beliebigen Sprachen entgegen und kodiert sie in einen gemeinsamen semantischen Raum.
2. Frozen LLM (Kern): Dient als englisch-zentriertes „Wissenszentrum" für die allgemeine Wissensverarbeitung und das Reasoning. Der Encoder-Output wird über eine leichte Mapping-Schicht in den Eingaberaum des LLM projiziert.
3. Multilingualer Decoder: Generiert die Ausgabe in der Zielsprache. Die Hidden States des LLM werden über eine Decoder-Mapping-Schicht in den Repräsentationsraum des Decoders transformiert.

Schlüsselkomponenten:

• Leichte Mapping-Schichten: Um die Repräsentationslücke zwischen den heterogenen Modellen zu überbrücken, werden einfache, trainierbare MLPs (Multi-Layer Perceptrons) zwischen Encoder-LLM und LLM-Decoder eingefügt.
• Optimal Transport (OT) Alignment: Ein zentrales technisches Element ist die Einführung eines auf Optimal Transport basierenden Alignments. Da Tokenizer unterschiedlicher Modelle unterschiedliche Sequenzlängen erzeugen, wird eine „weiche, viele-zu-viele"-Zuordnung zwischen den LLM-Ausgaben (in Englisch) und den Encoder-Repräsentationen derselben Inhalte berechnet. Dies erzwingt eine feinkörnige semantische Konsistenz auf Token-Ebene und verhindert semantische Verzerrungen.
• Drei-Stufen-Trainingsstrategie: Um eine stabile Optimierung zu gewährleisten, wird das Training in drei Phasen unterteilt, wobei das LLM währenddessen eingefroren bleibt:
  1. Cross-Model Mapping: Grobe semantische Ausrichtung zwischen Encoder, LLM und Decoder unter Verwendung von dreisprachigen Übersetzungsdaten.
  2. Encoder-Side Adaptation: Anpassung des Encoders an spezifische Aufgaben (Instruction Following), um dem LLM beizubringen, wie es multilinguale Repräsentationen nutzt.
  3. Decoder-Side Adaptation: Optimierung der Decoder-Schnittstelle für hochwertige mehrsprachige Generierung, getrennt von den Encoder-Optimierungen, um Zielkonflikte zu vermeiden.

3. Wichtige Beiträge

• Neue Architektur: XBridge ist der erste Ansatz, der einen vortrainierten multilingualen Decoder explizit in die Kette integriert, um nicht nur das Verständnis, sondern auch die Generierung in ressourcenarmen Sprachen zu ermöglichen.
• Effiziente Erweiterung: Das Framework ermöglicht es, die Mehrsprachigkeit von LLMs drastisch zu erweitern, ohne das teure LLM neu zu trainieren oder seine Kernfähigkeiten zu beeinträchtigen.
• Optimal Transport für Alignment: Die Anwendung von OT zur Lösung des Problems der inkonsistenten Tokenisierung und Repräsentationsräume zwischen LLM und NMT-Modellen ist ein innovativer methodischer Beitrag.
• Sprach-On-Demand-Generierung: Das System kann durch einfaches Ändern des Ziel-Sprach-Tokens Ausgaben in beliebigen Sprachen generieren, ohne das Modell neu zu trainieren.

4. Ergebnisse

Die Evaluation erfolgte auf vier verschiedenen LLMs (MetaMath-7B, LLaMA3-8B, Aya-23-8B, Qwen2.5-7B) über Aufgaben wie multilinguales Verständnis, Reasoning (MGSM), Zusammenfassung (XL-Sum) und Übersetzung (FLORES-101).

• Überlegene Leistung: XBridge übertrifft starke Baselines (wie SFT, Translate-Test, MindMerger, LayAlign) signifikant, insbesondere bei ressourcenarmen und ungesehenen Sprachen.
• Verlustfreie Integration: Die Leistung in englisch-zentrierten Aufgaben (Reasoning, Verständnis) bleibt erhalten oder verbessert sich leicht; es kommt zu keinem „Catastrophic Forgetting" der englischen Fähigkeiten.
• Vergleich mit NMT: Die Mehrsprachigkeitsleistung von XBridge nähert sich der des externen NMT-Modells (NLLB-200) an, kombiniert dies jedoch mit der Reasoning-Kapazität des LLM.
• Ablationsstudien: Die Studien zeigen, dass sowohl der Decoder als auch das OT-Alignment essenziell sind. Ohne OT sinkt die Generierungsqualität drastisch, und ohne Decoder bleibt die Ausgabe englisch-zentriert.
• Generalisierung: Das Modell generalisiert gut auf 42 nicht im Training verwendete Sprachen, was beweist, dass die gelernten Mapping-Schichten sprachagnostisch sind.

5. Bedeutung und Fazit

XBridge adressiert eine der größten Schwachstellen aktueller LLMs: die mangelnde Robustheit in ressourcenarmen Sprachen. Durch die kompositionelle Architektur, die ein spezialisiertes Übersetzungsmodell als „Sprachbrücke" nutzt und das LLM als „Wissensmotor" beibehält, bietet die Methode einen effizienten Weg zur extensiven Mehrsprachigkeit.

Die Arbeit zeigt, dass man nicht jedes LLM für jede Sprache neu trainieren muss, um hohe Mehrsprachigkeit zu erreichen. Stattdessen kann man bestehende, hochspezialisierte NMT-Modelle modular mit leistungsstarken LLMs verbinden. Dies ist besonders relevant für Anwendungen, die sowohl tiefes logisches Reasoning als auch flüssige Kommunikation in einer Vielzahl von Sprachen erfordern, ohne dabei die Rechenkosten für das vollständige Fine-Tuning riesiger Modelle zu tragen.