Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs

Technische Zusammenfassung: Mix-MoE: Verbesserung der mehrsprachigen maschinellen Übersetzung von Large Language Models durch gemischte MoEs

Problemstellung
Während Large Language Models (LLMs) starke Fähigkeiten in der mehrsprachigen maschinellen Übersetzung (MT) demonstrieren, stellt das Fine-Tuning auf parallelen Korpora eine erhebliche Herausforderung dar: Parameter-Interferenz. Wenn ein LLM für eine nachgelagerte Aufgabe wie die Übersetzung mit neuen Daten feinabgestimmt wird, verschieben sich seine Parameter, um die neue Aufgabe zu optimieren, was häufig zu einer Verschlechterung der ursprünglichen, starken monolingualen Sprachverständnis- und Generierungsfähigkeiten führt. Bestehende Ansätze, wie generische Mixture-of-Experts (MoE)-Architekturen oder Methoden zur Parameterisolation, fehlen oft aufgabenspezifische Designs, die das vortrainierte monolinguale Wissen explizit zur Unterstützung der Übersetzung nutzen, oder sie verlassen sich auf Routing-Mechanismen, die nur semantischen Inhalt berücksichtigen und dabei möglicherweise zugrunde liegende strukturelle oder rhythmische Muster im Text übersehen.

Methodik
Die Autoren schlagen Mix-MoE vor, ein gemischtes Mixture-of-Experts-Framework, das entwickelt wurde, um LLMs für mehrsprachige MT zu trainieren und gleichzeitig Parameter-Interferenz zu mindern. Das Framework transformiert ein dichtes LLM in ein spärliches MoE-Modell mit zwei distincten Gruppen von Experten und setzt eine zweistufige Trainingsstrategie ein:

1. Spezialisierte Expertengruppen:

   • Sprachmodell-Experten (LM-Experten): Entwickelt, um das während des Pre-Trainings erlernte monolinguale Wissen zu erfassen und zu bewahren. Diese werden durch „Upcycling" der Gewichte der ursprünglichen Feed-Forward-Netzwerk-Schichten (FFN) des LLM initialisiert.
   • Maschinelle Übersetzungs-Experten (MT-Experten): Spezialisiert auf den Erwerb und die Speicherung bilingualer Übersetzungswissen. Diese werden von den vortrainierten LM-Experten initialisiert.
   • Das Modell zielt auf die FFN-Schichten für die MoE-Transformation ab, da diese Schichten als Key-Value-Speicher für linguistisches Wissen fungieren, während die Attention-Schichten dicht bleiben, um das Kontextbewusstsein zu erhalten.

2. FFT-verbesserter Routing-Mechanismus:

   • Um eine effektive Interaktion zwischen den Experten zu ermöglichen und diverse linguistische Hinweise zu erfassen, führen die Autoren einen durch Fast Fourier Transform (FFT)-Merkmale verbesserten Routing-Mechanismus ein.
   • Spektrale Merkmale werden über FFT aus den versteckten Zuständen des Modells extrahiert und mit den ursprünglichen semantischen Repräsentationen verkettet.
   • Separate Routing-Netzwerke (eines für LM-Experten, eines für MT-Experten) nutzen diese augmentierten Repräsentationen, um Experten auszuwählen. Dies ermöglicht dem Router, nicht nur den semantischen Inhalt, sondern auch frequenzdomänenspezifische Muster zu berücksichtigen, die auf Textstrukturen hinweisen (z. B. Satztakt, morphologische Komplexität).

3. Zweistufige Post-Pretraining-Strategie:

   • Stufe 1 (Training der LM-Experten): Das Modell wird auf monolingualen Korpora trainiert. Nur die LM-Experten und ihr entsprechendes Routing-Netzwerk werden aktualisiert. Das Ziel ist die Verfeinerung der Repräsentation einzelner Sprachstrukturen.
   • Stufe 2 (Training der MT-Experten): Das Modell wird auf parallelen bilingualen Korpora trainiert. Die LM-Experten und ihre Router-Parameter werden eingefroren, um das erworbene monolinguale Wissen zu bewahren. Nur die MT-Experten und ihr Routing-Netzwerk werden trainiert, um sich auf die Übersetzungsaufgabe zu spezialisieren.

Hauptbeiträge

1. Mix-MoE-Architektur: Eine neuartige MoE-Architektur mit spezialisierten LM- und MT-Experten, gekoppelt mit einem FFT-verbesserten Routing-Mechanismus, der sowohl semantische als auch potenzielle strukturelle Hinweise aus dem Text nutzt.
2. Zweistufige Trainingsstrategie: Eine maßgeschneiderte Trainingspipeline, die es MT-Experten ermöglicht, von vortrainiertem Wissen zu profitieren und sich gleichzeitig auf die Übersetzung zu spezialisieren, wodurch monolinguale und bilinguale Lernziele effektiv getrennt werden, um Parameter-Interferenz zu mindern.
3. Empirische Validierung: Umfassende Experimente zeigen, dass die vorgeschlagene Methode in mehreren Übersetzungsaufgaben und Sprachpaaren state-of-the-art-Ergebnisse erzielt.

Experimentelle Ergebnisse
Die Autoren bewerteten Mix-MoE an 14 Sprachrichtungen unter Verwendung des WMT-Datensatzes (einschließlich Finnisch, Tschechisch, Deutsch, Russisch, Türkisch, Estnisch und Chinesisch zu/von Englisch) und des FLORES-200-Benchmarks.

• Leistung: Mix-MoE übertraf konsistent die Baselines, einschließlich Full Fine-Tuning, LoRA, LLaMA-Pro und generischer MoE-Varianten (z. B. MoE-LPR, LLaMA-MoE v2). Beispielsweise erreichte Mix-MoE in der DE-EN-Aufgabe einen BLEU-Wert von 31,8 und übertraf damit die Two-Stage Full Fine-Tuning-Baseline (20,8) signifikant.
• Minderung der Parameter-Interferenz: Ablationsstudien bestätigten, dass die Trennung der Experten entscheidend ist. Ein standardmäßiges zweistufiges MoE-Training (Aktualisierung aller Experten in Stufe 2) schnitt schlechter ab als Mix-MoE, was darauf hindeutet, dass das spezifische Einfrieren der LM-Experten katastrophales Vergessen verhindert.
• FFT-Routing: Vergleiche mit Random Projection und Discrete Cosine Transform (DCT) zeigten, dass FFT-abgeleitete Merkmale die Routing-Effektivität signifikant verbesserten und bestätigten, dass frequenzdomänenspezifische Muster wertvolle strukturelle Hinweise für die Expertenauswahl liefern.
• Skalierbarkeit: Die Methode zeigte Robustheit und Skalierbarkeit, als sie auf größere Modelle erweitert wurde (Llama3.1-8B und Qwen2.5-14B), und übertraf dabei konsistent Full Fine-Tuning-Ansätze.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Mix-MoE die kritische Herausforderung der Parameter-Interferenz beim Fine-Tuning von LLMs für mehrsprachige Übersetzung adressiert. Durch die explizite Trennung des Lernens monolingualer Sprachmodellierung und bilingualer Übersetzung in distincte Expertengruppen und die Nutzung eines Routing-Mechanismus, der empfindlich auf strukturelle Textmuster reagiert, gelingt es dem Framework, die ursprünglichen Sprachfähigkeiten des LLM zu bewahren und gleichzeitig die Übersetzungsleistung zu verbessern. Die Autoren positionieren diese Arbeit als einen Schritt vorwärts im effizienten MT-Training und bieten eine praktische Lösung für den Einsatz mehrsprachiger Übersetzungssysteme, die ein hochwertiges Sprachverständnis bewahren, ohne die Redundanz massiver Parameteraktualisierungen.