💬 NLP

Routing-Aligned Fine-Tuning for Multilingual Downstream Tasks in Mixture-of-Experts Models

Dieser Artikel schlägt RA-MoE vor, ein dreistufiges Feinabstimmungsframework, das die sprachuniversale Ausrichtungszone in den mittleren Schichten von Mixture-of-Experts-Modellen nutzt, um Routingsmuster der Zielsprache mit englischen Aufgaben-Expert-Aktivierungen auszurichten und dadurch die multilinguale Downstream-Leistung erheblich zu verbessern.

Ursprüngliche Autoren: Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guanzhi Deng, Kuan Wu, Haibo Wang, Shing Yin Wong, Sichun Luo, Linqi Song

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine massive, superschlaue Wissensbibliothek (ein Large Language Model), die perfektes Englisch spricht. In dieser Bibliothek gibt es nicht nur ein einziges riesiges Gehirn, das die ganze Arbeit erledigt. Stattdessen ist sie wie ein Mixture-of-Experts (MoE)-System organisiert: Stellen Sie sich eine riesige Mannschaft spezialisierter Berater vor. Wenn Sie eine Frage stellen, entscheidet ein „Router" (wie ein Empfangschef), welche spezifischen Berater in den Raum gerufen werden, um bei der Antwort zu helfen.

Das Problem ist, dass diese Bibliothek, obwohl sie ein Genie im Englischen ist, oft strauchelt, wenn sie dieselben Aufgaben in anderen Sprachen (wie Spanisch, Chinesisch oder Arabisch) erledigen soll.

Die Entdeckung: Das „Mittlere" ist die magische Zone

Die Forscher stellten etwas Seltsames über die Funktionsweise dieser Bibliothek fest. Sie entdeckten, dass sich der „Empfangschef" je nach Stockwerk des Gebäudes unterschiedlich verhält:

Die Lobby (frühe Schichten): Hier ist der Empfangschef sehr wählerisch bezüglich der Sprache. Wenn Sie Englisch sprechen, ruft er englische Berater. Wenn Sie Spanisch sprechen, ruft er spanische Berater.
Das Penthouse (späte Schichten): Gleiches gilt. Die Sprachbarriere ist stark.
Die mittleren Etagen: Hier kümmert sich der Empfangschef nicht mehr um die Sprache. Egal, ob Sie Englisch oder Spanisch sprechen, er ruft exakt dieselbe Gruppe von Experten, um ein mathematisches Problem zu lösen oder Anweisungen zu befolgen.

Die Forscher erkannten, dass die Bibliothek für viele Aufgaben die Lösung des Problems in der Zielsprache bereits kennt (weil die mittleren Experten dieselben sind), aber der „Empfangschef" versagt darin, die Anfrage an die richtigen Personen weiterzuleiten. Es ist, als hätte man einen brillanten Koch in der Küche, der ein perfektes Gericht in jeder Sprache zubereiten kann, aber der Kellner ständig die falsche Bestellung an den falschen Stationen abgibt.

Die Lösung: RA-MoE (Die Methode „Den Empfangschef führen")

Die Arbeit schlägt eine neue Trainingsmethode namens RA-MoE (Routing-Aligned Mixture-of-Experts) vor. Anstatt der gesamten Bibliothek nur neue Wörter beizubringen, bringen sie dem „Empfangschef" bei, sich besser zu verhalten.

So funktioniert es in drei einfachen Schritten:

1. Der „Doppel-Check"-Audit (Stufe 1)
Sie nehmen eine Liste von Fragen und stellen der Bibliothek dieselbe Frage einmal auf Englisch und einmal in der Zielsprache (z. B. Spanisch). Sie kategorisieren die Ergebnisse in vier Gruppen:

CC: In beiden Fällen richtig.
II: In beiden Fällen falsch (die Bibliothek kennt die Antwort einfach nicht).
IC: Auf Englisch falsch, aber auf Spanisch richtig (selten).
CI (Die Goldmine): Auf Englisch richtig, aber auf Spanisch falsch.

Die Forscher konzentrieren sich nur auf die CI-Gruppe. Dies sind die Fälle, in denen die Bibliothek das Wissen hat (sie löste es auf Englisch), aber auf Spanisch versagte. Dies beweist, dass das Problem kein Mangel an Wissen ist, sondern ein Routing-Fehler.

2. Kartierung der Experten (Stufe 2)
Sie betrachten die „mittleren Etagen" der Bibliothek, in denen die Sprache keine Rolle spielt. Sie identifizieren genau, welche spezifischen Berater (Experten) die englische Version rief, um das Problem zu lösen. Sie sagen: „Okay, für dieses mathematische Problem rief die englische Version die Experten #4, #7 und #12. Das sind die 'Aufgaben-Experten'."

3. Die Ausrichtungs-Lektion (Stufe 3)
Nun feintunen sie die Bibliothek unter Verwendung der spanischen Fragen. Aber sie fügen eine spezielle Regel hinzu:

Wenn die Bibliothek ein CI-Beispiel sieht (wo sie auf Spanisch versagte, aber auf Englisch erfolgreich gewesen wäre), sagen sie dem Empfangschef: „Hey, schau dir an, wie die englische Version damit umgegangen ist. Sie rief die Experten #4, #7 und #12. Du musst dieselben Experten auch für die spanische Version rufen."

Sie bringen dem Modell nicht nur bei, Spanisch zu sprechen; sie bringen dem Modell bei, die spanische Frage an dieselben Experten zu routen, die die englische Version lösten.

Warum es funktioniert

Stellen Sie sich eine Schule vor. Wenn ein Schüler weiß, wie man ein mathematisches Problem auf Englisch löst, aber im Französischen scheitert, müssen Sie ihm nicht von vorne an Mathematik beibringen. Sie müssen ihm nur beibringen, dass ihm derselbe Mathematiklehrer helfen sollte, unabhängig von der Sprache, in der er die Frage stellt.

Die Arbeit ergab, dass:

Diese Methode besser funktioniert als das Standardtraining (das nur versucht, Antworten in der neuen Sprache auswendig zu lernen).
Sie besser funktioniert als andere Methoden, die versuchen, das Modell zu „steuern", ohne seine interne Verkabelung tatsächlich zu ändern.
Je mehr „CI"-Beispiele eine Aufgabe hat (was bedeutet, dass das Modell die Antwort auf Englisch kennt, aber in der Zielsprache versagt), desto mehr hilft diese Methode.
Die „Aufgaben-Experten", die sie in den mittleren Schichten fanden, sind universell. Sobald sie herausgefunden haben, welche Experten ein mathematisches Problem für Englisch bearbeiten, funktionieren dieselben Experten auch für Spanisch, Französisch und Japanisch, ohne dass sie neu identifiziert werden müssen.

Das Fazit

RA-MoE ist eine intelligente Methode, um mehrsprachige KI zu verbessern. Anstatt für jede Sprache ein neues Gehirn zu bauen, repariert sie den „Empfangschef" im bestehenden Gehirn, damit er Fragen an die richtigen Experten weiterleitet, egal in welcher Sprache die Frage gestellt wird. Sie verwandelt eine Sprachbarriere in einen einfachen Routing-Fehler, der leicht korrigiert werden kann.

Technische Zusammenfassung: Routing-Abgestimmtes Fine-Tuning für mehrsprachige Downstream-Aufgaben in Mixture-of-Experts-Modellen

Problemstellung

Mixture-of-Experts (MoE)-Modelle haben sich zum dominierenden Paradigma für die effiziente Skalierung von Large Language Models (LLMs) entwickelt. Die Anpassung dieser vortrainierten MoE-Modelle an nicht-englische Downstream-Aufgaben bleibt jedoch herausfordernd. Bestehende Fine-Tuning-Ansätze behandeln MoE-Modelle typischerweise als monolithische Lerneinheiten und wenden standardmäßiges Supervised Fine-Tuning (SFT) auf Daten in der Zielsprache an. Dieser Ansatz ignoriert die heterogene Routing-Struktur, die sich während des Vortrainings entwickelt.

Neuere Studien deuten auf ein „U-förmiges" Muster in der cross-lingualen Routing-Divergenz hin: Frühe und späte Schichten sind stark sprachspezifisch, während mittlere Schichten eine starke cross-linguale Ausrichtung aufweisen. Trotz dieser Ausrichtung verschlechtert sich die Leistung in nicht-englischen Sprachen häufig, da das Modell nicht in der Lage ist, die spezifischen, aufgabenrelevanten Experten für Eingaben in der Zielsprache zu aktivieren. Das Kernproblem besteht darin, wie diese cross-linguale Routing-Struktur genutzt werden kann, um das Fine-Tuning für nicht-englische Aufgaben zu verbessern, ohne das gesamte Modell neu zu trainieren oder die spärlichen Routing-Dynamiken zu ignorieren.

Methodik: RA-MoE

Die Autoren schlagen RA-MoE (Routing-Aligned MoE Fine-Tuning) vor, ein dreistufiges Framework, das darauf ausgelegt ist, Routing-Muster in der Zielsprache mit den Aktivierungsmustern englischer Aufgaben-Experten in den mittleren Schichten des Modells in Einklang zu bringen.

Stufe 1: Konstruktion und Kategorisierung paralleler Daten

Die Methode beginnt mit der Erstellung eines parallelen Datensatzes, bei dem englische Aufgabenbeispiele $(x_{en}, y_{en})$ in eine Zielsprache übersetzt werden $(x_{tgt}, y_{tgt})$ . Das MoE-Modell führt Inferenz auf beiden Versionen durch, und die Beispiele werden basierend auf ihrer Korrektheit in eine Vier-Klassen-Taxonomie eingeteilt:

cc: Korrekt sowohl im Englischen als auch in der Zielsprache.
ci: Korrekt im Englischen, fehlerhaft in der Zielsprache.
ic: Fehlerhaft im Englischen, korrekt in der Zielsprache.
ii: Fehlerhaft sowohl im Englischen als auch in der Zielsprache.

Die Autoren hypothesieren, dass die Kategorie ci eine „sprachgetriebene" Leistungslücke darstellt, bei der das Modell über das erforderliche Aufgabenwissen verfügt (demonstriert im Englischen), dies jedoch aufgrund von Routing-Fehlausrichtungen nicht in der Zielsprache anwenden kann.

Stufe 2: Identifikation mittlerer Schichten und Aufgaben-Experten

Diese Stufe analysiert das Routing-Verhalten des Modells, um optimale Ziele für die Ausrichtung zu identifizieren:

Identifikation mittlerer Schichten: Die Autoren berechnen die Jensen-Shannon (JS)-Divergenz zwischen den Routing-Verteilungen im Englischen und in der Zielsprache über die Schichten hinweg. Sie bestätigen das U-förmige Muster und identifizieren einen zusammenhängenden Bereich mittlerer Schichten ( $L_{mid}$ ), in dem die Divergenz minimal ist. Diese Schichten dienen als „sprachuniverselle Ausrichtungszone".
Identifikation von Aufgaben-Experten: Innerhalb dieser mittleren Schichten identifizieren die Autoren „Aufgaben-Experten", indem sie die Routing-Gewichte auf englischen Aufgaben-Daten (beschränkt auf korrekt beantwortete Beispiele) mit einem allgemeinen englischen Korpus kontrastieren. Experten, die für die Aufgabe bevorzugt aktiviert werden (hoher Spezifitätswert), werden als Zielmenge ( $E_{task}$ ) ausgewählt.

Stufe 3: Routing-abgestimmtes SFT

Die letzte Stufe umfasst das Fine-Tuning des Modells auf Daten in der Zielsprache mit einer modifizierten Zielfunktion:
$\mathcal{L} = \mathcal{L}_{CE} + \lambda \cdot \mathcal{L}_{align}$

$\mathcal{L}_{CE}$ : Standard-Kreuzentropieverlust, angewendet auf alle Beispiele.
$\mathcal{L}_{align}$ : Ein Routing-Ausrichtungsverlust, der selektiv auf ci-Typ-Beispiele angewendet wird. Für diese Beispiele wird das Modell dazu angeregt, Eingaben in der Zielsprache durch dieselben Aufgaben-Experten in den mittleren Schichten zu leiten wie die englische Referenz. Der Verlust wird als KL-Divergenz zwischen der renormalisierten Routing-Verteilung der Zielsprache (beschränkt auf $E_{task}$ ) und der englischen Referenzverteilung berechnet.

Diese selektive Anwendung stellt sicher, dass das Ausrichtungssignal in Fällen verankert ist, in denen das englische Routing-Muster eine gültige, zuverlässige Referenz für die Aufgabe darstellt.

Hauptbeiträge

Validierung der U-förmigen Divergenz in Aufgabensettings: Die Arbeit validiert empirisch, dass das Muster der U-förmigen cross-lingualen Routing-Divergenz auch in aufgabenspezifischen Settings gilt, und zeigt, dass die Routing-Divergenz in mittleren Schichten die leistungsbezogenen Lücken pro Sprache zuverlässig vorhersagt.
Vier-Klassen-Taxonomie und Prädiktor: Die Autoren führen die cc/ci/ic/ii-Taxonomie zur Diagnose cross-lingualer Lücken ein. Sie liefern empirische Belege dafür, dass der Anteil von ci-Beispielen in einem Aufgaben-Sprachen-Paar ein starker Prädiktor (Korrelation $r=0,70$ ) für den potenziellen Nutzen einer Routing-Ausrichtung ist.
Identifikation von Aufgaben-Experten und Ausrichtungsziel: Es wird ein Verfahren vorgeschlagen, um aufgabenrelevante Experten in mittleren Schichten unter Verwendung englischer Daten zu lokalisieren, gekoppelt mit einem Fine-Tuning-Ziel, das die cross-linguale Lücke bei der Expertenaktivierung schließt, ohne eine sprachspezifische Neuidentifikation von Experten zu erfordern.
Cross-linguale Übertragbarkeit: Die Studie zeigt, dass in einer Sprache (z. B. Chinesisch) identifizierte Aufgaben-Experten übertragen werden können, um das Modell für linguistisch distante Sprachen (z. B. Arabisch, Bengalisch) zu fine-tunen, ohne die Identifikationsstufe erneut durchzuführen. Dies legt nahe, dass die Aufgaben-Expertise in mittleren Schichten weitgehend sprachagnostisch ist.

Experimentelle Ergebnisse

Die Autoren evaluierten RA-MoE über drei MoE-Modelle (OLMoE-1B-7B, Qwen1.5-MoE, DeepSeek-V2-Lite), drei Downstream-Aufgaben (GSM8K, IFEval, MMLU) und sechs Zielsprachen (Arabisch, Bengalisch, Chinesisch, Französisch, Japanisch, Spanisch).

Leistungssteigerungen: RA-MoE schnitt konsistent besser ab als Standard-SFT und starke Baselines, einschließlich Routing Steering (Inferenzzeit-Intervention) und RISE (selektives Fine-Tuning sprachspezifischer Teilnetzwerke).
Korrelation mit dem CI-Anteil: Die Leistungssteigerungen waren bei Aufgaben-Sprachen-Paaren mit einem höheren Anteil an ci-Beispielen am ausgeprägtesten, was die Hypothese bestätigt, dass die Methode sprachgetriebene Lücken und nicht Wissenslücken adressiert.
Mechanistische Veränderungen: Die Analyse zeigte, dass RA-MoE die Routing-Divergenz in mittleren Schichten im Vergleich zu Standard-SFT erheblich reduzierte und das Routing in der Zielsprache näher an die englische Referenz brachte. Darüber hinaus stieg die Selektionsrate für Aufgaben-Experten in den Zielsprachen unter RA-MoE steiler an und konvergierte zu einem höheren Plateau.
Effizienz: Die Methode verursacht einen vernachlässigbaren rechnerischen Overhead. Der Ausrichtungsverlust fügt weniger als $10^{-3}\%$ zu den gesamten FLOPs hinzu, und die vorbereitenden Stufen (Datenannotation und Routing-Profilierung) erhöhen die gesamte Wandzeit maximal um 15 %, was auf unter 10 % reduziert werden kann, wenn Aufgaben-Experten über Sprachen hinweg geteilt werden.

Bedeutung und Einschränkungen

Die Arbeit behauptet, dass RA-MoE die Lücke zwischen der theoretischen cross-lingualen Ausrichtung der mittleren Schichten von MoE-Modellen und der praktischen Downstream-Aufgabenleistung schließt. Indem die Methode Routing-Muster und nicht nur Ausgabewahrscheinlichkeiten explizit ausrichtet, nutzt sie die spärliche Struktur von MoEs, um mehrsprachige Fähigkeiten zu verbessern.

Die Autoren weisen auf spezifische Einschränkungen hin:

Abhängigkeit von der englischen Leistung: Die Methode setzt voraus, dass das Basismodell eine starke englische Aufgabenleistung aufweist; fehlt dem englischen Routing-Muster aufgabenrelevantes Information, ist das Ausrichtungssignal unzuverlässig.
Vortrainings-Abdeckung: Für Sprachen, die im Vortrainingskorpus stark unterrepräsentiert sind, bietet RA-MoE nur begrenzte Gewinne, da die Engpassstelle ein Mangel an grundlegender Sprachkapazität und nicht eine Routing-Fehlausrichtung ist.
Modalität: Die Experimente beschränken sich auf textbasierte Modelle; die Generalisierung auf multimodale LLMs bleibt eine offene Frage.

Die Arbeit legt nahe, dass für MoE-Modelle die mittleren Schichten als stabile, sprachuniverselle Zone dienen, in der Aufgaben-Expertise durch Routing-Ausrichtung effektiv über Sprachen hinweg übertragen werden kann.