💬 NLP

A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM $\Delta$ Integration into Upcycled MoE

Dieses Papier stellt eine dateneffiziente Methode namens \method vor, die dichte Modelle in Mixture-of-Experts-Architekturen umwandelt und nach dem Training erhaltene Parameter-Deltas integriert, um multilinguale Fähigkeiten zu erweitern, ohne dass kostspieliges fortgesetztes Vor-Training oder komplexe Ausrichtung erforderlich sind, wodurch ein effektives Gleichgewicht zwischen dem Erwerb neuer Sprachen und der Bewahrung der ursprünglichen Modellfähigkeiten erreicht wird.

Ursprüngliche Autoren: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Zhou, Tianhao Li, Zhijun Wang, Shuaijie She, Linjuan Wu, Hao-Ran Wei, Baosong Yang, Jiajun Chen, Shujian Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Dilemma des „zweisprachigen Kochs"

Stellen Sie sich vor, Sie haben einen Weltklasse-Koch (ein Large Language Model), der ein Experte für die Zubereitung englischer Gerichte ist. Er ist darin hervorragend. Nun möchten Sie, dass dieser Koch auch lernt, ungarische, serbische und bengalische Gerichte zu kochen.

Der traditionelle Weg, dies zu tun, besteht darin, den Koch für längere Zeit in eine riesige Kochschule zu schicken (dies nennt man Continued Pre-Training). Er studiert Tausende von Kochbüchern in diesen neuen Sprachen. Aber es gibt einen Haken:

Der „vergessliche" Koch: Wenn er zu intensiv in den neuen Sprachen lernt, könnte er beginnen, seine ursprünglichen englischen Rezepte zu vergessen.
Der „verwässerte" Koch: Wenn Sie versuchen, vorsichtig zu sein und sein altes englisches Wissen sanft mit dem neuen zu mischen, endet er damit, in beiden Bereichen mittelmäßig zu sein. Er vergisst das Englische nicht, wird aber auch nicht sehr gut in den neuen Sprachen.

Dies ist der „Zielkonflikt", von dem das Papier spricht: Man muss sich normalerweise entweder dafür entscheiden, neue Sprachen gut zu lernen, oder die alten Fähigkeiten perfekt zu bewahren. Beides gleichzeitig zu erreichen, ist selten möglich.

Die Lösung: DeltaMoE (Der Ansatz der „spezialisierten Küche")

Die Autoren schlagen eine neue Methode namens DeltaMoE vor. Anstatt zu versuchen, den Koch durch das Neulernen seines gesamten Gehirns schlauer zu machen, geben sie ihm ein spezialisiertes Küchen-Upgrade.

So funktioniert es in drei einfachen Schritten:

Schritt 1: Eine „Mixture of Experts"-Küche bauen (Upcycling)

Stellen Sie sich vor, die Küche des Kochs wird erweitert. Anstatt nur einer großen Theke, an der alles passiert, bauen sie eine Mixture of Experts (MoE)-Küche.

Die ursprüngliche Theke (Frozen Expert): Der Koch behält seine ursprüngliche englische Theke exakt so, wie sie war. Er verschließt sie. Hier ändert sich nichts. Dies stellt sicher, dass er seine englischen Rezepte niemals vergisst.
Die neuen Theken (Trainable Experts): Sie bauen drei brandneue Theken, die speziell für die neuen Sprachen (Ungarisch, Serbisch, Bengali) vorgesehen sind.
Der Oberkellner (The Router): Sie stellen einen klugen Oberkellner ein. Wenn ein Gast ein englisches Gericht bestellt, schickt der Kellner ihn zur ursprünglichen Theke. Wenn ein Gast ungarisch bestellt, schickt der Kellner ihn zur ungarischen Theke.

Der Koch lernt nur an den neuen Theken. Die ursprüngliche Theke bleibt eingefroren, sodass die englischen Fähigkeiten perfekt erhalten bleiben.

Schritt 2: Der „Delta"-Transplantat (Die magische Übertragung)

Jetzt sind die neuen Theken gut darin, das Essen zuzubereiten, aber sie wissen nicht, wie man höflich mit Kunden spricht oder komplexen Anweisungen folgt (dies nennt man Alignment). Normalerweise müsste man sie monatelang trainieren, um dies zu lernen.

Der clevere Trick des Papiers ist das Delta Merging.

Stellen Sie sich vor, es gibt einen weiteren berühmten Koch (ein vortrainiertes „Instruct"-Modell), der bereits ein Meister darin ist, mit Kunden zu sprechen und Regeln zu befolgen, aber er spricht nur Englisch.
Anstatt die neuen Theken von Grund auf neu zu lehren, nehmen die Autoren den „Unterschied" (das Delta) zwischen dem berühmten Koch und seiner ursprünglichen Basis. Denken Sie daran wie an ein „Rezept für Höflichkeit", das auf einem Zettel notiert ist.
Sie kleben diesen Zettel auf die neuen Theken. Da die neuen Theken aus demselben „Teig" wie das Original gebaut wurden, funktioniert dieses „Rezept für Höflichkeit" sofort.

Das Ergebnis: Die neuen Theken können nun ungarisches Essen zubereiten und höflich sprechen, ohne den teuren, datenintensiven Trainingsprozess durchlaufen zu müssen.

Warum dies besser ist als der alte Weg

Das Papier testete dies gegenüber anderen Methoden und stellte fest:

Keine Zielkonflikte mehr:
- Alte Methode A (Durchschnitt): Versuchte, alte und neue Fähigkeiten zu mischen. Ergebnis: Der Koch wurde schlechter im Englischen und nur durchschnittlich in den neuen Sprachen.
- Alte Methode B (Direktes Delta): Versuchte, einfach die neuen Fähigkeiten oben draufzukleben. Ergebnis: Der Koch wurde großartig in den neuen Sprachen, vergab aber, wie man Englisch spricht.
- DeltaMoE: Der Koch ist großartig im Englischen (weil die ursprüngliche Theke eingefroren war) und großartig in den neuen Sprachen (weil die neuen Theken sie gelernt haben und das „Höflichkeits"-Transplantat erhalten haben).
Dateneffizienz:
- Andere Methoden benötigen Millionen von Beispielen, um dem Modell beizubringen, wie man in einer neuen Sprache höflich ist.
- DeltaMoE erhält diese Fähigkeit kostenlos, indem es sie von einem bestehenden Modell „transplantiert". Dies spart eine enorme Menge an Zeit und Rechenleistung.
Skalierbarkeit:
- Die Autoren zeigten, dass selbst wenn Sie mehr Sprachen hinzufügen (z. B. 8 statt 3), das System nicht zusammenbricht. Der Oberkellner (Router) lernt einfach, Bestellungen an die richtige Theke zu senden, und das System bleibt stabil.

Das Fazit

DeltaMoE ist wie die Ausstattung eines Meisterkochs mit einer spezialisierten, modularen Küche.

Er behält seinen ursprünglichen Arbeitsplatz unberührt, um seine Kernfähigkeiten zu schützen.
Er fügt neue Arbeitsbereiche für neue Sprachen hinzu.
Er überträgt „Kundenservice-Fähigkeiten" sofort auf die neuen Arbeitsbereiche, ohne neu trainieren zu müssen.

Dies ermöglicht es KI-Modellen, viele neue Sprachen fließend und höflich zu sprechen, ohne ihre ursprüngliche Intelligenz zu verlieren oder eine massive Menge neuer Daten zu benötigen.

Technische Zusammenfassung: DeltaMoE – Ein dateneffizienter Weg zu mehrsprachigen LLMs

1. Problemstellung

Die Erweiterung von Large Language Models (LLMs) auf neue Sprachen ist derzeit ein ressourcenintensiver Prozess. Der Standard-Pipeline umfasst ein fortgesetztes Vor-Training (Continued Pre-Training, CPT) auf massiven mehrsprachigen Korpora, gefolgt von einer komplexen Phase des post-training alignment (z. B. SFT und RL). Dieser Ansatz erfordert umfangreiche Datenwiederverwendung, um das katastrophale Vergessen ursprünglicher Fähigkeiten zu verhindern, und benötigt große Mengen hochwertiger Instruktionsdaten für das Alignment.

Neue „datenfreie" Merging-Techniken versuchen, die Alignmentsphase zu umgehen, indem sie ein durch CPT verbessertes Modell mit einem bestehenden Instruct-Modell fusionieren. Diese Methoden stehen jedoch vor einem kritischen Zielkonflikt:

Lineares Mitteln (Model Soups): Verdünnt das neu erworbene Sprachwissen und begrenzt die Gewinne in den erweiterten Sprachen.
Delta-Merging: Die direkte Anwendung von Parameteränderungen führt häufig zum katastrophalen Vergessen der ursprünglichen Sprachfähigkeiten des Modells.

Die Kernherausforderung besteht darin, neue Sprach- und Alignmentsfähigkeiten effizient zu erwerben, ohne die ursprüngliche Leistung des Modells zu beeinträchtigen.

2. Methodik: DeltaMoE

Die Autoren schlagen DeltaMoE vor, ein zweistufiges Framework, das ein dichtes Modell in eine Mixture-of-Experts (MoE)-Architektur umwandelt, um den oben genannten Zielkonflikt zu lösen.

Stufe 1: Fortgesetztes Vor-Training durch Sparse Upcycling

Das dichte Basismodell wird in eine MoE-Architektur transformiert, indem tiefe Kopien der ursprünglichen Feed-Forward-Netzwerke (FFNs) erstellt werden, die als „Experten" dienen.

Architektur: Das Modell besteht aus $N$ Experten und einem Router. Die ursprünglichen Parameter (insbesondere der 0-te Expert) werden eingefroren, um als dediziertes Repository für ursprüngliches Sprachwissen zu fungieren.
Training: Während des CPT auf den neuen Sprachdaten werden nur die neu hinzugefügten Erweiterungs-Experten und der Router aktualisiert.
Ziel: Das Modell minimiert den Next Token Prediction (NTP)-Verlust und verwendet gleichzeitig einen Lastverteilungsverlust (LLB), um eine effiziente Tokenverteilung unter den Experten sicherzustellen. Dies stellt sicher, dass das ursprüngliche Wissen intakt bleibt, während neue Sprachen von den aktiven Experten gelernt werden.

Stufe 2: MoE-Modell-Merging (Delta-Integration)

Sobald das MoE-Basismodell auf neuen Sprachen trainiert wurde, fehlen ihm Alignmentsfähigkeiten. Statt eines kostspieligen Post-Trainings fügen die Autoren einen Parameter-Delta ( $\Delta_{post}$ ) aus einem gut abgestimmten, dichten Instruct-Modell hinzu.

Delta-Berechnung: $\Delta_{post} = \theta_{post-trained} - \theta_{base}$ , was das während des Trainings des Instruct-Modells erworbene Alignmentswissen darstellt.
Komponentenweises Einpfropfen:
- Gemeinsame Parameter: Für Schichten, die sowohl der dichten als auch der MoE-Architektur gemeinsam sind (z. B. Attention, Embeddings), wird das Delta direkt angewendet.
- Experten-Parameter: Für die FFN-Schichten wird ein einzelner, FFN-spezifischer Delta-Wert aus den FFN-Gewichten des dichten Modells berechnet. Dieses Delta wird dann einheitlich auf alle Experten in der MoE-Architektur angewendet.
Begründung: Diese Strategie behandelt alle Experten als Träger derselben grundlegenden Struktur, sodass das Alignmentswissen über alle Experten hinweg verbreitet werden kann, ohne das spezifische Sprachwissen, das in den eingefrorenen oder trainierten Experten gespeichert ist, zu verwässern.

3. Hauptbeiträge

Neuartiges Framework: Einführung von DeltaMoE, das MoE-Upcycling mit einer verfeinerten Delta-Merging-Strategie integriert, um Sprachen zu erweitern und Alignmentsfähigkeiten zu erwerben, ohne aufwändige Post-Trainingsverfahren.
Lösung von Zielkonflikten: Die Methode entkoppelt effektiv den Wissenserwerb (durch neue Experten) vom Wissensbewahren (durch eingefrorene Experten) und der Alignment-Übertragung (durch Delta-Einpfropfen) und löst so den Konflikt zwischen der Erweiterung von Fähigkeiten und dem Erhalt ursprünglicher Fähigkeiten.
Generalisierbarkeit: Der Ansatz wurde an verschiedenen Basismodellen (Qwen2.5-7B, LLaMA-3.1-8B) und verschiedenen Quellen für Alignment-Deltas (standard Instruct, Tulu3 SFT) validiert und zeigt Robustheit.

4. Experimentelle Ergebnisse

Experimente wurden durchgeführt, um Qwen2.5-7B und LLaMA-3.1-8B auf Ungarisch, Serbisch und Bengalisch zu erweitern. Die Bewertung erfolgte gegenüber Baselines mit abgestimmten Daten, FLOPs und Parameteranzahlen.

Leistung in erweiterten Sprachen: DeltaMoE erzielte State-of-the-Art (SOTA)-Ergebnisse und verbesserte die Durchschnittswerte in den erweiterten Sprachen um 1,7 Punkte gegenüber anderen delta-basierten Methoden mit vergleichbaren Parametern.
Erhalt ursprünglicher Fähigkeiten: Im Gegensatz zum dichten Delta-Merging, das zu erheblichem Vergessen führte, bewahrte DeltaMoE die Leistung in der Ursprungssprache und übertraf dichte Delta-Baselines in den Erhaltungsmetriken um 1,5 Punkte.
Effizienz: Selbst wenn dichte Baselines auf dem doppelten CPT-Datenvolumen trainiert wurden (um die FLOPs des MoE-Trainings zu entsprechen), behielt DeltaMoE einen signifikanten Vorsprung (ca. 1,94 Punkte) in der Leistung für erweiterte Sprachen.
Ablationsstudien:
- Merging-Strategie: Lineares Mitteln innerhalb einer MoE-Architektur konnte den Zielkonflikt nicht lösen, was die Notwendigkeit des Delta-Merging-Ansatzes bestätigt.
- Router-Tuning: Eine minimale Strategie zur Datenwiederverwendung (0,15B Tokens) in Kombination mit Router-Tuning ermöglichte es DeltaMoE, dichte Mittelwert-Baselines beim Bewahren von Wissen zu übertreffen.
- Skalierbarkeit: Eine Erhöhung der Anzahl der trainierbaren Experten über drei hinaus brachte vernachlässigbare Gewinne, was darauf hindeutet, dass 3 trainierbare Experten für mehrere erweiterte Sprachen ausreichen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass DeltaMoE einen praktischen und skalierbaren Weg bietet, um die mehrsprachige Ausrichtung bestehender LLMs zu erweitern. Durch das Upcycling dichter Modelle in MoE-Architekturen und das Einpfropfen von Alignment-Deltas:

Eliminiert die Notwendigkeit massiver Instruktionsdatensätze und komplexer RL-Alignmentsphasen für neue Sprachen.
Löst das „Vergessen vs. Lernen"-Dilemma, das aktuellen Merging-Techniken innewohnt.
Bietet eine dateneffiziente Alternative, die mit deutlich weniger Rechenaufwand im Vergleich zur Skalierung dichter Trainingsdaten überlegene Leistung erzielt.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die bewerteten Sprachen die globale sprachliche Vielfalt nicht vollständig abbilden und dass die MoE-Architektur im Vergleich zu dichten Modellen während der Inferenz einen nicht zu vernachlässigenden Rechenaufwand mit sich bringt. Dennoch wird das Framework als robuste Lösung für eine effiziente mehrsprachige Erweiterung präsentiert.