To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

Die Arbeit M2RL analysiert und vergleicht die Trainingsparadigmen des gemischten Multi-Task-Reinforcement-Learning mit Verifizierbaren Belohnungen (RLVR) und des separaten Trainings mit nachfolgendem Modell-Merging für Large Language Models, wobei sie feststellt, dass domainspezifisches RLVR sich gegenseitig kaum beeinträchtigt und in rechenintensiven Bereichen synergistische Effekte zeigt.

Das Wesentliche

Stellen Sie sich vor, Sie wollen einen ultimativen „Super-Assistenten" erschaffen, der nicht nur in einem Bereich brillant ist, sondern in Mathematik, Programmieren, Wissenschaft, Befehlsbefolgung und sogar als Agent, der Werkzeuge benutzt.

Die Forscher von Samsung und der Universität Peking haben in dieser Studie (veröffentlicht im Februar 2026) genau das untersucht: Wie trainiert man eine solche KI am besten?

Hier ist die Geschichte der Studie, erzählt wie eine einfache Geschichte mit ein paar bildhaften Vergleichen:

Das große Dilemma: Alles auf einmal oder getrennte Experten?

Stellen Sie sich vor, Sie wollen einen Koch, der die perfekte Pizza, das beste Steak und den köstlichsten Kuchen backt. Es gibt zwei Möglichkeiten, ihn zu trainieren:

1. Der „Alles-auf-einem-Topf"-Ansatz (Mixed Multi-Task RL): Sie werfen alle Zutaten (Pizza, Steak, Kuchen) in einen riesigen Topf und lassen den Koch gleichzeitig alles lernen.
2. Der „Experten-Team"-Ansatz (Separate Training + Merging): Sie trainieren zuerst einen Pizzameister, dann einen Steakchef und einen Kuchenbäcker separat. Danach nehmen Sie die Köpfe dieser drei Experten und „vermischen" ihr Wissen zu einem einzigen Super-Kopf.

Die Frage der Studie war: Welcher Weg führt zum besseren Ergebnis?

Was haben sie herausgefunden?

Die gute Nachricht: Beide Wege funktionieren fast gleich gut!

• Kein Chaos im Kopf: Viele hatten Angst, dass das Lernen von Mathematik das Programmieren verwirren könnte (wie wenn man versucht, gleichzeitig Französisch und Chinesisch zu lernen und die Wörter durcheinanderbringt). Die Studie zeigt aber: Das Gehirn der KI ist robust. Die Bereiche stören sich kaum gegenseitig.
• Die Magie der Synergie: Besonders bei den „Denk-Bereichen" (Mathematik, Programmieren, Wissenschaft) hilft das eine dem anderen. Wenn die KI besser Mathe lernt, wird sie automatisch auch besser im Programmieren. Es ist, als würden Muskeln, die beim Laufen trainiert werden, auch beim Schwimmen helfen.
• Der Zeit- und Energie-Faktor: Der „Alles-auf-einem-Topf"-Ansatz ist sogar effizienter. Er benötigt nur etwa 64 % der Rechenzeit (GPU-Stunden) im Vergleich zum separaten Training und anschließenden Zusammenfügen. Das ist wie ein Schnellkochtopf im Vergleich zum langsamen Schmoren.

Ein tieferer Blick: Wie funktioniert das im Inneren?

Die Forscher haben sich das „Gehirn" der KI genauer angesehen, um zu verstehen, warum das funktioniert:

1. Das Gewebe-Überlappung (Weight Shift): Wenn die KI lernt, verändert sich ihr inneres „Gewebe" (die Gewichte). Die Forscher fanden heraus, dass die Veränderungen beim Lernen von Mathe und Programmieren sich stark überschneiden. Es ist, als würden beide Fächer dieselben Nervenbahnen im Gehirn stärken.
2. Die Nachbarschaft der Ideen: Die KI lernt nicht nur Fakten, sondern entwickelt eine „Intuition". Wenn die KI gut im Programmieren ist, liegt ihre „Intuition" für Mathematik in der gleichen „Nachbarschaft". Das Zusammenfügen der Experten funktioniert also gut, weil ihre Denkweisen sich ähneln.
3. Der Unterschied beim Lernen:
   • Beim Zusammenfügen (Merging) behält die KI die ursprünglichen Fähigkeiten der einzelnen Experten sehr genau bei. Es ist wie ein Team, bei dem jeder seine Spezialität behält.
   • Beim gemeinsamen Lernen (Multi-Task) entstehen manchmal neue, emergente Fähigkeiten. Die KI entwickelt eine Art „Super-Intelligenz", die über die Summe der Einzelteile hinausgeht, weil die Aufgaben sich gegenseitig befeuern.

Ein wichtiges Warnschild: Das „Verifizierungs-Dilemma"

Hier wird es spannend und ein bisschen traurig für die KI.

Die Studie untersuchte, ob die KI auch selbstkritisch wird – also ob sie weiß, ob ihre eigene Antwort richtig ist.

• Das Ergebnis: Je mehr die KI in vielen Bereichen gleichzeitig lernt, desto besser wird sie darin, das Endergebnis zu beurteilen (z. B. „Ist das Ergebnis 42?").
• ABER: Sie wird schlechter darin, den Weg dorthin zu prüfen (z. B. „War das logische Herleitungsverfahren korrekt?").

Die Analogie:
Stellen Sie sich einen Schüler vor, der für eine Prüfung lernt.

• Wenn er nur Mathe lernt, kann er jeden Schritt seiner Rechnung genau prüfen.
• Wenn er aber versucht, Mathe, Kochen und Programmieren gleichzeitig zu lernen, wird er so schnell und effizient, dass er am Ende nur noch das Ergebnis ansieht und sagt: „Das sieht gut aus!", ohne den Weg zu überprüfen. Er verliert die Fähigkeit, die Logik im Detail zu sehen.

Die Lösung: Der „Experten-Team"-Ansatz (getrennt trainieren und dann mischen) behält diese Fähigkeit, den Weg genau zu prüfen, besser bei als das gemeinsame Training.

Fazit für den Alltag

Diese Studie sagt uns:
Wenn Sie einen KI-Assistenten wollen, der in vielen Bereichen gut ist, können Sie ihn entweder gemeinsam trainieren (schneller, günstiger, aber er verliert vielleicht etwas an Detailgenauigkeit beim Prüfen) oder Experten zusammenfügen (etwas aufwendiger, aber er behält seine Fähigkeit, jeden Schritt genau zu durchdenken).

Beide Wege führen zu einem „Super-Assistenten", aber je nachdem, ob Ihnen die Geschwindigkeit oder die genaue Logikprüfung wichtiger ist, sollten Sie den richtigen Weg wählen. Die KI ist also kein Chaos-Topf mehr, sondern ein gut organisiertes Team, das zusammenarbeiten kann, ohne sich zu verwirren.

Technische Zusammenfassung

Titel: To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

Veröffentlichungsdatum: Februar 2026
Projektname: M2RL (Mixed multi-task training or separate training followed by model Merging for Reinforcement Learning)

---

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als entscheidender Faktor erwiesen, um die explizite reasoning-Fähigkeit (Schlussfolgerungsvermögen) von Large Language Models (LLMs) in spezifischen Domänen wie Mathematik und Programmierung auf Expertenniveau zu steigern.

Die zentrale Herausforderung besteht darin, ein allgemeines, domänenübergreifendes Expertenmodell zu entwickeln, das in mehreren Bereichen (z. B. Mathematik, Coding, Wissenschaft, Instruktionsbefolgung und Agenten) gleichzeitig exzellent ist. Bisherige State-of-the-Art-Ansätze verfolgen zwei unterschiedliche Paradigmen:

1. Gemischtes Multi-Task-RL (Mixed Multi-Task RLVR): Gleichzeitiges Training auf heterogenen Belohnungssignalen verschiedener Domänen.
2. Separates Training gefolgt von Modell-Merging: Erstes Training spezialisierter Expertenmodelle pro Domäne und anschließendes Zusammenführen (Merging) dieser Modelle durch Gewichts-Merging oder Distillation.

Bisher fehlte eine detaillierte Analyse und ein direkter Vergleich dieser beiden Paradigmen hinsichtlich ihrer Leistungsfähigkeit, gegenseitigen Interferenzen und inneren Mechanismen.

2. Methodik und Experimentelles Setup

Das Projekt M2RL untersucht systematisch beide Ansätze unter Verwendung des Open-Source-Modells Qwen3-4B-Base als Startpunkt.

• Domänen: Mathematik, Coding, Wissenschaft (Science), Instruktionsbefolgung (Instruction Following) und Agenten (Agent).
• Datensätze: Es wurden Open-Source-Datensätze von Nemotron 3 Nano für das Supervised Fine-Tuning (SFT) und das RL verwendet. Die Datenmischung folgte den Proportionen des technischen Berichts von Nemotron.
• RL-Algorithmus: Group Relative Policy Optimization (GRPO) mit deterministischen, verifizierbaren Belohnungen (0 oder 1) basierend auf der Korrektheit der Antwort.
• Vergleichsgruppen:
  • Separate Experten: Ein Modell pro Domäne.
  • Merging-Methoden: Gewichts-Merging (Average, Task Arithmetic, Ties-Merging, SCE) und Multi-Teacher On-Policy Distillation (MT-OPD).
  • Mixed Multi-Task: Ein Modell, das gleichzeitig auf allen Domänen trainiert wird.
• Evaluation: 9 Benchmarks über die 5 Domänen hinweg (z. B. AIME'24/25, LiveCodeBench, GPQA-Diamond, IFEval, BFCL v3).

3. Schlüsselbeiträge und Erkenntnisse

A. Leistung und Effizienz

• Vergleichbare Leistung: Das gemischte Multi-Task-RL erreicht eine Leistung, die mit dem separaten Training plus Merging vergleichbar ist, benötigt jedoch nur 63,7 % der GPU-Stunden.
• Geringe Interferenz: Es wurde festgestellt, dass die RLVR-Training über verschiedene Domänen hinweg nur minimale gegenseitige Störungen (Gradient Interference) verursacht.
• Synergieeffekte: Insbesondere zwischen den reasoning-intensiven Domänen (Mathematik, Coding, Wissenschaft) wurden positive Synergieeffekte beobachtet, bei denen sich die Domänen gegenseitig verbessern.

B. Mechanistische Analysen

Die Autoren analysierten die inneren Mechanismen der Leistungsgewinne aus vier Perspektiven:

1. Gewichtsraum-Geometrie (Weight Space Geometry):

   • Die „Fußabdrücke" der Gewichtsverschiebungen (Weight Shifts) durch RLVR in verschiedenen Domänen weisen eine signifikante Überlappung auf.
   • Die Kosinus-Ähnlichkeit der Gewichtsvektoren nach orthogonaler Projektion zeigt eine positive Korrelation zwischen den Domänen, insbesondere bei den reasoning-domänen.

2. Informationsbeschränkungen und Policy-Nachbarschaften:

   • Anstatt der KL-Divergenz allein, wurde das Konzept der Policy-Nachbarschaft eingeführt. Domänen, deren Policy-Verteilungen nahe beieinander liegen (z. B. Coding als Nachbarschaft von Mathematik), profitieren beim Merging voneinander.
   • Das Merging mit „Nachbar-Policies" führt zu weiteren Leistungssteigerungen, während das Merging nicht-verwandter Policies keine zusätzlichen Vorteile bringt.

3. Modellvorhersage-Verhalten (Skill-Transfer):

   • Gewichts-Merging erbt primär die ursprünglichen Fähigkeiten der einzelnen Expertenmodelle (hohe Konsistenz mit Single-Task-Lernen).
   • Multi-Task-Training und MT-OPD entwickeln hingegen Fähigkeiten, die stärker von den Single-Task-Ergebnissen abweichen. Dies deutet auf emergente Fähigkeiten hin, die durch die gegenseitige Förderung während des Trainings entstehen.

4. Selbst-Verifikation (Self-Verification):

   • RLVR induziert eine emergente Fähigkeit zur Selbst-Diskriminierung.
   • Trade-off: Während Multi-Task-RL die generative Leistung (Outcome) verbessert, führt eine übermäßige Skalierung zu einem Zusammenbruch der Prozess-Verifikation (Process Verification). Das Modell optimiert sich zu stark auf das Endergebnis und verliert die Fähigkeit, den logischen Pfad (Chain-of-Thought) rigoros zu überprüfen.
   • Agenten als Katalysator: Modelle, die für Agenten-Aufgaben (multi-turn, Tool-Use) trainiert wurden, zeigen die robusteste Prozess-Verifikation, da sie gelernt haben, Zwischenschritte dynamisch zu validieren.

4. Ergebnisse

• Benchmarks: Das beste Modell (entweder durch Merging oder Multi-Task-Training) erreicht auf den meisten Benchmarks State-of-the-Art-Ergebnisse, die mit dem offiziellen Qwen3-4B (Thinking Mode) vergleichbar sind, jedoch auf Basis von Open-Source-Daten.
• Merging vs. Training: Gewichts-Merging (insbesondere Ties-Merging) bewahrt die Fähigkeiten der Einzeldomänen am besten. Multi-Task-Training und Distillation schaffen neue, emergente Fähigkeiten, können aber bei der Prozess-Verifikation instabil werden.
• Robustheit: Decoupled Expert Integration (Separates Training + Merging) bietet eine stabilere Balance zwischen generativer Qualität und Prozess-Verifikation als reines Multi-Task-RL.

5. Bedeutung und Fazit

Die Studie liefert kritische Erkenntnisse für die Skalierung von LLMs:

1. Effizienz: Multi-Task-RL ist eine hocheffiziente Alternative zum separaten Training, da sie weniger Rechenzeit benötigt und Synergien nutzt.
2. Mechanismus: Die positiven Effekte des Multi-Domain-Trainings basieren auf der Überlappung der Gewichtsverschiebungen und der Transferierung von Policies innerhalb von „Nachbarschaften".
3. Strategie für robuste Modelle: Für Anwendungen, die sowohl hohe Ergebnisqualität als auch strenge logische Verifikation erfordern, ist ein decoupled Ansatz (separates Training gefolgt von Merging oder Distillation) überlegen, da er den „Robustness Trade-off" vermeidet, bei dem Multi-Task-RL die Prozess-Verifikation opfert.

Das Paper schließt, dass die Zusammenarbeit von verifizierbaren Belohnungen über Domänen hinweg ein vielversprechendes Feld für das Post-Training von LLMs darstellt, wobei die Wahl zwischen „Mixen" und „Mergen" von den spezifischen Anforderungen an Robustheit und Verifikation abhängt.