To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

Dit paper introduceert M2RL, een studie die vergelijkt of het mengen van multi-domein Reinforcement Learning met Verifieerbare Beloningen (RLVR) of het apart trainen en vervolgens samenvoegen van modellen de beste aanpak is voor het ontwikkelen van krachtige, algemene Large Language Models, waarbij wordt geconcludeerd dat domeinen vaak synergetisch werken en weinig interferentie vertonen.

De kern

De Kernvraag: Één Superheld of een Team van Experts?

Stel je voor dat je een kunstmatige intelligentie (een AI) wilt trainen die perfect is in wiskunde, programmeren, wetenschap, het volgen van instructies en het besturen van robots (agenten). De onderzoekers van Samsung en de Universiteit van Peking stonden voor een dilemma: Hoe train je zo'n AI het beste?

Ze hadden twee opties, net zoals je een sportteam kunt opbouwen:

1. De "Alles-in-Één" Methode (Mixed Training): Je neemt één AI en laat die tegelijkertijd oefenen in wiskunde, coderen en wetenschap. Het is alsof je één atleet laat trainen voor de marathon, het gewichtheffen en het schaatsen op hetzelfde moment.
2. De "Teamwerk" Methode (Scheiden & Samenvoegen): Je traint eerst één AI puur voor wiskunde, één puur voor coderen, één puur voor wetenschap, enzovoort. Daarna "plak" je deze gespecialiseerde experts aan elkaar om één groot team te maken.

De onderzoekers wilden weten: Welke methode werkt beter? En wat gebeurt er eigenlijk in het "brein" van de AI?

---

Wat vonden ze? (De Verassende Resultaten)

Het verrassende nieuws is dat beide methoden bijna even goed werken, maar de "Alles-in-Één" methode is veel goedkoper en sneller (je hebt 36% minder computerkracht nodig).

Hier zijn de belangrijkste ontdekkingen, vertaald naar begrijpelijke beelden:

1. Geen Ruzie, maar Samenwerking

Vaak dachten mensen dat als je een AI te veel dingen tegelijk leert, het verward raakt (zoals een student die probeert te leren voor een wiskundetoets en een muziekexamen op dezelfde avond).

• De bevinding: De AI raakt niet verward. Sterker nog, als je de AI leert in wiskunde, wordt hij ook beter in coderen en wetenschap.
• De analogie: Het is alsof je een atleet traint in hardlopen. Dat helpt ook zijn uithoudingsvermogen voor zwemmen. De hersenen van de AI gebruiken dezelfde "spieren" voor logisch denken, ongeacht of het over getallen of code gaat. Ze helpen elkaar, in plaats van elkaar te blokkeren.

2. Het Brein van de AI (De "Voetafdruk")

De onderzoekers keken naar de interne "gewichten" (de instellingen) van de AI.

• De analogie: Stel je voor dat elke AI een huis is. Als je de AI traint in wiskunde, verplaats je wat meubels in de woonkamer. Als je hem traint in coderen, verplaats je meubels in de slaapkamer.
• De bevinding: Bij het trainen in verschillende vakken bleek dat ze vaak dezelfde meubels verplaatsten. De veranderingen overlappen elkaar enorm. Dit betekent dat het leren van wiskunde en het leren van coderen eigenlijk op dezelfde manier in het brein van de AI werken.

3. Het "Team" vs. De "Super-Expert"

Toen ze de gespecialiseerde AI's samenvoegden (methode 2), bleek dat ze hun originele vaardigheden behielden.

• De analogie: Als je een team van experts samenbrengt, heb je een team waar iedereen zijn eigen specialisme behoudt. Als je echter één AI traint in alles (methode 1), leert die AI iets nieuws: een soort "super-intuïtie" die niet precies hetzelfde is als de som van de delen. Het is alsof de AI een nieuwe, unieke manier van denken ontwikkelt door de mix van taken.

4. De Valstrik: "De Juiste Antwoorden, maar de Verkeerde Redenering"

Dit is misschien wel het belangrijkste punt. De onderzoekers keken naar hoe de AI controleert of zijn eigen antwoorden goed zijn.

• De analogie: Stel je voor dat een AI een wiskundeprobleem oplost.
  • Resultaat-controle: "Is het antwoord 42?" (Ja/Nee).
  • Proces-controle: "Is elke stap in de berekening logisch?"
• De bevinding: Als je een AI te lang traint in alles tegelijk, wordt hij heel goed in het geven van het juiste antwoord (de 42), maar hij wordt slecht in het controleren van zijn eigen redenering. Hij raakt de "stap-voor-stap" logica kwijt.
• De oplossing: De "Teamwerk" methode (gescheiden training en samenvoegen) behoudt deze controle beter. Het is alsof je een team hebt waar elke expert zijn eigen werk controleert, terwijl de "Alles-in-Één" AI soms te snel is en fouten in de redenering over het hoofd ziet.

Conclusie in Eén Zin

Je kunt een AI trainen als een "alles-kunner" (wat goed en goedkoop is), maar als je wilt dat hij niet alleen het juiste antwoord geeft, maar ook begrijpt waarom het goed is, is het soms beter om gespecialiseerde experts te trainen en ze daarna slim samen te voegen.

De onderzoekers noemen hun project M2RL (Mixed of Merged Reinforcement Learning). Hun boodschap is: "Geen paniek, de AI raakt niet verward door te veel taken. Maar wees voorzichtig: als je te hard duwt, verliest hij zijn vermogen om na te denken over zijn eigen stappen."

Technische samenvatting

Titel: To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

Datum: Februari 2026
Auteurs: Haoqing Wang, Xiang Long, et al. (Samsung Research Beijing & Peking University)

---

1. Het Probleem

Reinforcement Learning met Verifieerbare Beloningen (RLVR) heeft bewezen cruciaal te zijn voor het stimuleren van expliciete redeneerfähigheden in Large Language Models (LLM's), met name in domeinen zoals wiskunde en codering. Hoewel modellen nu expert-niveau prestaties behalen in specifieke domeinen, blijft de ontwikkeling van een algemeen expert-model dat uitstekend presteert over meerdere domeinen heen een uitdaging.

Er zijn momenteel twee dominante trainingsparadigma's voor multi-domein RLVR:

1. Gemengd multi-task RLVR: Het model leert gelijktijdig van heterogene beloningen uit verschillende domeinen.
2. Gescheiden training gevolgd door model-merging: Afzonderlijke expert-modellen worden getraind per domein en vervolgens samengevoegd via gewichts-merging of distillatie.

Het paper identificeert een gebrek aan diepgaande vergelijking en analyse van deze twee benaderingen, inclusief hun onderlinge interferentie, interne mechanismen en efficiëntie.

2. Methodologie

De auteurs hebben een uitgebreid experimenteel kader opgezet om deze twee paradigma's te vergelijken, genaamd M2RL (Mixed multi-task training or separate training followed by model Merging for Reinforcement Learning).

• Basismodel: Qwen3-4B-Base.
• Domeinen: Wiskunde (Math), Codering (Coding), Wetenschap (Science), Instructievolging (Instruction Following - IF) en Agent-taken.
• Datasets: Open-source datasets van Nemotron 3 Nano, gespecificeerd voor Supervised Fine-Tuning (SFT) en RLVR.
• Trainingsstrategieën:
  • SFT: Eén epoch op een blend van ~14M samples.
  • RLVR: Gebruik van Group Relative Policy Optimization (GRPO) met verifieerbare beloningen (binair: 0 of 1 op basis van objectieve juistheid).
  • Merging: Na gescheiden training werden de expert-modellen samengevoegd via diverse methoden:
    • Gewichts-merging: Average, Task Arithmetic, Ties-Merging, SCE, en DARE.
    • Distillatie: Multi-Teacher On-Policy Distillation (MT-OPD).
• Evaluatie: Prestaties werden gemeten op 9 benchmarks (o.a. AIME'24/25, LiveCodeBench, GPQA-Diamond, IFEval, BFCL v3) met de Avg@K-metric.

3. Belangrijkste Bijdragen en Bevindingen

A. Prestatie en Efficiëntie

• Vergelijkbare prestaties: Gemengd multi-task RLVR bereikt vergelijkbare prestaties als gescheiden training gevolgd door model-merging, maar gebruikt 63,7% minder GPU-uren.
• Interferentie: Er is weinig wederzijdse interferentie tussen domeinen. Sterker nog, redeneer-intensieve domeinen (wiskunde, codering, wetenschap) vertonen synergetische effecten; het trainen op het ene domein verbetert vaak de prestaties op de andere.
• Agent-domein: Hoewel redeneer-domeinen elkaar helpen, vertalen formele logica en instructievolging zich niet automatisch naar pragmatische tool-gebruik (agent-taken), maar er is geen negatieve interferentie waargenomen.

B. Interne Mechanismen

De auteurs analyseren de interne dynamiek vanuit vier perspectieven:

1. Gewichtsruimte-geometrie: De "voetafdrukken" van gewichtsveranderingen (weight shifts) door RLVR in verschillende domeinen overlappen significant. De cosine-similariteit van deze veranderingen is positief, wat suggereert dat de modellen vergelijkbare structurele aanpassingen maken voor verschillende redeneertaken.
2. Informatie-beperkingen & KL-divergentie: Hoewel KL-divergentie geen sterke correlatie toonde met prestatieverandering, werd geobserveerd dat het "overdragen" van beleidsdistributies (policy transfer) tijdens merging of multi-task training domein-specifieke beleidsplannen dichter bij een globaal optimum brengt.
3. Beleidsbuurten (Policy Neighborhoods): Er werd een asymmetrische relatie ontdekt. Bijvoorbeeld, de codering-expert fungeert als een "buur" voor de wiskunde-expert (wat prestaties verbetert bij merging), maar niet andersom. Het samenvoegen van beleidsbuurten leidt tot betere prestaties dan het samenvoegen van niet-buurs.
4. Emergente vaardigheden: Modellen getraind via multi-task training of distillatie vertonen een grotere divergentie in vaardigheden vergeleken met single-task modellen. Gewichts-merging behoudt daarentegen meer van de oorspronkelijke single-task vaardigheden.

C. Dynamiek van Zelf-Verificatie (Self-Verification)

Een cruciale bevinding betreft de trade-off tussen outcome-based verificatie (antwoord controleren) en process-based verificatie (redenering controleren):

• Task-structuur: Voor logische taken (wiskunde, codering) is proces-verificatie superieur. Voor constraint-taken (instructievolging) is outcome-verificatie beter, omdat fouten vaak in de uitvoering zitten, niet in het plan.
• Agent-voordeel: Agent-modellen (getraind op multi-turn interacties) ontwikkelen de sterkste proces-verificatiecapaciteiten, omdat ze gewend zijn om tussentijdse feedback te evalueren.
• Robuustheid Trade-off: Uitgebreid multi-task RL (RL-Multi) leidt tot een instorting van de proces-verificatie. Hoewel de generatiekwaliteit hoog blijft, verliest het model de vaardigheid om zijn eigen redenering streng te controleren. Methoden die experts eerst scheiden en dan integreren (zoals gewichts-merging of MT-OPD), behouden een betere balans en robuustheid.

4. Resultaten

• Benchmarks: De beste modellen (via merging of multi-task) behalen state-of-the-art resultaten op de meeste benchmarks, vaak vergelijkbaar met de officiële Qwen3-4B (Thinking mode), maar dan getraind op open-source data.
• GPU-efficiëntie: Multi-task training is aanzienlijk efficiënter in termen van rekentijd.
• Merging-methoden: Ties-merging en SCE presteerden over het algemeen goed bij het samenvoegen van gewichten. MT-OPD was even effectief maar vereiste meer rekentijd.

5. Betekenis en Conclusie

Dit paper levert een kritische bijdrage aan het veld van post-training van LLM's door aan te tonen dat:

1. Multi-domein RLVR schaalbaar is: Er is geen noodzaak om domeinen strikt te scheiden om expert-niveau te bereiken; gemengde training is efficiënter en effectief.
2. Synergie bestaat: Redeneer-domeinen versterken elkaar, wat suggereert dat verifieerbare beloningen een veelbelovende frontier zijn voor het ontwikkelen van algemeen redenerende modellen.
3. De keuze van integratie maakt uit: Hoewel gemengde training efficiënt is, kan het leiden tot een verlies in proces-verificatie-robustheid. Voor toepassingen waar strikte redenering en zelf-correctie essentieel zijn, kan een "decoupled expert integration" (gescheiden training + merging/distillatie) de voorkeur verdienen om de beste van beide werelden te combineren.

De auteurs concluderen dat het begrijpen van de interactie tussen domeinen en de keuze tussen "mixen" of "mergen" essentieel is voor de volgende generatie krachtige, veelzijdige AI-modellen.