To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

L'article M2RL analyse et compare les paradigmes d'apprentissage par renforcement à récompenses vérifiables (RLVR) pour les modèles de langage, démontrant que l'entraînement mixte multi-tâches et le fusionnement de modèles entraînés séparément sont tous deux efficaces car les domaines de raisonnement s'avèrent synergiques et peu interférents.

L'essentiel

🧠 Le Dilemme de l'Expert Universel : Mélanger ou Assembler ?

Imaginez que vous voulez créer un super-héros de l'intelligence artificielle. Ce héros doit être capable de faire deux choses très difficiles : résoudre des équations de mathématiques complexes (comme un génie) et écrire du code informatique parfait (comme un développeur senior).

Le problème ? Comment entraîner ce super-héros ? Les chercheurs de Samsung et de l'Université de Pékin se sont posé cette question et ont testé deux méthodes principales, qu'ils appellent "M2RL".

🥣 Méthode 1 : La "Soupe Universelle" (Entraînement Mixte)

C'est comme si vous mettiez tous les ingrédients (maths, code, sciences, agents virtuels) dans une grande marmite et que vous les faisiez cuire ensemble en même temps.

• L'idée : L'IA apprend tout d'un coup, en mélangeant les tâches.
• Le résultat : C'est étonnant ! L'IA n'est pas confuse. Au contraire, apprendre les maths l'aide à mieux coder, et vice-versa. C'est comme si le cerveau de l'IA trouvait des ponts cachés entre ces disciplines. C'est aussi plus rapide et moins cher en énergie (économie de 36 % de temps de calcul !).

🧩 Méthode 2 : Le "Puzzle de Chefs" (Entraînement Séparé + Assemblage)

C'est comme si vous engagiez cinq chefs experts différents :

1. Un chef mathématicien.
2. Un chef codeur.
3. Un chef scientifique.
4. Un chef en communication.
5. Un chef en gestion d'agents.

Chacun s'entraîne seul dans sa cuisine jusqu'à devenir un maître absolu. Ensuite, vous essayez de fusionner leurs recettes (leurs cerveaux) pour créer un seul chef universel.

• L'idée : On crée des experts purs, puis on les assemble.
• Le résultat : Cela fonctionne très bien aussi, mais c'est plus long et plus coûteux. De plus, quand on assemble les cerveaux, on garde surtout les compétences brutes de chaque expert, sans vraiment créer de nouvelles "super-pouvoirs" inattendus.

---

🔍 Ce que les chercheurs ont découvert (Les Secrets)

Voici les trois grandes révélations de l'étude, expliquées avec des analogies :

1. Pas de bagarre dans la cuisine (Peu d'interférences)

On pensait que si on demandait à un élève d'apprendre les maths et le code en même temps, il allait se mélanger les pinceaux.

• La réalité : Non ! Les domaines "logiques" (maths, code, sciences) s'entraident. C'est comme si apprendre à jouer du piano aidait à mieux jouer du violon. Les deux activités utilisent les mêmes muscles cérébraux.
• L'analogie : C'est comme si les mathématiques et le code étaient des voisins qui s'entraident pour réparer leur maison. Ils ne se gênent pas, ils se renforcent.

2. La géographie des cerveaux (L'analyse des poids)

Les chercheurs ont regardé comment les "neurones" de l'IA bougeaient pendant l'apprentissage.

• La découverte : Quand l'IA apprend les maths, elle modifie certaines parties de son cerveau. Quand elle apprend le code, elle modifie... les mêmes parties !
• L'analogie : Imaginez que l'IA est une ville. Quand on construit un pont pour les maths, on utilise les mêmes fondations que pour le code. Les deux routes se croisent souvent. C'est pour ça que l'entraînement mixte fonctionne si bien : on ne construit pas deux villes séparées, on améliore la même ville.

3. Le piège de la "Vérification" (Le paradoxe de l'agent)

C'est la partie la plus fascinante. L'IA apprend non seulement à faire les tâches, mais aussi à vérifier si elle a bien fait.

• Le problème : Plus on entraîne l'IA sur plein de tâches différentes en même temps, plus elle devient bonne pour donner la réponse finale (le résultat), mais moins elle est bonne pour vérifier le chemin qu'elle a pris pour y arriver (le raisonnement).
• L'analogie : Imaginez un étudiant qui apprend à résoudre des problèmes.
  • S'il s'entraîne sur un seul sujet (ex: maths), il devient un expert pour vérifier chaque étape de son calcul.
  • S'il s'entraîne sur tout (maths, code, cuisine, sport) en même temps, il devient très rapide pour donner la réponse finale, mais il a tendance à "tricher" ou à sauter des étapes dans son raisonnement. Il perd sa rigueur.
• La solution : Pour garder cette rigueur, il vaut mieux entraîner des experts séparés (comme les chefs) et les assembler, plutôt que de tout mélanger dans la marmite.

---

🏆 Le Verdict Final

Le papier conclut que :

1. Si vous voulez aller vite et économiser de l'énergie : La méthode "Soupe Universelle" (entraînement mixte) est excellente. Elle donne des résultats presque aussi bons que la méthode complexe, avec moins d'effort.
2. Si vous voulez la perfection et la rigueur : La méthode "Puzzle de Chefs" (experts séparés + assemblage) est meilleure pour garder une capacité de vérification précise et éviter que l'IA ne devienne trop "superficielle".

En résumé : L'IA moderne n'a pas besoin de choisir entre être un généraliste ou un spécialiste. Elle peut être les deux, à condition de savoir comment mélanger ses apprentissages. Les chercheurs ont prouvé que le cerveau artificiel est plus flexible et collaboratif qu'on ne le pensait : apprendre une chose aide souvent à en apprendre une autre, tant qu'on ne le force pas trop à la fois !

Résumé technique

Titre : To Mix or To Merge : Vers un Apprentissage par Renforcement Multi-Domaine pour les Grands Modèles de Langage

Auteurs : Haoqing Wang, Xiang Long, Ziheng Li, et al. (Samsung Research Beijing & Université de Peking)
Date : Février 2026

---

1. Problématique

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a démontré son efficacité pour stimuler les capacités de raisonnement explicite des grands modèles de langage (LLM) dans des domaines spécifiques comme les mathématiques et la programmation. Cependant, obtenir un modèle généraliste de niveau expert capable de maîtriser simultanément plusieurs domaines (maths, code, sciences, suivi d'instructions, agents) reste un défi.

Deux paradigmes de formation dominent actuellement l'état de l'art, mais leur comparaison et leurs mécanismes internes restent peu explorés :

1. RLVR Multi-tâches mixte (Mixed) : Entraînement simultané sur des données hétérogènes de différents domaines.
2. Entraînement séparé puis fusion (Separate + Merging) : Entraînement de modèles experts par domaine, suivi d'une fusion des poids (model merging) ou de la distillation.

La question centrale est de savoir quel paradigme offre le meilleur équilibre entre performance, efficacité computationnelle et robustesse, et comment les domaines interagissent au sein du modèle.

2. Méthodologie

Les auteurs ont conçu une étude comparative rigoureuse en utilisant le modèle de base Qwen3-4B et des datasets open-source de la suite Nemotron 3 Nano.

Domaines et Données

Cinq domaines cibles ont été sélectionnés :

• Mathématiques (Math)
• Programmation (Coding)
• Sciences (Science)
• Suivi d'instructions (Instruction Following - IF)
• Agents (Agent)

Les données d'entraînement (SFT et RL) proviennent de Nemotron, avec des stratégies d'échantillonnage adaptées pour équilibrer les proportions (voir Tableau 1 du papier).

Paradigmes Comparés

1. RL Multi-tâches (Mixed) : Entraînement direct sur un mélange de tous les datasets de RLVR.
2. Entraînement Séparé + Fusion :
   • Entraînement de 5 modèles experts distincts.
   • Fusion par poids (Weight Merging) : Utilisation de méthodes comme la moyenne simple, Task Arithmetic, Ties-Merging, et SCE (souvent combinées avec DARE).
   • Distillation On-Policy Multi-enseignants (MT-OPD) : Distillation des experts vers un modèle étudiant sur des trajectoires générées.

Évaluation

Les modèles ont été évalués sur 9 benchmarks couvrant les 5 domaines (ex: AIME'24/25, LiveCodeBench, GPQA-Diamond, IFEval, BFCL v3). L'analyse interne inclut :

• La géométrie de l'espace des poids (similarité cosinus, chevauchement des masques de changement de poids).
• La divergence KL pour étudier les voisinages de politiques.
• L'analyse du comportement de prédiction et de l'auto-vérification (GenRM).

3. Contributions Clés et Résultats

A. Performance et Efficacité

• Parité de performance : Le paradigme RL Multi-tâches mixte atteint des performances comparables à l'approche "Séparé + Fusion", mais avec 63,7 % d'heures GPU en moins.
• Absence d'interférence : Contrairement aux craintes de gradient interference, les domaines de raisonnement intensif (Math, Code, Science) montrent des effets synergiques : l'apprentissage dans un domaine améliore les performances dans les autres.
• Méthodes de fusion : La fusion de poids (notamment Ties-Merging) préserve mieux les capacités originales des modèles experts que la distillation, mais la distillation on-policy permet d'apprendre de nouvelles capacités émergentes.

B. Mécanismes Internes

• Chevauchement des poids : Les "empreintes" de déplacement des poids (weight shift footprints) entre les différents domaines présentent un chevauchement significatif (Jaccard overlap ~0.47-0.48 contre 0.18 pour des masques aléatoires). La similarité cosinus des vecteurs de déplacement est positive, indiquant que les domaines partagent des représentations internes communes.
• Voisinage de politiques (Policy Neighborhoods) : L'analyse de la divergence KL révèle que les politiques de certains domaines sont des "voisins" d'autres (ex: le Code est un voisin des Maths). La fusion de modèles dont les politiques sont proches dans l'espace des politiques conduit à de meilleures performances, tandis que la fusion de politiques non-voisines peut être moins bénéfique.
• Capacités Émergentes : Les modèles entraînés en multi-tâches ou par distillation développent des compétences qui divergent de la simple somme des compétences des modèles mono-tâches, suggérant l'émergence de capacités nouvelles issues de l'interaction des tâches.

C. Dynamique d'Auto-Vérification (Self-Verification)

L'étude révèle un compromis crucial (trade-off) entre la qualité de génération et la capacité d'auto-évaluation :

• Vérification par résultat (Outcome) vs Processus (Process) :
  • Pour les tâches de raisonnement (Math, Code), la vérification du processus (Chain-of-Thought) est supérieure.
  • Pour les tâches de contraintes (Instructions), la vérification du résultat est supérieure.
• Effet de l'entraînement Multi-tâches : L'entraînement RL multi-tâches prolongé améliore la génération globale mais provoque un effondrement de la vérification de processus (Process Verification Collapse). Le modèle optimise pour des motifs textuels superficiels au détriment de la rigueur logique.
• Avantage des Agents : Les modèles entraînés spécifiquement sur des tâches d'agents (interactions multi-tours) développent une capacité de vérification de processus exceptionnellement robuste, agissant comme un catalyseur pour l'évaluation rigoureuse.

4. Signification et Implications

Ce travail apporte des insights fondamentaux pour le post-entraînement des LLM :

1. Efficacité du Mixte : Le RL multi-tâches mixte est une méthode hautement efficace et économique pour créer des modèles généralistes, car les domaines de raisonnement ne s'interfèrent pas mais se renforcent mutuellement.
2. Stratégie de Fusion : Pour les cas où la préservation stricte des capacités expertes est requise, la fusion de poids (Weight Merging) est supérieure. Pour l'émergence de nouvelles capacités, la distillation ou le mixte est préférable.
3. Robustesse et Auto-Vérification : Il existe un compromis inhérent entre l'optimisation de la génération et la capacité d'auto-critique rigoureuse dans les approches multi-tâches. Les méthodes de fusion découplée (comme le Weight Merging) agissent comme des régularisateurs efficaces, préservant la capacité de vérification de processus mieux que l'entraînement RL multi-tâches continu.
4. Rôle des Agents : L'entraînement sur des tâches d'agents est crucial pour maintenir une vérification de processus fiable, suggérant que l'intégration de compétences d'agent est essentielle pour les modèles de raisonnement robustes.

En conclusion, le papier M2RL démontre que la collaboration des récompenses vérifiables à travers les domaines est une frontière prometteuse, offrant des voies pour développer des modèles de raisonnement généralistes à la fois performants et économes en ressources.