💬 NLP

Multi-task Code LLMs: Data Mix or Model Merge?

Cet article compare les stratégies de mélange de données et de fusion de modèles pour la création de LLM de code multi-tâches efficaces, concluant que la fusion de modèles surpasse le mélange de données à plus grande échelle (7B) en conservant ou même en dépassant la performance spécialisée, tandis que le mélange de données est privilégié à plus petite échelle (2B).

Auteurs originaux : Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingzhi Zhu, Boris Sobolev, Rahul Krishna, Raju Pavuluri, Stacy Patterson, Michele Merler

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un petit robot assistant brillant qui doit apprendre deux compétences très différentes : écrire du code (comme un programmeur) et expliquer du code (comme un enseignant). Vous voulez que ce robot soit bon dans les deux, mais vous n'avez pas le budget ou le temps d'entraîner deux robots séparés. Vous avez deux manières principales de l'enseigner au robot :

Le cours « Mélange et assortiment » (Mélange de données) : Vous jetez tous les problèmes de programmation et toutes les leçons d'explication dans un seul grand seau et vous enseignez tout au robot en même temps.
Le « Échange de spécialistes » (Fusion de modèles) : Vous entraînez d'abord un robot pour qu'il soit un maître programmeur et un autre pour qu'il soit un maître enseignant. Ensuite, vous prenez leurs cerveaux (leurs « poids ») et vous les mélangez soigneusement pour créer un super-robot.

Cette étude pose une question simple : Quelle méthode fonctionne le mieux ? Et la réponse dépend entièrement de la taille du robot.

La grande découverte : La taille compte

Les chercheurs ont testé cela sur des robots de différentes tailles (des petits avec environ 2 milliards de « cellules cérébrales » et des plus grands avec 7 milliards). Voici ce qu'ils ont découvert :

1. Les petits robots (2 milliards de paramètres) : Le « Mélange et assortiment » gagne

Pour les plus petits robots, essayer de fusionner deux cerveaux d'experts était un désastre. C'était comme essayer de mélanger de l'huile et de l'eau ; les deux compétences se battaient l'une contre l'autre, et le robot devenait confus, oubliant comment bien faire l'un ou l'autre travail.

L'analogie : Imaginez un petit étudiant essayant d'apprendre le calcul et la poésie simultanément dans un seul cours. Si vous essayez de forcer cet étudiant à être un « math-poète » en mélangeant simplement deux leçons distinctes, il pourrait être submergé et ne bien apprendre ni l'un ni l'autre.
La solution : Pour les petits robots, il est préférable de mettre tous les livres de mathématiques et de poésie dans un seul tas et de les étudier ensemble. L'approche « Mélange et assortiment » (Mélange de données) permettait au petit robot de rester compétent dans les deux tâches sans qu'il ne soit confus.

2. Les grands robots (7 milliards de paramètres) : L'« Échange de spécialistes » gagne

Pour les robots plus grands, l'histoire s'est inversée. Fusionner les cerveaux de deux experts a fonctionné magnifiquement. En fait, le robot fusionné était parfois meilleur que les experts individuels.

L'analogie : Imaginez un professeur génie qui est déjà un maître en mathématiques et un maître en littérature. Si vous prenez son « cerveau de mathématiques » et son « cerveau de littérature » et que vous les combinez, ils ne seront pas confus. Au contraire, ils trouveront un moyen d'utiliser leur vaste savoir pour résoudre des problèmes d'une manière que les spécialistes seuls ne pourraient pas faire.
Le résultat : Le grand robot fusionné a conservé 9% de la performance des experts spécialisés. Dans certains cas, le robot fusionné a même obtenu un score plus élevé aux tests de codage que le robot entraîné spécifiquement pour le codage !

Pourquoi cela arrive-t-il ? (Le « Scanner cérébral »)

Les chercheurs ne se sont pas contentés de regarder les scores de test ; ils ont regardé à l'intérieur des cerveaux des robots pour voir comment ils changeaient pendant l'entraînement.

Petits robots : Lorsque les petits robots essayaient d'apprendre deux choses à la fois, leurs cerveaux changeaient de manières très similaires pour les deux tâches. C'était comme s'ils utilisaient exactement les mêmes neurones pour les mathématiques et la poésie. Quand vous essayiez de fusionner deux petits robots, ces neurones se battaient pour savoir qui ferait quoi, provoquant un « embouteillage » dans le cerveau.
Grands robots : Les grands robots ont assez d'« espace cérébral » pour utiliser différentes parties de leur cerveau pour les mathématiques et différentes parties pour la poésie. Ils sont comme ayant deux pièces séparées dans une maison. Lorsque vous les fusionnez, les pièces ne s'entrechoquent pas ; elles sont juste côte à côte, permettant au robot d'être un maître des deux sans interférence.

Ce qu'il faut retenir

Si vous construisez un système d'IA petit et efficace (par exemple, pour un appareil avec une batterie ou une mémoire limitée), n'essayez pas de fusionner des experts. Entraînez simplement un modèle sur un mélange de toutes les données dont vous avez besoin.

Cependant, si vous disposez d'un modèle plus grand et plus puissant, allez-y, fusionnez les experts. Vous pouvez entraîner un spécialiste du codage et un spécialiste du résumé séparément, puis les combiner pour obtenir un modèle polyvalent et performant qui vous fera économiser le coût de l'entraînement d'un énorme modèle multi-tâches à partir de zéro.

En bref :

Petit modèle ? Mélangez les données.
Grand modèle ? Fusionnez les experts.

L'article fournit un guide clair pour les développeurs afin de choisir la bonne stratégie en fonction de la taille de leur modèle, garantissant ainsi la meilleure performance sans gaspiller de ressources.

Résumé technique : LLM de code multi-tâches : Mélange de données ou fusion de modèles ?

Problématique

L'essor des cadres agentiques a créé une demande pour des modèles de langage (LLM) de code spécialisés et plus petits, capables de fonctionner aux côtés de modèles frontières pour équilibrer performance, coût et contraintes d'inférence. Cependant, le déploiement pratique nécessite souvent que ces petits modèles gèrent simultanément plusieurs tâches de codage (par exemple, la génération de code et la résumé de code). Deux stratégies principales existent pour créer de tels modèles multi-tâches :

Mélange de données (Data Mixture) : Affiner un modèle de base une seule fois sur un ensemble de données combiné de toutes les tâches souhaitées.
Fusion de modèles (Model Merging) : Entraîner des modèles « spécialistes » séparés pour chaque tâche, puis fusionner leurs poids a posteriori.

Bien que le mélange de données et la fusion de modèles soient tous deux des domaines de recherche actifs, l'efficacité comparative spécifiquement pour les LLM de code reste peu étudiée. Il n'est pas clair quelle stratégie produit de meilleures performances multi-tâches, comment l'échelle du modèle influence ce choix, et si l'analyse de l'espace des poids peut prédire la stratégie optimale.

Méthodologie

Les auteurs ont mené des expériences approfondies comparant le réglage fin supervisé (SFT) par mélange de données à quatre techniques de fusion de modèles de pointe à travers deux familles de modèles (Qwen2.5-Coder et DeepSeekCoder) à deux échelles (environ 1,5B/1,3B et 7B de paramètres).

Tâches : L'étude s'est concentrée sur deux tâches de codage distinctes : la Génération de code (utilisant KodCode, HumanEval, MBPP) et le Résumé de code (utilisant CodeXGLUE Code-to-Text).
Stratégies :
- Mélange de données : SFT sur une combinaison mélangée des ensembles de données de génération et de résumé.
- Fusion de modèles : Entraînement de spécialistes séparés pour la génération et le résumé, puis fusion via Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale), et DELLA (Deep Linear Learning Alignment).
Analyse : Les auteurs ont introduit une approche de diagnostic dans l'espace des poids, mesurant la distance $L_2$ par couche par rapport au modèle de base et calculant les corrélations de Pearson entre les mises à jour de poids spécifiques aux tâches pour comprendre l'interférence et le chevauchement représentationnel.

Contributions clés

Comparaison par échelle : Le document fournit une comparaison empirique complète du mélange de données par rapport à la fusion de modèles pour les LLM de code aux échelles 2B et 7B.
Diagnostics de l'espace des poids : Les auteurs proposent d'utiliser les décalages de poids par couche et les corrélations de mise à jour inter-tâches comme un diagnostic mécaniste. Ils ont constaté que les petits modèles présentent une corrélation élevée entre les mises à jour de tâches (indiquant une interférence), tandis que les modèles plus grands montrent une faible corrélation (indiquant des représentations orthogonales).
Directives pratiques : L'étude établit une règle empirique claire basée sur l'échelle du modèle :
- Petits modèles (~2B) : Le SFT par mélange de données est la stratégie privilégiée, car la fusion de spécialistes entraîne une dégradation significative des performances en raison des contraintes de capacité.
- Grands modèles (7B) : La fusion de modèles est supérieure, égalant ou dépassant souvent les spécialistes individuels avec une dégradation minimale (<2,1 %).

Résultats

L'évaluation sur les benchmarks HumanEval, MBPP et CodeXGlue a révélé une divergence distincte de l'efficacité des stratégies selon l'échelle :

Petits modèles (1,3B/1,5B) :
- Le SFT par mélange de données surpasse systématiquement les stratégies de fusion. Par exemple, sur Qwen 1,5B, le mélange de données n'a atteint qu'une dégradation moyenne de -1,26 % par rapport aux spécialistes, tandis que les méthodes de fusion (Linear, TIES, DELLA) ont subi des pertes allant de -7 % à -27 %.
- L'analyse des poids a montré une corrélation de Pearson élevée entre les mises à jour de génération et de résumé dans les petits modèles, suggérant qu'ils modifient des paramètres similaires, ce qui conduit à une interférence destructrice lors de la fusion.
Grands modèles (7B) :
- La fusion de modèles surpasse nettement le mélange de données. Sur Qwen 7B, la fusion DELLA a obtenu la meilleure performance globale (-2,08 % de perte moyenne), dépassant légèrement le SFT par mélange de données (-2,57 %).
- Sur DeepSeek 7B, la fusion DARE a atteint une rétention de performance quasi parfaite (-0,01 % de perte moyenne), dépassant même les spécialistes sur certaines métriques (ex: le pass@1 de MBPP est passé de 0,775 à 0,799).
- L'analyse des poids a révélé une faible corrélation entre les mises à jour de tâches dans les modèles 7B, indiquant qu'ils utilisent des voies représentationnelles distinctes, permettant une combinaison réussie sans conflit.
Spécificité de l'architecture : L'algorithme de fusion optimal variait selon l'architecture ; DELLA a performé le mieux pour Qwen-Coder 7B, tandis que DARE excellait pour DeepSeek-Coder 7B.

Signification et affirmations

Le document affirme fournir des informations exploitables pour les praticiens déployant des systèmes agentiques à ressources limitées. La principale signification réside dans la découverte que la stratégie optimale d'apprentissage multi-tâches est fondamentalement déterminée par l'échelle du modèle plutôt que par les seules caractéristiques des tâches.

Pour les petits modèles : Investir dans des stratégies de mélange de données soigneuses pendant l'entraînement produit de meilleurs résultats par rapport à la fusion a posteriori, évitant ainsi l'« interférence catastrophique » causée par la capacité limitée des paramètres.
Pour les grands modèles : La fusion de spécialistes de tâches offre des avantages convaincants, permettant un développement modulaire où les équipes peuvent optimiser les modèles indépendamment avant de les combiner. Cette approche réduit les coûts d'entraînement en évitant l'entraînement multi-tâches redondant et permet d'ajouter de nouvelles capacités sans repartir de zéro.

Les auteurs concluent qu'avec une sélection de stratégie prudente, les petits systèmes agentiques peuvent bénéficier d'une intelligence de code multi-tâches sans sur-entraînement inutile, et que l'analyse de l'espace des poids peut servir d'outil prédictif pour sélectionner la stratégie appropriée avant le déploiement.