🤖 machine learning

Multi-Objective Bayesian Optimization for Model Merging

Cet article introduit MOBO-Merge, un cadre qui emploie l'optimisation bayésienne multi-objectif pour sélectionner efficacement les paramètres de fusion afin de combiner plusieurs modèles dans l'espace des poids, démontrant une performance supérieure à la recherche aléatoire à travers divers opérateurs de fusion et configurations de modèles.

Auteurs originaux : Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Utkarsh Agarwal, Vamshi Bonagiri, Raul Astudillo, Monojit Choudhury

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef ayant passé des années à perfectionner deux recettes différentes : l'une est le meilleur gâteau au chocolat du monde, et l'autre est la lasagne la plus savoureuse et complexe. Vous possédez une cuisine magique où vous ne pouvez pas simplement mélanger les ingrédients dans un bol en espérant que cela fonctionne ; au contraire, vous devez fusionner les gâteaux et les lasagnes entiers, couche par couche, pour créer un nouveau plat. C'est le monde de la fusion de modèles d'IA (AI model merging). Dans ce recoin de l'informatique, des chercheurs prennent deux ou plusieurs modèles d'IA qui ont déjà été entraînés pour des tâches spécifiques — comme un modèle excellent pour résoudre des problèmes mathématiques et un autre qui excelle dans l'écriture de code — et tentent de les combiner en un seul modèle super-intelligent sans avoir à les réentraîner de zéro.

La partie délicate consiste à déterminer comment les mélanger. Si vous mélangez à 50-50, vous pourriez obtenir un gâteau-lasagne médiocre qui n'est ni l'un ni l'autre. Si vous mélangez à 90-10, vous risquez de perdre totalement la saveur de la lasagne. C'est ce qu'on appelle le problème du paramètre de fusion (merge parameter). Habituellement, trouver le mélange parfait revient à chercher une aiguille dans une botte de foin en ramassant des poignées de foin au hasard. C'est coûteux, chronophage et souvent frustrant car vous ne pouvez pas voir la « recette » (la mathématique derrière l'IA) pour vous guider. Cet article pose une question simple mais puissante : pouvons-nous utiliser une stratégie intelligente basée sur l'intuition pour trouver de meilleurs mélanges bien plus rapidement qu'en devinant au hasard ?

Le guide du chef intelligent pour mélanger les modèles d'IA

Rencontrez MOBO-Merge, le nouveau « chef intelligent » présenté dans cet article. Les auteurs, une équipe de l'Université de l'Intelligence Artificielle Mohamed bin Zayed, ont réalisé que mélanger des modèles d'IA ressemble un peu à la recherche de l'équilibre parfait entre deux saveurs concurrentes. Vous voulez que votre nouvelle IA soit bonne à la fois pour suivre des instructions (vous écouter) et pour le raisonnement mathématique (résoudre des problèmes), mais généralement, améliorer une compétence en dégrade légèrement l'autre.

Au lieu de chercher un seul mélange « parfait », les auteurs ont décidé de chercher le front de Pareto. Considérez cela comme une carte de tous les « meilleurs compromis possibles ». Sur cette carte, chaque point représente un mélange où l'on ne peut pas obtenir plus de compétence en mathématiques sans perdre un peu de compétence en instruction, et vice versa. L'objectif n'est pas de choisir un seul vainqueur, mais de découvrir tout le paysage des options excellentes afin que vous puissiez choisir celle qui correspond le mieux à vos besoins.

Le problème : La cuisine « boîte noire »

Le défi est que tester un nouveau mélange est incroyablement coûteux. Pour voir si un mélange fonctionne, vous devez construire le nouveau modèle d'IA et le soumettre à des centaines de questions de test. C'est comme cuire un gâteau entier juste pour en goûter une cuillerée. Vous ne pouvez pas goûter pendant la cuisson (pas de « gradients » pour vous guider), et vous disposez d'un nombre limité d'ingrédients (un budget limité pour les tests).

Si vous essayez simplement des mélanges aléatoires (comme lancer des fléchettes sur un tableau), vous aurez peut-être de la chance, mais vous gaspillerez beaucoup de temps et d'ingrédients. Si la recette de mélange est simple (comme fusionner deux modèles avec un seul bouton), deviner au hasard n'est pas trop mal. Mais si la recette est complexe — comme avoir différents boutons pour différentes couches du gâteau — deviner au hasard devient un désastre.

La solution : La machine de « devinette intelligente »

Les auteurs ont créé MOBO-Merge, un cadre qui utilise l'Optimisation Bayésienne Multi-Objectifs (Multi-Objective Bayesian Optimization). En langage clair, il s'agit d'une machine de « devinette intelligente ».

Voici comment cela fonctionne :

Le Modèle de Substitution (Surrogate Model) : Au lieu de cuire un gâteau à chaque fois, la machine construit une « carte de prédiction » basée sur les quelques mélanges qu'elle a déjà testés. Elle apprend : « Oh, quand nous mélangeons 30 % du Modèle A et 70 % du Modèle B, le score de mathématiques augmente, mais le score d'instruction chute. »
La Fonction d'Acquisition (Acquisition Function) : C'est l'intuition de la machine. Elle regarde la carte et demande : « Où devrais-je tester ensuite pour apprendre le plus ? » Elle ne cherche pas seulement le score le plus élevé ; elle cherche les endroits qui l'aideront à dessiner la meilleure « carte de compromis » (le front de Pareto).
La Boucle : Elle choisit un nouveau mélange, le teste, met à jour sa carte, et recommence.

Les auteurs ont testé cela sur deux familles d'IA célèbres : Qwen3-4B et Llama-3.1-8B. Ils ont essayé de les mélanger de différentes manières :

Linéaire : Un mélange simple (un seul bouton).
TIES : Une méthode plus complexe qui tente de corriger les « conflits » d'instructions entre les modèles (quatre boutons).
Block-Linear : Une méthode qui traite les différentes couches de l'IA comme des blocs distincts, permettant un mélange très fin (quatre ou huit boutons).

Ce qu'ils ont découvert

Les résultats étaient comme une chasse au trésor avec une carte très intelligente.

Mélanges simples : Lorsque le mélange était simple (un seul bouton), la « devinette intelligente » (MOBO-Merge) était seulement légèrement meilleure que le hasard. En fait, pour un test spécifique avec le modèle Qwen, le hasard a été légèrement meilleur. Cela suggère que pour des recettes simples, vous n'avez pas besoin d'un supercalculateur pour trouver le mélange.
Mélanges complexes : Mais quand le mélange devenait compliqué (utilisant TIES ou Block-Linear avec plusieurs boutons), MOBO-Merge a brillé. Il a trouvé de bien meilleurs mélanges que la recherche aléatoire. Par exemple, avec le modèle Llama utilisant la méthode TIES, MOBO-Merge a trouvé un mélange nettement meilleur que ce que la recherche aléatoire pouvait trouver.
Le défi des « trois modèles » : Les auteurs ont également essayé de mélanger trois modèles à la fois (Instruction + Mathématiques + Code). Ici, l'avantage de la devinette intelligente était immense. Dans un cas avec le modèle Llama, MOBO-Merge a trouvé un mélange plus de deux fois meilleur que le meilleur mélange aléatoire.

L'une des découvertes les plus intéressantes est qu'il n'existe pas une seule « meilleure » méthode de mélange. Parfois, la méthode Linéaire simple fonctionne le mieux ; d'autres fois, les méthodes plus complexes comme TIES ou Block-Linear l'emportent. Tout dépend entièrement des modèles d'IA que vous mélangez et de ce que vous cherchez à accomplir.

Pourquoi cela importe

L'article suggère que MOBO-Merge est un outil puissant pour quiconque cherche à combiner des modèles d'IA. Il n'invente pas une nouvelle façon de mélanger les modèles ; il propose plutôt une façon plus intelligente de rechercher le bon mélange.

En utilisant cette méthode, les chercheurs peuvent trouver des combinaisons de haute qualité de capacités d'IA sans avoir besoin de réaliser des milliers de tests coûteux. Cela transforme un processus qui ressemblait autrefois à un jeu de chance en une exploration systématique. Les auteurs ont constaté que dans 11 scénarios de test sur 12, MOBO-Merge a trouvé de meilleures « cartes de compromis » que la recherche aléatoire.

Cependant, les auteurs précisent avec prudence que ce n'est pas une baguette magique qui résout tout. La méthode nécessite toujours d'effectuer des tests, ce qui coûte de l'argent et du temps. Elle fonctionne mieux lorsque la recette de mélange est complexe, et elle ne garantit pas que le mélange sera parfait pour chaque tâche. Mais pour ceux qui cherchent à construire des systèmes d'IA flexibles et multi-compétents sans les réentraîner de zéro, cette approche de « devinette intelligente » offre une voie bien plus efficace.

En fin de compte, l'article montre que, même si nous ne pouvons pas toujours prédire la recette parfaite pour une super-IA, nous pouvons certainement cesser de deviner aveuglément et commencer à explorer les possibilités avec un peu d'intuition mathématique.

Résumé technique : Optimisation Bayésienne Multi-Objectif pour la Fusion de Modèles

Formulation du Problème

La fusion de modèles offre une alternative économe en calcul au réglage fin (fine-tuning) supplémentaire en combinant directement les modèles dans l'espace des poids. Cependant, la sélection des paramètres de fusion est complexe car les évaluations en aval sont coûteuses, les gradients par rapport aux paramètres de fusion sont indisponibles, et les modèles sources possèdent souvent des capacités conflictuelles (par exemple, le suivi d'instructions vs le raisonnement mathématique).

Les auteurs formulent la sélection des paramètres de fusion comme un problème d'optimisation multi-objectif de boîte noire coûteuse. Dans ce cadre :

Entrée : Un espace de paramètres de fusion de faible dimension $X$ (par exemple, poids globaux, coefficients par blocs) et un ensemble de modèles sources $\theta_1, \dots, \theta_K$ .
Processus : Un opérateur de fusion $M$ combine les modèles sources en un modèle fusionné $\theta(x) = M(\theta_1, \dots, \theta_K; x)$ .
Objectif : Maximiser un vecteur de métriques de performance $f(x) = (f_1(\theta(x)), \dots, f_M(\theta(x)))$ , où chaque $f_i$ correspond à une capacité distincte (ex. : instruction, mathématiques, code).
Contrainte : Les évaluations sont coûteuses et bruitées, limitant le nombre total de configurations pouvant être testées.
But : Au lieu de trouver une solution unique optimale, l'objectif est d'approcher efficacement la frontière de Pareto — l'ensemble des solutions non dominées qui exposent les compromis optimaux entre les capacités concurrentes.

Méthodologie : MOBO-Merge

Le papier introduit MOBO-Merge, un cadre qui applique l'optimisation bayésienne multi-objectif (MOBO) à la tâche de fusion de modèles. Le cadre est indépendant de l'opérateur de fusion, ce qui signifie qu'il peut être appliqué à diverses stratégies de fusion (Linéaire, SLERP, TIES, par blocs) sans modification du cœur de l'optimisation.

L'algorithme fonctionne comme suit :

Modélisation de Substitut Probabiliste : MOBO-Merge maintient un modèle probabiliste des fonctions d'objectif basé sur les paramètres de fusion précédemment évalués. Dans les expériences, cela est instancié à l'aide de substituts de Processus Gaussiens (GP) indépendants pour chaque objectif.
Fonction d'Acquisition : Pour sélectionner la prochaine configuration de fusion, le cadre utilise une fonction d'acquisition de type Amélioration de l'Hypervolume Espéré Bruité (NEHVI). Cette fonction évalue les paramètres candidats en fonction de leur contribution attendue à la qualité de l'approximation actuelle de la frontière de Pareto, ciblant spécifiquement l'expansion de l'hypervolume dominé.
Optimisation Séquentielle : Le processus itère :
- Ajuster le modèle de substitut au jeu de données actuel.
- Optimiser la fonction d'acquisition pour sélectionner le prochain paramètre de fusion $x_{t+1}$ .
- Instancier le modèle fusionné, l'évaluer sur des benchmarks en aval, et mettre à jour le jeu de données.
Sortie : L'algorithme retourne l'ensemble des solutions non dominées trouvées lors de la recherche, approximant la frontière de Pareto.

Configuration Expérimentale

Les auteurs ont évalué MOBO-Merge sur deux familles de modèles : Qwen3-4B et Llama-3.1-8B.

Configurations :
- Deux modèles (AB) : Fusion d'un checkpoint de suivi d'instructions et d'un checkpoint de raisonnement mathématique.
- Trois modèles (ABC) : Ajout d'un checkpoint de génération de code au mélange.
Opérateurs de Fusion :
- Linéaire : Moyenne pondérée globale.
- SLERP : Interpolation linéaire sphérique (restreinte aux configurations à deux modèles dans la comparaison principale).
- TIES : Fusion sensible aux interférences qui élague et résout les conflits de signes.
- Block-Linear 4x : Une interpolation linéaire par blocs où les couches sont partitionnées en quatre blocs disjoints, chacun possédant son propre coefficient de mélange.
Baselines : MOBO-Merge (utilisant NEHVI) a été comparé à une recherche aléatoire uniforme sur le même espace de paramètres et le même budget d'évaluation (100 étapes séquentielles).
Métriques : La performance a été mesurée sur des partitions non vues d'IFEval (instruction), GSM8K (maths) et HumanEval (code). La métrique principale pour comparer les stratégies de recherche était l'hypervolume de la frontière de Pareto récupérée.

Résultats Clés

Les expériences démontrent qu'une recherche multi-objectif guidée surpasse significativement la recherche aléatoire, particulièrement dans les espaces de paramètres de plus grande dimension :

Supériorité sur la Recherche Aléatoire : À travers 12 configurations expérimentales distinctes (combinaisons de famille de modèles, ensemble d'objectifs et opérateur de fusion), MOBO-Merge a obtenu un hypervolume moyen de frontière de Pareto plus élevé que la recherche aléatoire dans 11 cas sur 12.
Dépendance à la Dimensionnalité :
- Une dimension (Linéaire) : Le gain était marginal. Pour Qwen AB, la recherche aléatoire a légèrement mieux performé que MOBO-Merge ; pour Llama AB, le gain était faible. Cela suggère que pour une interpolation globale simple, la recherche aléatoire est déjà compétitive.
- Dimensions supérieures (TIES, Block-Linear) : Les gains étaient substantiels. Par exemple, dans le réglage Llama ABC, MOBO-Merge avec Block-Linear 4x a atteint un hypervolume de 0,0634 contre 0,0289 pour la recherche aléatoire. De même, pour Llama AB avec TIES, MOBO-Merge a atteint 0,1145 contre 0,0764 pour la recherche aléatoire.
Variabilité des Opérateurs : Aucun opérateur de fusion n'était uniformément le meilleur.
- TIES a le mieux performé dans trois des quatre combinaisons de réglages familiaux.
- Block-Linear 4x était le plus performant pour la fusion à trois modèles (ABC) de Llama.
Qualité de la Frontière de Pareto : Les visualisations des frontières de Pareto ont montré que MOBO-Merge découvrait systématiquement des configurations offrant de meilleurs compromis que celles trouvées par la recherche aléatoire. Dans certains cas (ex. : Qwen), la méthode a trouvé des fusions qui surpassaient simultanément les deux modèles sources sur leurs tâches respectives.

Signification et Revendications

Le papier affirme que MOBO-Merge fournit un cadre fondé sur des principes, général et efficace en termes d'échantillonnage pour la composition de modèles. Ses principales contributions et sa signification sont :

Recadrage de la Fusion comme Optimisation : Il établit la fusion de modèles non pas comme une procédure fixe, mais comme un problème d'optimisation multi-objectif de boîte noire, permettant la découverte systématique de compromis de capacités.
Efficacité dans les Espaces Expressifs : Le cadre est particulièrement précieux pour les paramétrisations de fusion "expressives" (comme TIES et le mélange par blocs) où l'espace de recherche est trop vaste pour qu'une recherche exhaustive ou aléatoire soit efficace. Il permet aux praticiens de trouver des compromis de haute qualité avec nettement moins d'évaluations.
Indépendance de l'Opérateur : En découplant la stratégie de recherche de l'opérateur de fusion, MOBO-Merge permet une comparaison équitable des différentes stratégies de fusion et facilite la découverte de l'opérateur qui fonctionne le mieux pour des familles de modèles et des ensembles d'objectifs spécifiques.
Utilité Pratique : La méthode remplace le réglage ad hoc des poids de fusion par un processus automatisé qui expose des compromis contrôlables, permettant aux praticiens de sélectionner les modèles qui correspondent le mieux à leurs besoins sous des budgets de calcul fixes.

Les auteurs concluent que si l'interpolation linéaire simple peut ne pas nécessiter d'optimisation complexe, la complexité croissante des stratégies de fusion modernes (par blocs, sensibles aux interférences) fait de l'optimisation bayésienne multi-objectif un outil nécessaire pour débloquer de fortes performances de compromis.