🤖 machine learning

Model Merging by Output-Space Projection

Ce papier propose un cadre novateur de fusion de modèles qui formule la combinaison de points de contrôle affinés comme un programme quadratique convexe sur des mises à jour résiduelles, offrant un diagnostic théoriquement fondé et sous forme fermée pour prédire la qualité de la fusion tout en surpassant empiriquement les méthodes heuristiques existantes sur des benchmarks linguistiques et visuels.

Auteurs originaux : Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

Publié 2026-05-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une équipe de cinq chefs experts. Chacun a passé des mois à perfectionner un plat spécifique : l'un est un maître de la pizza, un autre du sushi, un troisième des pâtes, et ainsi de suite. Maintenant, vous souhaitez créer un seul « Super Chef » capable de cuisiner parfaitement ces cinq plats, mais vous n'avez pas le temps de former une nouvelle personne à partir de zéro.

Le Problème avec les Méthodes Actuelles
Actuellement, la façon standard de combiner ces chefs ressemble à un vote en comité.

Arithmétique des Tâches : Vous prenez simplement la moyenne de leurs recettes.
Soupes de Modèles : Vous mélangez leurs ingrédients dans un grand pot et espérez que le résultat soit bon.
TIES/DARE : Vous essayez de retirer les ingrédients sur lesquels ils ne sont pas d'accord ou vous en jetez certains au hasard.

Ces méthodes fonctionnent correctement, mais elles ressemblent un peu à des devinettes. Elles reposent sur des règles simples (comme « tout le monde a un vote égal ») plutôt que de calculer réellement la recette parfaite pour le Super Chef. Elles ne savent pas exactement combien de connaissances du chef pizza il faut conserver par rapport à celles du chef sushi.

La Nouvelle Idée de l'Article : La « Projection dans l'Espace de Sortie »
Les auteurs de cet article proposent une façon plus intelligente de mélanger ces modèles. Au lieu de simplement moyenner les poids (les ingrédients), ils examinent les résultats (les plats finis).

Voici l'analogie :
Imaginez une « Cuisine d'Étalonnage » où vous testez les chefs. Vous leur donnez un ingrédient spécifique (entrée) et demandez un plat spécifique (sortie).

Le Modèle de Base : C'est votre chef « page blanche » qui ne sait rien.
Les Résidus : C'est la différence entre ce que le chef vide produit et ce que les chefs experts produisent. C'est la « saveur supplémentaire » que chaque expert ajoute.
L'Objectif : Vous voulez mélanger ces « saveurs supplémentaires » pour obtenir le plat parfait pour chaque entrée.

L'article dit : « Traitons cela comme un puzzle mathématique. »

Ils formulent le problème comme un Programme Quadratique (QP). En termes simples, c'est une façon élégante de dire : « Nous pouvons écrire une équation mathématique parfaite qui nous indique exactement combien de la « saveur supplémentaire » de chaque expert il faut ajouter pour minimiser les erreurs. »

Comment Cela Fonctionne (La Métaphore de la « Projection »)
Imaginez le « plat parfait » comme une cible sur une cible de fléchettes.

Chaque chef expert lance une fléchette (sa mise à jour) qui atterrit quelque part près de la cible.
Le « résidu » est la distance entre l'endroit où ils ont atterri et le centre de la cible.
Les méthodes actuelles devinent simplement comment moyenner ces fléchettes.
La méthode de cet article demande : « Si nous projetons toutes ces fléchettes sur une ligne ou un plan spécifique (un sous-espace), quelle combinaison nous rapproche le plus du centre de la cible ? »

Ils ont découvert que si vous examinez l'« énergie » des erreurs (à quel point les fléchettes sont loin), vous pouvez calculer mathématiquement la direction optimale pour les mélanger.

La Méthode Diagonale (La Version Économique) : Elle suppose que les compétences des experts sont indépendantes. C'est comme dire : « Le chef pizza n'affecte que la pizza, et le chef sushi n'affecte que le sushi. » C'est rapide et facile à calculer.
La Méthode de la Base Optimale (La Version Coûteuse) : Elle réalise que les compétences peuvent se chevaucher. Peut-être que la technique de sauce du chef pizza aide aussi pour les pâtes. Cette méthode trouve le mélange optimal possible de directions pour capturer toute l'« énergie » utile des experts.

Résultats Clés

C'est une Théorie Unificatrice : L'article montre que toutes les méthodes populaires utilisées actuellement (Arithmétique des Tâches, Soupes de Modèles, TIES) sont en fait juste des versions spécialisées et simplifiées de ce nouveau puzzle mathématique. Ce sont des devinettes « heuristiques » (règles empiriques), tandis que cette nouvelle méthode trouve la solution mathématique réelle.
Elle Prédit le Succès : Avant même de fusionner les modèles, les auteurs ont créé un « outil de diagnostic ». En examinant les données d'étalonnage, ils peuvent calculer un score (la « fraction d'énergie résiduelle capturée ») qui prédit la performance du modèle fusionné. C'est comme vérifier les ingrédients avant de cuisiner pour savoir si le plat sera bon.
Elle Fonctionne Mieux : Lorsqu'ils ont testé cela sur la reconnaissance d'images (comme identifier des voitures ou des animaux) et des modèles de langage (comme les LLM), leur méthode basée sur les mathématiques a soit égalé, soit surpassé les méthodes de « devinette » existantes.
- La version « économique » diagonale était souvent suffisante et très rapide.
- La version « coûteuse » optimale était encore meilleure lorsque les compétences des experts étaient complexes et se chevauchaient.

La Conclusion
L'article ne dit pas simplement « mélangez ces modèles ». Il fournit un plan mathématique pour les mélanger parfaitement. Il transforme l'art de la fusion de modèles en un problème de géométrie soluble, montrant que en projetant les erreurs des modèles sur le bon espace mathématique, vous pouvez créer un seul modèle sur-performant sans avoir besoin de le réentraîner à partir de zéro.

Ils notent également que, bien que la solution parfaite nécessite des mathématiques lourdes (résolution des vecteurs propres), la version plus simple (masquage diagonal) est souvent un excellent raccourci rapide qui surpasse tout de même les anciennes façons de faire.

Résumé Technique : Fusion de Modèles par Projection dans l'Espace de Sortie

Énoncé du Problème

La prolifération de modèles de langage et de vision finement adaptés à des tâches spécifiques a créé une demande pour la fusion de modèles—le processus consistant à combiner plusieurs points de contrôle finement adaptés en un seul modèle multi-tâches sans réentraînement. Bien que les approches pratiques existantes telles que Task Arithmetic, Model Soups, TIES et DARE aient démontré un succès empirique, elles reposent sur des choix de conception heuristiques (par exemple, des poids scalaires fixes, un masquage stochastique ou un élagage basé sur le signe). Crucialement, ces méthodes manquent d'une caractérisation mathématique formelle des poids de combinaison optimaux et ne possèdent pas de fonction de perte précise pour laquelle elles seraient prouvées optimales.

Méthodologie

Les auteurs proposent un cadre qui formule la fusion de modèles comme un programme quadratique convexe (QP) sur les mises à jour résiduelles, ancré dans une perspective de projection dans l'espace de sortie.

1. Formulation comme un QP Convexe

L'article commence par observer que la fusion via des masques diagonaux sur les résidus finement adaptés peut être formulée comme un QP convexe.

Configuration : Étant donné un modèle de base avec des poids $\theta$ et $K$ modèles finement adaptés avec des mises à jour résiduelles $\{\delta^{(k)}_N\}$ à une couche spécifique $N$ , l'objectif est de trouver un résidu fusionné $\delta_{merge}$ .
Masquage Diagonal : La méthode applique un masque diagonal $D_k = \text{diag}(d^{(k)})$ à chaque résidu avant la sommation : $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$ .
Objectif : La méthode minimise un objectif de calibration de sortie au carré $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ sur un ensemble de calibration $\mathcal{K}$ . Ici, $b_j$ représente l'erreur du modèle de base sur l'entrée $x_j$ , et $A_j$ encode l'effet linéarisé des résidus sur la sortie.
Optimalité : La résolution de ce QP produit des poids qui minimisent la perte de sortie au carré. Les méthodes existantes (Task Arithmetic, Model Soups, TIES, DARE) sont montrées comme correspondant à des points réalisables spécifiques ou à des cas particuliers de ce QP (par exemple, des scalaires fixes ou des masques stochastiques spécifiques), impliquant que la solution du QP est théoriquement supérieure ou égale sous le même objectif.

2. Base Générale et Erreur Irréductible

Les auteurs étendent l'approche par masque diagonal à une formulation de base générale pour aborder les limitations de la fusion alignée sur les axes (diagonale).

Perspective de Projection : La fusion est vue comme l'approximation des erreurs résiduelles d'un modèle de base en utilisant un sous-espace de corrections candidates. La solution optimale correspond à la projection des résidus du modèle de base sur le sous-espace engendré par les mises à jour candidates dans l'espace de sortie.
Erreur Irréductible : L'article dérive un diagnostic sous forme close pour l'erreur irréductible de toute base choisie. Cette erreur est déterminée par la fraction de l'énergie résiduelle capturée par le sous-espace choisi.
Base Optimale : L'analyse montre que la base optimale pour le problème de projection relâché est donnée par les vecteurs propres dominants de la matrice d'énergie résiduelle $S = \sum_{j} b_j b_j^\top$ .
Caractérisation du Compromis : Le cadre quantifie le compromis entre l'efficacité computationnelle du QP diagonal et les gains de performance de la base optimale. Il établit que la fusion diagonale est optimale lorsque les mises à jour du modèle se décomposent en modes indépendants dans une base partagée ; sinon, le « fossé de sous-optimalité » est mesurable via la fraction d'énergie capturée.

3. Extension Multi-Couches

Pour la fusion multi-couches, les auteurs proposent un algorithme séquentiel couche par couche. Puisque l'optimisation conjointe à travers les couches est non convexe en raison des interactions non linéaires, la méthode applique le QP monocouche de manière séquentielle. À chaque étape, le résidu est mis à jour en utilisant le modèle fusionné actuel, et le QP est résolu pour la couche suivante, en recalculant les jacobiennes nécessaires.

Contributions Clés

Cadre Unifié : L'article englobe les méthodes de fusion heuristiques existantes (Task Arithmetic, Model Soups, TIES, DARE) comme des cas particuliers d'un QP à masque diagonal, offrant une perspective mathématique unifiée.
Formulation Convexe : Il établit que la fusion de modèles peut être formulée comme un programme quadratique convexe sur les mises à jour résiduelles, garantissant un minimum global pour la base choisie.
Diagnostic sous Forme Close : Les auteurs introduisent un diagnostic calculable—la fraction de l'énergie résiduelle capturée par une base choisie—qui prédit la qualité de la fusion en aval en utilisant uniquement l'ensemble de calibration, sans nécessiter une évaluation complète en aval.
Caractérisation de la Base Optimale : Le travail identifie les composantes principales pondérées par la sortie des activations résiduelles comme la base optimale pour minimiser la perte de sortie au carré, clarifiant quand la fusion diagonale est suffisante et quand une base plus complexe est requise.
Validation Empirique : Le cadre est validé sur des benchmarks de langage (LLaMA 3.1) et de vision (ViT-B/32, MNIST), démontrant des gains constants par rapport aux heuristiques existantes.

Résultats Expérimentaux

Performance Monocouche : Dans les expériences de fusion monocouche sur ViT-B/32 (finement adapté sur CIFAR-10, STL-10, Imagenette, EuroSAT) et LLaMA 3.1, la solution QP atteint le plus faible Erreur Quadratique Moyenne (MSE) sur tous les ensembles de données et la meilleure précision moyenne par rapport à Task Arithmetic, Model Soups, TIES, DARE et la fusion pondérée par Fisher.
Analyse de Base : Les expériences sur des tâches de classification de chiffres MNIST démontrent que la base optimale (les vecteurs propres supérieurs de la matrice résiduelle) atteint constamment le MSE le plus bas. La base diagonale standard, bien que moins efficace que la base optimale, reste compétitive et surpasse les heuristiques de référence, validant son utilisation comme proxy efficace.
Gains Multi-Couches : L'extension séquentielle multi-couches sur LLaMA 3.1 montre des améliorations constantes tant en MSE qu'en précision sur les tâches de code, de suivi d'instructions et de mathématiques par rapport aux méthodes de référence.
Utilité du Diagnostic : La métrique « énergie capturée » prédit avec succès le classement des performances des différents choix de base, confirmant le lien théorique entre la capture d'énergie résiduelle et la perte en aval.

Importance et Revendications

L'article revendique fournir un cadre théorique unificateur qui explique le succès des heuristiques existantes et offre une méthode fondée sur des principes pour les améliorer.

Rigueur Théorique : Contrairement aux méthodes précédentes qui reposent sur des règles ad hoc, cette approche offre une notion mathématique précise (minimisation de la perte de sortie au carré par projection) pour laquelle la méthode est optimale.
Utilité Pratique : Le cadre fournit un diagnostic calculable pour déterminer quand la base optimale coûteuse est nécessaire par rapport au moment où le QP diagonal moins cher suffit.
Modestie : Les auteurs reconnaissent les limites, notant que le cadre est dérivé pour un objectif de sortie au carré linéarisé. Ils déclarent explicitement que l'extension du cadre à des pertes non quadratiques (comme l'entropie croisée) et le développement d'approximations évolutives pour la base optimale dans des contextes de haute dimension restent des directions importantes pour les travaux futurs. Ils notent également qu'un MSE plus faible ne correspond pas toujours parfaitement à une précision de tâche plus élevée, une limitation observée dans leurs expériences sur les LLM.

En résumé, l'article reformule la fusion de modèles d'une combinaison heuristique de poids en un problème d'optimisation convexe dans l'espace de sortie, offrant à la fois une justification théorique pour les méthodes existantes et une voie vers des stratégies de fusion plus optimales.