🤖 machine learning

Model Fusion via Retrofitting

Ce papier présente un cadre de fusion de modèles centré sur les neurones qui traite la fusion comme un problème d'appariement de représentations en regroupant les neurones intermédiaires et en utilisant des scores d'attribution pour aligner les caractéristiques saillantes, obtenant ainsi des performances supérieures aux méthodes existantes — en particulier dans les scénarios zero-shot et non-IID — sur des architectures diverses telles que les VGG, les ResNet et les ViT sans réentraînement.

Auteurs originaux : Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez deux chefs experts qui ont passé des années à perfectionner leurs propres recettes uniques. Le chef A se spécialise dans la cuisine italienne, et le chef B dans la cuisine japonaise. Ils n'ont jamais travaillé ensemble, ils utilisent des outils différents, et ils pourraient même mesurer les ingrédients dans des unités différentes.

Maintenant, imaginez que vous voulez créer un seul « Grand Chef » capable de préparer parfaitement des plats italiens et japonais, mais que vous ne pouvez pas leur demander de retourner à l'école de cuisine pour tout réapprendre depuis zéro. Vous voulez simplement combiner leurs connaissances existantes en une seule personne immédiatement.

C'est le problème de la Fusion de Modèles. Dans le monde de l'Intelligence Artificielle (IA), nous avons souvent différents réseaux de neurones (les « chefs ») entraînés séparément. Nous voulons les fusionner en un seul modèle puissant sans le processus coûteux et long de les réentraîner sur de nouvelles données.

Le Problème : La « Barrière de Langage »

L'article explique que simplement moyenner les poids de ces deux modèles (comme mélanger leurs livres de recettes page par page) échoue généralement. Pourquoi ? Parce que même s'ils sont entraînés sur des données similaires, ils apprennent les choses de manières différentes.

Le Problème de la « Permutation » : Imaginez l'épicerie du chef A où le « cumin » se trouve dans le tiroir du haut, tandis que le « cumin » du chef B est dans le tiroir du bas. Si vous moyennez simplement leurs tiroirs, vous obtenez un mélange désordonné qui n'a aucun sens. Les neurones de l'IA (les « ingrédients ») sont dans des ordres et des emplacements différents.
Le Défi du « Zero-Shot » : La plupart des méthodes existantes fonctionnent correctement si les chefs ont des backgrounds similaires. Mais s'ils ont été entraînés sur des données complètement différentes (comme l'un sur la nourriture italienne, l'autre sur la nourriture japonaise), les méthodes existantes échouent lamentablement. Le modèle combiné devient confus et performe moins bien que les chefs individuels.

La Solution : « Rétrofit » avec une « Cible »

Les auteurs proposent une nouvelle méthode appelée Fusion de Modèles par Rétrofit. Au lieu de simplement moyenner les chefs, ils utilisent un processus astucieux en deux étapes qui agit comme un traducteur et un entraîneur.

Étape 1 : Le « Regroupement » (Trouver les Jumeaux)

D'abord, l'algorithme examine ce que les neurones (les neurones sont comme les neurones individuels dans un cerveau humain, ou les « compétences » spécifiques des chefs) font réellement lorsqu'ils voient des données.

Il regroupe les neurones similaires du chef A et du chef B ensemble.
La Touche Créative : L'article introduit les Scores d'Attribution de Neurones. Imaginez que tous les ingrédients ne sont pas également importants. Certaines épices sont cruciales pour la saveur ; d'autres ne sont que de la garniture. L'algorithme identifie quels neurones sont les « joueurs vedettes » (haute importance) et lesquels sont des « bancs de réserve » (basse importance).
Il crée ensuite une « Cible » pour chaque groupe. Pensez-y comme une carte de recette « Référence Or » qui représente la moyenne parfaite des neurones regroupés, pondérée par leur importance.

Étape 2 : Le « Rétrofit » (L'Entraîneur)

Maintenant, l'algorithme construit le nouveau « Grand Chef » (le modèle fusionné). Il ne se contente pas de copier les anciens chefs ; il entraîne les couches du nouveau modèle à correspondre à ces cibles « Référence Or » qu'il vient de créer.

C'est comme prendre un nouvel apprenti et lui dire : « Ne copie pas simplement le chef A ou le chef B. Regardez ce plat cible spécifique que nous avons conçu. Ajustez votre cuisine jusqu'à ce que votre sortie corresponde parfaitement à cette cible. »
Cela se produit couche par couche, du bas du réseau vers le haut.

Pourquoi C'est Mieux (Les Résultats)

L'article a testé cela sur diverses architectures d'IA (comme VGG, ResNet et les Transformers de Vision) et a trouvé :

Cela Fonctionne Là Où Les Autres Échouent : Dans les scénarios « Zero-Shot » (où les modèles sont fusionnés sans aucun entraînement supplémentaire sur de nouvelles données), les méthodes existantes s'effondrent souvent en devinant au hasard. La méthode des auteurs maintient une haute précision, même lorsque les modèles ont été entraînés sur des données complètement différentes et non chevauchantes (comme la configuration « Sharded » où un modèle ne voit que des voitures rouges et l'autre seulement des voitures bleues).
Cela Respecte l'Importance : En utilisant ces « Scores d'Attribution de Neurones », la méthode garantit que les caractéristiques les plus critiques des modèles originaux sont préservées, plutôt que de se perdre dans le bruit des caractéristiques moins importantes.
C'est Flexible : Cela fonctionne sur différents types d'architectures d'IA, pas seulement sur un type spécifique.

Le Compromis

L'article admet que cette méthode est un peu plus lente et plus lourde en calcul que les méthodes de moyenne « rapides et sales ». Cependant, ils soutiennent que cela en vaut la peine car :

Elle produit un modèle utilisable immédiatement (Zero-Shot), tandis que d'autres méthodes nécessitent souvent des heures ou des jours de réglage fin supplémentaire pour fonctionner du tout.
À long terme, le temps économisé sur la réparation de modèles cassés l'emporte sur le temps supplémentaire passé sur la fusion initiale.

Analogie de Résumé

Ancienne Façon : Vous prenez deux langues différentes, les traduisez mot pour mot dans une troisième langue, et espérez que le sens reste. Cela donne généralement du charabia.
Nouvelle Façon (Rétrofit) : Vous identifiez les concepts fondamentaux (les « cibles ») que les deux chefs comprennent, vous leur attribuez une valeur basée sur l'importance, puis vous enseignez à un nouveau chef à parler parfaitement cette langue spécifique et unifiée.

L'article conclut que cette approche nous permet de combiner efficacement des modèles d'IA indépendants, même lorsqu'ils sont très différents, sans avoir besoin de les réentraîner depuis zéro.

Résumé Technique : Fusion de Modèles par Rétrofitting

Énoncé du Problème

La fusion de modèles vise à combiner des réseaux de neurones entraînés indépendamment en un seul modèle sans réentraînement, offrant une solution pour les scénarios où le réentraînement est prohibitivement coûteux ou irréalisable en raison de contraintes de confidentialité des données (par exemple, l'apprentissage fédéré). Cependant, cette tâche est compliquée par la divergence représentationnelle causée par l'invariance de permutation, l'initialisation aléatoire et des distributions de données d'entraînement hétérogènes.

Les méthodes existantes, telles que OTFusion (Singh & Jaggi, 2020) et Git Re-Basin (Ainsworth et al., 2023), reposent sur la conjecture de la Connectivité Linéaire du Mode (LMC), qui postule que les réseaux entraînés indépendamment se situent dans le même bassin de faible perte. Bien que la LMC s'applique aux modèles entraînés sur des données identiques, des études antérieures indiquent que même des modèles entraînés sur les mêmes données peuvent apprendre des caractéristiques internes divergentes. Par conséquent, les méthodes de fusion existantes éprouvent de grandes difficultés dans les configurations zero-shot (fusion sans entraînement ultérieur) et sous des régimes de données non-IID (non-Indépendantes et Non-Identiquement Distribuées), s'effondrant souvent vers des performances proches du hasard. De plus, les approches actuelles manquent souvent de généralité à travers les architectures (par exemple, elles peinent avec les Transformers) et reposent sur des modèles de base qui peuvent ne pas être entièrement optimisés, obscurcissant le véritable potentiel des algorithmes de fusion.

Méthodologie

Les auteurs proposent une famille d'algorithmes de fusion centrés sur les neurones qui reformule la fusion de modèles comme un problème de correspondance de représentations fondé sur des principes. Au lieu de simplement moyenner les poids ou de trouver des matrices de permutation, la méthode traite la fusion comme un processus en deux étapes : regrouper les neurones des modèles parents en représentations cibles, puis entraîner les sous-réseaux du modèle fusionné pour approximer ces cibles.

Cadre Central

Coût de Représentation : L'objectif est défini par la distance $L_2$ au carré entre les activations des neurones du modèle de base et les neurones les plus proches du modèle fusionné, pondérée par des scores d'importance des neurones (scores d'attribution). Cela pénalise la mauvaise représentation des caractéristiques saillantes.
Décomposition (Théorème 1) : Les auteurs introduisent un vecteur cible auxiliaire $T$ $T$ pour décomposer le coût de représentation en deux composantes interprétables :
- Erreur de Regroupement : Mesure dans quelle mesure les neurones du modèle de base se regroupent autour de centroïdes pondérés par l'importance ( $T_k$ ).
- Erreur d'Approximation : Mesure dans quelle mesure les neurones de sortie du modèle fusionné approximent ces centroïdes.
Algorithme en Deux Étapes :
- Étape 1 (Regroupement) : Les neurones des modèles de base sont regroupés par clustering afin de minimiser l'erreur de regroupement. Cela produit des centroïdes pondérés par l'importance qui servent de cibles.
- Étape 2 (Rétrofitting) : Les poids du modèle fusionné au niveau actuel sont optimisés (via une solution en forme close pour les couches linéaires ou par SGD pour les couches non linéaires) afin de minimiser l'erreur d'approximation par rapport à ces cibles. Ce processus est effectué de bas en haut à travers les niveaux du réseau.

Variantes de l'Algorithme

L'article introduit deux algorithmes principaux basés sur la stratégie de regroupement :

Fusion Hongroise (HF) : Conçue pour des modèles de taille égale avec un appariement un-à-un au niveau de chaque couche. Elle utilise l'algorithme hongrois pour trouver l'affectation optimale.
Fusion K-means (KF) : Conçue pour le cas général, y compris les modèles de largeurs et profondeurs arbitraires. Elle utilise un clustering K-means heuristique pour regrouper les neurones.

Les deux algorithmes disposent de variantes Linéaires (solution en forme close pour les couches affines) et Basées sur le Gradient (SGD/Adam pour les couches non linéaires).

Innovations Clés

Attribution des Neurones : Contrairement aux travaux antérieurs, cette approche intègre des scores d'importance des neurones (par exemple, Conductance, DeepLIFT) pour biaiser l'alignement vers les caractéristiques saillantes, améliorant ainsi les performances dans des contextes hétérogènes.
Flexibilité Architecturale : La méthode est applicable à toute architecture modulaire pouvant être représentée comme un graphe acyclique dirigé (DAG) de niveaux, validée empiriquement sur des VGG, des ResNets et des Vision Transformers (ViTs).
Capacité Zero-Shot : En optimisant explicitement l'approximation des représentations regroupées, la méthode atteint de fortes performances sans le fine-tuning extensif requis par les méthodes précédentes.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes à travers trois régimes d'entraînement : Partagés (ensembles de classes disjoints), Non-IID (distributions de classes biaisées) et Jeu de Données Complet.

Régimes Partagés/Non-IID : Dans des contextes non-IID extrêmes (par exemple, des divisions de classes en 6 voies sur CIFAR-100), les méthodes existantes comme OTFusion et Git Re-Basin s'effondrent vers une précision proche du hasard (souvent <5%). En revanche, KF-Gradient et HF-Gradient maintiennent une précision zero-shot robuste (par exemple, 34,7 % sur CIFAR-100 pour des divisions en 6 voies contre <1,5 % pour les bases de référence).
Régimes Jeu de Données Complet : Même lorsque les modèles sont entraînés sur l'ensemble complet des données, les méthodes proposées surpassent les bases de référence dans la fusion zero-shot. Par exemple, sur CIFAR-100, KF-Gradient a atteint une précision zero-shot de 63,0 % contre 4,3 % pour Transformer OTFusion. Après fine-tuning, les méthodes proposées se sont constamment approchées des performances d'ensemble tout en maintenant les coûts d'inférence d'un modèle unique.
Compression et Hétérogénéité : La méthode a réussi à fusionner des modèles de largeurs différentes et à compresser des modèles plus grands (ResNet-50) en des modèles plus petits (ResNet-18) avec une précision significativement supérieure à celle de la Distillation de Connaissance (KD) standard lorsque les données étaient limitées.
Robustesse : L'approche a démontré une robustesse face aux tailles variables des ensembles de données de fusion, l'augmentation de données atténuant efficacement le besoin de grands ensembles de fusion.

Importance et Revendications

L'article prétend combler trois lacunes clés de la recherche antérieure :

Reproductibilité : Fournir une réimplémentation open-source flexible facilitant le benchmarking systématique à travers les architectures.
Qualité du Modèle de Base : Démontrer que les méthodes de fusion peuvent produire des améliorations significatives même lorsque les modèles de base sont bien entraînés, remettant en cause l'idée que de mauvais résultats de fusion sont uniquement dus à des bases faibles.
Données Hétérogènes : Montrer que les méthodes existantes échouent dans la fusion zero-shot sous des conditions non-IID, tandis que l'approche centrée sur les neurones proposée intègre avec succès des modèles entraînés sur des distributions de données disjointes ou biaisées.

Les auteurs soulignent que leur approche est la première à intégrer avec succès des scores d'importance des neurones dans la fusion de modèles, conduisant à des améliorations constantes par rapport aux bases de référence existantes, en particulier dans les scénarios zero-shot et non-IID où d'autres méthodes échouent. Ils positionnent la méthode comme une solution pratique pour l'apprentissage fédéré et l'agrégation de modèles préservant la vie privée, où le réentraînement n'est pas une option. Tout en reconnaissant que les variantes basées sur le gradient sont plus coûteuses en calcul que les bases de référence légères, les auteurs soutiennent que cette surcharge est justifiée par la capacité à produire des modèles fusionnés viables dans des régimes où les concurrents donnent des résultats inutilisables.