Résumé Technique : Fusion Partielle des Réseaux de Neurones

Énoncé du Problème

Les ensembles de réseaux de neurones surpassent généralement les modèles individuels en combinant leurs sorties, offrant une robustesse accrue et de meilleures performances de prédiction. Cependant, les ensembles entraînent des coûts computationnels significatifs, nécessitant le stockage de plusieurs modèles en mémoire et augmentant le temps d'inférence. À l'inverse, les méthodes d'agrégation de poids (telles que la moyenne des poids) produisent des modèles uniques et économes en ressources, mais souffrent souvent d'une précision réduite, en particulier lorsque les réseaux fusionnés n'ont pas été alignés ou ont été entraînés sur des distributions de données différentes. Les techniques existantes d'agrégation de poids reposent souvent sur une invariance par permutation stricte (correspondance de couches de taille égale) ou nécessitent des procédures d'alignement complexes qui peuvent ne pas se généraliser à des architectures hétérogènes ou à des tailles de couches inégales.

Le défi central abordé consiste à trouver un compromis efficace entre la haute performance des ensembles et le faible coût computationnel de l'agrégation de poids. Les méthodes actuelles tendent à être binaires : soit une agrégation complète des poids (potentiellement au détriment des performances), soit le maintien d'un ensemble complet (entraînant des coûts élevés). Il existe un besoin d'un mécanisme flexible permettant d'interpoler entre ces extrêmes.

Méthodologie

L'article introduit la Fusion Partielle, une méthode qui interpole entre l'agrégation de poids et les ensembles en fusionnant uniquement les neurones les plus similaires à travers les réseaux, tout en maintenant les neurones restants isolés. Cette approche permet un compromis flexible, couche par couche, entre la taille du modèle et les performances.

1. Fusion Partielle via Transport Optimal Partiel

La méthode principale proposée étend les techniques existantes d'agrégation de poids basées sur la similarité au niveau des neurones.

• Concept : Au lieu d'aligner tous les neurones entre deux réseaux (comme dans la Fusion par Transport Optimal (OT) standard), la fusion partielle identifie et ne fait correspondre que les neurones les plus similaires. Les neurones non appariés (les plus dissimilaires) sont laissés isolés, préservant ainsi leurs poids d'origine.
• Mécanisme : Les auteurs utilisent le Transport Optimal Partiel (Partial OT). Étant donné deux réseaux $A$ et $B$, un couplage $\tilde{\pi}$ est calculé pour ne faire correspondre qu'une fraction $(1-\alpha)$ de la masse entre les neurones des deux réseaux, où $\alpha \in [0, 1]$ est un paramètre contrôlant le degré de fusion.
  • $\alpha = 0$ : Correspond à une agrégation complète des poids (tous les neurones appariés).
  • $\alpha = 1$ : Correspond à un ensemble (aucun neurone apparié).
• Implémentation : La méthode encode les couches comme des distributions de probabilité discrètes basées sur les caractéristiques des neurones (par exemple, vecteurs d'activation ou matrices de poids). Elle résout un problème de transport optimal partiel pour trouver l'appariement optimal des neurones les plus similaires. Le réseau fusionné résultant $C$ contient trois composants par couche : des neurones isolés de $A$, des neurones fusionnés (poids moyennés) et des neurones isolés de $B$.
• Optimisation Globale : Pour améliorer l'alignement, la méthode intègre une approche d'itération à point fixe (inspirée de Ainsworth et al., 2023) qui optimise les permutations/appariements globalement à travers les couches plutôt que couche par couche, tenant compte des dépendances entre les couches.

2. Élagage Généralisé

L'article présente la fusion partielle sous un angle complémentaire : l'Élagage Généralisé des modèles d'ensemble.

• Concept : Au lieu de partir de l'agrégation de poids et de l'assouplir, cette perspective part d'un ensemble (un grand modèle concaténé) et applique une opération d'élagage. Contrairement à l'élagage standard qui supprime uniquement les neurones, l'élagage généralisé permet de combiner linéairement les neurones.
• Formalisme : Cela est formalisé comme la transformation des poids d'un grand modèle d'ensemble $E$ en un réseau plus petit $S$ via des transformations linéaires (noyaux stochastiques).
• Approche par Clustering : Une réalisation spécifique de l'élagage généralisé est proposée en utilisant le clustering. Les neurones de l'ensemble sont regroupés en clusters, et les neurones au sein d'un cluster sont combinés linéairement. Cela offre plus de degrés de liberté que la fusion partielle, car il ne restreint pas les combinaisons à des paires provenant de réseaux différents.
• Biais Inductif : Les auteurs notent que la fusion partielle impose un biais inductif spécifique : elle ne combine linéairement les neurones que s'ils proviennent de réseaux différents et limite les combinaisons à des paires. Ce biais est supposé être bénéfique pour les Réseaux de Neurones Convolutifs (CNN), tandis que l'approche de clustering plus flexible pourrait mieux convenir aux Perceptrons Multicouches (MLP).

Contributions Clés

1. Cadre de Fusion Partielle : L'introduction d'une méthode pour interpoler entre l'agrégation de poids et les ensembles en fusionnant uniquement les neurones les plus similaires, offrant un compromis ajustable entre coût computationnel et performances.
2. Perspective d'Élagage Généralisé : L'unification théorique de la fusion partielle et de la compression de modèles sous le concept d'élagage généralisé, où les neurones peuvent être combinés linéairement plutôt que simplement supprimés. Cela étend l'applicabilité de la méthode à la compression de modèles uniques.
3. Algorithmes Concrets :
   • Fusion par Partial OT : Une extension de la fusion de modèles basée sur OT utilisant le transport optimal partiel pour gérer des appariements inégaux et des tailles de couches variables.
   • Élagage basé sur le Clustering : Une méthode d'élagage généralisé utilisant le clustering hiérarchique pour combiner linéairement les neurones, offrant de la flexibilité dans la compression de modèles.
4. Validation Empirique : Des expériences sur des MLP et des CNN (VGG11, ResNet18) à travers divers jeux de données (MNIST, CIFAR10) démontrant que la fusion partielle atteint des performances proches des ensembles avec un nombre de paramètres significativement inférieur.

Résultats

Les expériences démontrent l'efficacité des méthodes proposées dans plusieurs régimes :

• Agrégation sur Données Divisées (Données Hétérogènes) : Lors de la fusion de modèles entraînés sur des divisions de données différentes (par exemple, un spécialisé, un général), la Fusion par Partial OT surpasse nettement la fusion OT standard. L'augmentation du nombre de neurones isolés (augmentation de $\alpha$) conduit à des améliorations de performance monotones, comblant l'écart entre le modèle agrégé et l'ensemble. Par exemple, une augmentation de 20 à 40 % du nombre de neurones a produit des gains de précision clairs par rapport à la fusion standard.
• Affinage (Fine-Tuning) : Les modèles partiellement fusionnés, lorsqu'ils sont affinés avec un petit sous-ensemble de données (1 % pour MNIST, 5 % pour CIFAR10), surpassent systématiquement à la fois les modèles individuels et l'ensemble complet en termes de précision.
• Agrégation sur Données Identiques : Lors de la fusion de modèles entraînés sur les mêmes données avec différentes graines, l'agrégation complète des poids fonctionne souvent mal pour les CNN (comme VGG11) mais mieux pour les ResNets grâce aux connexions résiduelles. La fusion partielle offre une interpolation robuste, récupérant les performances perdues dans la fusion complète.
• Compression de Modèle Unique (Élagage Généralisé) :
  • Pour les MLP, l'élagage généralisé via le clustering surpasse nettement à la fois l'élagage non structuré et l'élagage avec post-traitement (Fusion OT). Les auteurs attribuent cela à la capacité du clustering à équilibrer les erreurs de "suppression" (élagage) et de "floutage" (combinaison linéaire).
  • Pour les CNN (VGG11), la Fusion par Partial OT surpasse souvent le clustering, suggérant que le biais inductif de l'appariement de paires spécifiques de neurones est plus efficace pour les couches convolutives.
• Efficacité des Paramètres : Les méthodes permettent des tailles de modèles comprises entre celles d'un réseau unique et d'un ensemble complet. Par exemple, un modèle partiellement fusionné avec $\alpha=0.5$ utilise environ 1,45 fois les paramètres d'un réseau unique (contre 2 fois pour un ensemble) tout en atteignant une précision beaucoup plus proche de celle de l'ensemble.

Importance et Revendications

L'article revendique que l'insight principal réside dans l'importance des différences de similarités au niveau des neurones. Les neurones varient dans leur unicité ; certains sont hautement similaires à travers les réseaux, tandis que d'autres jouent des rôles uniques. Les méthodes proposées exploitent ces différences :

• La Fusion Partielle tire parti du fait que le maintien des neurones les plus dissimilaires isolés augmente la similarité moyenne des neurones agrégés restants, conduisant à une moyenne des poids plus efficace.
• L'Élagage Généralisé exploite le compromis entre la suppression de neurones (perte d'information) et leur combinaison linéaire (floutage de l'information).

Les auteurs positionnent leur travail comme une étape vers une étude structurée des opérations de fusion dans l'espace des poids des réseaux de neurones. Ils soulignent que les méthodes offrent un compromis flexible et efficace entre la taille du modèle et les performances, générant souvent des gains de performance disproportionnés pour de faibles augmentations de la taille du modèle. L'article reste modeste concernant les implications futures, notant que la mise à l'échelle vers des modèles plus grands et le développement de critères principiels pour les décisions couche par couche (par exemple, quelles couches fusionner ou isoler) sont des pistes ouvertes pour les travaux futurs. Le code est mis à disposition pour faciliter la recherche ultérieure.