🤖 machine learning

Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

Cet article introduit un cadre théorique de classes de fonctions effectives et d'identifiabilité des neurones pour démontrer que les réseaux de neurones admettent de vastes familles de solutions approximativement équivalentes et permettent la fusion de représentations via des chemins linéaires à faible perte, même dans des modèles structurellement asymétriques.

Auteurs originaux : Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

Publié 2026-06-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez deux équipes de chefs différentes (réseaux de neurones) chargées de cuisiner exactement le même plat complexe (résoudre un problème). Même si elles commencent avec des recettes et des ingrédients initiaux différents, elles finissent toutes deux par préparer un plat au goût presque identique.

Dans le monde de l'apprentissage profond, c'est un mystère courant. Habituellement, si vous prenez les « poids » (les chiffres spécifiques de la recette) de l'Équipe A et de l'Équipe B et que vous essayez de les mélanger à mi-chemin entre les deux, le résultat est un mélange imbuvable et désastreux. C'est parce que, mathématiquement, les deux équipes ont probablement échangé leurs rôles. Le « chef de la sauce » de l'Équipe A pourrait accomplir exactement le même travail que le « chef des épices » de l'Équipe B, mais comme leurs noms sont différents, l'ordinateur considère qu'ils sont incompatibles.

Cet article, « Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability », explore pourquoi cela se produit et comment y remédier sans avoir besoin de réétiqueter manuellement les chefs.

Le Problème : La confusion du « Qui est qui »

Considérez une couche de réseau de neurones comme une cuisine comprenant 100 chefs identiques. Dans une cuisine standard, si le Chef n°1 et le Chef n°2 échangent leurs postes, la nourriture a le même goût. C'est ce qu'on appelle la symétrie. À cause de cela, lorsque deux équipes s'entraînent de manière indépendante, elles peuvent naturellement attribuer le rôle de « sauce » au Chef n°1 dans l'Équipe A, mais au Chef n°50 dans l'Équipe B.

Si vous essayez de mélanger directement les recettes de l'Équipe A et de l'Équipe B, vous mélangez le « Chef de la sauce n°1 » avec le « Chef des épices n°50 ». Le résultat est le chaos. Habituellement, les scientifiques doivent s'arrêter et identifier manuellement quel chef de l'Équipe A correspond à quel chef de l'Équipe B (un processus appelé « alignement ») avant de pouvoir les mélanger.

La Solution : Donner des uniformes uniques aux chefs

Les auteurs proposent un moyen de briser cette symétrie afin que les chefs occupent naturellement leurs rôles corrects sans nécessiter de vérification manuelle.

Imaginez donner à chaque chef un uniforme légèrement différent ou un outil spécifique qu'il est le seul à pouvoir utiliser.

L'ancienne méthode (Symétrique) : Tous les chefs portent le même chapeau blanc. S'ils échangent leurs places, personne ne remarque rien.
La nouvelle méthode (Asymétrique/Identifiable) : Le gestionnaire de la cuisine (les chercheurs) donne un chapeau rouge au Chef n°1, un chapeur bleu au Chef n°2, et ainsi de suite. Désormais, si le Chef n°1 tente d'échanger sa place avec le Chef n°2, l'incompatibilité de l'uniforme rend l'échange évident et « coûteux » (en termes d'effort ou d'erreur) à réaliser.

L'article introduit une méthode où ils ajoutent un petit « biais » aléatoire et fixe (comme un uniforme unique) aux neurones. Cela ne change pas le plat final, mais cela force le processus d'entraînement à attribuer des caractéristiques spécifiques (comme « détecter des bords » ou « détecter des courbes ») à des neurones précis de manière cohérente à travers différentes sessions d'entraînement.

La Découverte Clé : Il ne s'agit pas seulement de l'uniforme

L'article fait une découverte cruciale et contre-intuitive. Donner simplement des uniformes différents aux chefs ne suffit pas si les ingrédients (les données) sont trop simples ou uniformes.

Le piège du « Bas Rang » (Low-Rank) : Imaginez que la cuisine ne reçoive que des pommes de terre. Si chaque chef n'est sollicité que pour manipuler des pommes de terre, peu importe qu'ils portent des chapeaux rouges ou bleus ; ils font tous exactement la même chose. Les « uniformes » n'ont aucune importance car la tâche est trop simple.
La liberté du « Haut Rang » (High-Rank) : Si la cuisine reçoit une immense variété d'ingrédients (pommes de terre, carottes, oignons, épices), les uniformes uniques commencent à compter. Le Chef n°1 avec son chapeau rouge pourrait être naturellement meilleur pour manipuler les carottes, tandis que le Chef n°2 avec son chapeau bleu serait meilleur pour les oignons. Le processus d'entraînement les verrouille naturellement dans ces rôles.

Les auteurs appellent cela l'Identifiabilité des Neurones. Cela signifie qu'en raison de la combinaison de leurs uniformes uniques (les poids fixes) et de la variété des ingrédients (la structure des données), le réseau « sait » exactement quel neurone fait quoi.

Le Résultat : Un chemin fluide entre les équipes

Lorsque le réseau atteint cette « identifiabilité », quelque chose de magique se produit : la Connectivité de Mode Linéaire (Linear Mode Connectivity).

Si vous avez deux équipes entraînées qui se sont naturellement installées dans les mêmes rôles (parce que leurs uniformes et les données les y ont forcées), vous pouvez maintenant mélanger leurs recettes à mi-chemin.

Sans l'identifiabilité : Mélanger les recettes crée une haute « barrière de perte » (une montagne de mauvais goût). Vous devez escalader une montagne pour passer de l'Équipe A à l'Équipe B.
Avec l'identifiabilité : Le chemin entre elles est plat. Vous pouvez marcher directement de l'Équipe A à l'Équipe B, et le plat a bon goût tout au long du trajet.

Pourquoi cela importe

L'article démontée que nous n'avons pas toujours besoin d'aligner manuellement les réseaux pour les fusionner. Si nous concevons correctement l'architecture du réseau (en ajoutant ces « uniformes uniques » ou des poids fixes) et que nous assurons que les données sont suffisamment riches, le réseau s'organisera naturellement. Cela facilite la combinaison de différents modèles, la compréhension de leur fonctionnement et, potentiellement, leur fusion en un seul modèle plus puissant sans les complications habituelles.

En bref : L'article prouve qu'en donnant un peu de « personnalité » aux neurones (des biais fixes et aléatoires) et en les nourrissant de données diversifiées, nous pouvons les forcer à trouver leurs propres fonctions uniques. Une fois qu'ils le font, différentes versions du même réseau deviennent compatibles, nous permettant de les mélanger harmonieusement, comme on mélangerait deux fournées parfaites de pâte à gâteau.

Résumé Technique : Au-delà des symétries structurelles : Connectivité de mode linéaire via l'identifiabilité des neurones

Énoncé du Problème

Les modèles d'apprentissage profond, particulièrement les réseaux de neurones surparamétrés, présentent un phénomène où des solutions entraînées indépendamment convergent vers des modèles ayant des prédictions et des performances de généralisation similaires, malgré le fait qu'elles résident dans des paysages de perte hautement non convexes. Une propriété clé expliquant cela est la Connectivité de Mode Linéaire (LMC - Linear Mode Connectivity), où deux solutions entraînées peuvent être interpolées linéairement dans l'espace des poids tout en maintenant une perte faible.

Cependant, la LMC est souvent entravée par des symétries de paramètres, spécifiquement les symétries de permutation des unités cachées. Dans les architectures standards, permuter les unités cachées et compenser dans les couches adjacentes laisse la fonction réalisée inchangée. Par conséquent, des cycles d'entraînement indépendants explorent différents représentants de la même orbite de fonction, rendant l'interpolation linéaire directe défaillante (barrières de perte élevées) à moins qu'un alignement post-hoc (correspondance de permutation) ne soit effectué.

Des travaux récents ont tenté de briser ces symétries structurelles via des interventions architecturales (par exemple, fixer des poids aléatoires ou des masques) afin d'obtenir une LMC non alignée (LMC sans alignement). Pourtant, les résultats empiriques sont mitigés : certaines méthodes de rupture de symétrie produisent une LMC non alignée, tandis que d'autres non. Cet article examine pourquoi la rupture de symétrie structurelle est parfois insuffisante et propose que la rupture de symétrie effective dépend de l'interaction entre l'architecture, la géométrie des données et l'identifiabilité des neurones.

Méthodologie

1. Cadre Théorique : Classes de Fonctions Effectives et Coûts de Réalisation

Les auteurs développent un cadre théorique centré sur les classes de fonctions effectives et les coûts de réalisation.

Classe de Fonction Effective ( $H_i(X)$ ) : Pour un neurone $i$ dans une couche, il s'agit de l'ensemble des fonctions qu'il peut réaliser sur le support d'entrée $X$ (la distribution des données ou les représentations apprises).
Coût de Réalisation : La norme de poids minimale requise pour qu'un neurone réalise une fonction spécifique $h$ . Ce coût est mesuré par rapport à la classe de fonction effective du neurone.
Rupture de Symétrie via l'Identifiabilité : L'article définit l'identifiabilité du neurone comme l'assignation cohérente des caractéristiques (features) aux neurones à travers des cycles d'entraînement indépendants. Cela se produit lorsque les asymétries architecturales biaisent l'entraînement vers une assignation unique et de faible coût des caractéristiques aux neurones.

Les auteurs modélisent le support d'entrée $X$ comme résidant sur un sous-espace de faible dimension $U$ (Hypothèse 3.1). Ils analysent une intervention de rupture de symétrie où la matrice de poids effective est $W_{eff} = F + D \odot W$ , où $F$ (décalages fixes) et $D$ (masques diagonaux fixes) sont des composants architecturaux, et $W$ est entraînable.

2. Quantification de la Rupture de Symétrie

Le cœur de l'analyse consiste à quantifier la sensibilité du coût de réalisation aux permutations.

Sensibilité de Permutation ( $\Delta_{\pi, \tau}$ ) : Le changement de coût de réalisation total lorsque les caractéristiques sont réassignées à différents neurones (permutation de sortie $\pi$ ) ou lorsque les coordonnées d'entrée sont réindexées (permutation d'entrée $\tau$ ).
Régime Dominé par le Centre : Les auteurs identifient un régime où les poids fixes $F$ dominent les poids entraînables $W$ . Dans ce régime, le coût de l'échange de neurones est principalement déterminé par la distance entre leurs centres fixes projetés sur le sous-espace d'entrée.
Cohérence du Sous-Espace ( $\nu(U)$ ) : L'article introduit le concept de cohérence de sous-espace pour mesurer à quel point les directions principales des données sont alignées avec la base standard. Une cohérence élevée implique que le masquage de coordonnées d'entrée spécifiques (via $D$ ) a un effet prononcé sur quelles caractéristiques sont réalisables par quels neurones.

3. Connexion à la Connectivité de Mode Linéaire

L'article établie un lien entre l'identifiabilité des neurones et la LMC.

Déviation de la Corde : Les auteurs analysent la déviation de la sortie du réseau le long d'un chemin d'interpolation linéaire entre deux solutions. Ils montrent que si les neurones sont "dominés par le centre" (les poids fixes dominent), la déviation de la corde est faible ( $O(\beta^{3/2})$ ), impliquant une barrière de perte faible.
Fusion sans Alignement : Si les neurones sont identifiables (c'est-à-dire que leurs rôles sont fixés par l'architecture et les données), les représentations peuvent être fusionnées sans alignement explicite, menant à une LMC non alignée.

Contributions Clés

Cadre Théorique pour l'Identifiabilité des Neurones : L'article formalise l'identifiabilité des neurones comme l'assignation cohérente des caractéristiques aux neurones à travers les cycles d'entraînement, pilotée par la minimisation des coûts de réalisation. Il distingue la rupture de symétrie structurelle (rupture des symétries dans l'espace des paramètres bruts) de la rupture de symétrie effective (rupture des symétries sur le support d'entrée réel).
Caractérisation des Coûts de Réalisation : Les auteurs dérivent des expressions en forme fermée des coûts de réalisation comme des normes de Mahalanobis dépendantes des matrices de Gram des composants architecturaux fixes ( $F$ et $D$ ) projetés sur le sous-espace d'entrée.
Conditions pour une Rupture de Symétrie Effective :
- Poids Fixes ( $F$ ) : Dans le régime dominé par le centre, la rupture de symétrie effective nécessite que les centres projetés des neurones soient suffisamment séparés. L'article fournit des bornes asymptotiques montrant que cette séparation dépend du nombre de neurones ( $m$ ) et de la dimension intrinsèque des données ( $k$ ). Si $k$ est petit par rapport à $m$ , la séparation est difficile, et les symétries peuvent rester effectivement intactes.
- Cohérence du Sous-Espace d'Entrée : L'article démontre que même sans poids fixes importants, une cohérence de sous-espace élevée peut permettre une rupture de symétrie effective via l'opérateur diagonal $D$ , car cela rend certaines directions de caractéristiques coûteuses à réaliser pour certains neurones.
Compromis entre Identifiabilité et Apprentissage de Caractéristiques : Les auteurs prouvent un résultat de difficulté suggérant qu'une rupture de symétrie forte (imposant des rôles de neurones cohérents) restreint l'ensemble des caractéristiques qu'un réseau peut apprendre dans un budget de norme donné, limitant potentiellement l'expressivité par rapport à une base de fonctions aléatoires entièrement symétrique.
Explication Unifiée des Phénomènes Empiriques : Le cadre explique pourquoi certaines méthodes de rupture de symétrie (comme les réseaux W-asymétriques avec de grands poids fixes) produisent une LMC non alignée, tandis que d'autres (comme les réseaux creux sans décalages fixes) ne le font pas.

Résultats Expérimentaux

Les auteurs valident leur théorie par des expériences sur des MLP et des ResNets (et une extension préliminaire aux Transformers) utilisant MNIST et CIFAR-10.

Effet de l'Échelle du Poids Fixe ( $\sigma_F$ ) : Les expériences balayant $\sigma_F$ montrent que pour un $\sigma_F$ faible (effectivement symétrique), l'objectif de correspondance d'activation (un proxy pour l'identifiabilité) est faible pour les permutations identité, et les barrières de LMC non alignée sont élevées. À mesure que $\sigma_F$ augmente, les permutations identité deviennent presque optimales, et les barrières de LMC non alignée chutent significativement.
Dimension Intrinsèque ( $k$ ) : En utilisant des données synthétiques de mélanges gaussiens, les auteurs montrent que les coûts d'échange de neurones (une mesure de la rupture de symétrie) sont faibles lorsque la dimension intrinsèque $k$ est petite par rapport à la largeur du réseau, même avec des architectures de rupture de symétrie. À mesure que $k$ augmente, les coûts d'échange augmentent, et la LMC non alignée s'améliore.
Cohérence du Sous-Espace : Les expériences faisant varier la cohérence du sous-espace d'entrée confirment qu'une cohérence élevée permet au masquage diagonal ( $D$ ) seul d'induire une rupture de symétrie effective et une LMC non alignée, même lorsque les poids fixes ( $F$ ) sont nuls.
Transformers : Des résultats préliminaires sur les Vision Transformers suggèrent que, bien que le mécanisme d'asymétrie W réduise les barrières d'interpolation, les symétries complexes des mécanismes d'attention (au-delà des simples permutations) rendent l'obtention d'une LMC non alignée parfaite plus difficile que pour les MLP.

Signification et Revendications

L'article affirme fournir une lentille théorique unificatrice pour comprendre quand et pourquoi la rupture de symétrie des paramètres mène à l'identifiabilité des neurones et à la connectivité de mode linéaire.

Au-delà des Symétries Structurelles : La principale signification est le passage d'une vision de la rupture de symétrie comme une propriété purement structurelle de l'architecture à une propriété effective déterminée par l'interaction entre l'architecture, la distribution des données et les représentations apprises.
Mécanisme pour la LMC Non Alignée : Le travail clarifie que la LMC non alignée n'est pas garantie par la simple rupture des symétries de permutation dans l'espace des poids ; elle nécessite que l'architecture induise une assignation unique et de faible coût des caractéristiques aux neurones, stable à travers les cycles d'entraînement.
Rôle de la Géométrie des Données : L'article souligne que la géométrie des données (spécifiquement la cohérence du sous-espace et la dimension intrinsèque) joue un rôle critique dans la détermination de l'efficacité d'une intervention de rupture de symétrie.
Limites et Compromis : Les auteurs notent modestement qu'une rupture de symétrie forte peut se faire au prix d'une capacité réduite d'apprentissage de caractéristiques, car le réseau est contraint à des mappages spécifiques caractéristique-neurone. Ils reconnaissent également que leur cadre actuel se concentre sur les symétries de permutation et pourrait nécessiter une extension pour des groupes de symétrie plus riches (par exemple, dans les Transformers).

En résumé, l'article soutient que l'identifiabilité des neurones est le mécanisme clé reliant les interventions architecturales, la géométrie des données et l'émergence de la connectivité de mode linéaire, offrant un cadre prédictif pour déterminer quand la fusion de modèles non alignée réussira.