Stimulus symmetries can confound representational similarity analyses

Résumé technique : Les symétries des stimuli peuvent fausser les analyses de similarité représentative

Énoncé du problème
L'Analyse de Similarité Représentative (RSA) et les métriques associées, telles que la Matrice de Similarité Représentative (RSM) et l'Alignement du Noyau Centré (CKA), sont largement utilisées pour comparer les codes neuronaux entre les réseaux biologiques et artificiels. Une hypothèse fondamentale de ces comparaisons est que les représentations fonctionnellement équivalentes — celles qui accomplissent la même tâche ou encodent la même information — devraient produire des statistiques résumées similaires. Alors que des travaux récents ont abordé les symétries intrinsèques (par exemple, les rotations globales des poids au sein d'une couche de réseau pouvant être compensées par les couches suivantes), il manque une compréhension systématique de la manière dont les symétries des stimuli (symétries de données externes telles que la rotation ou la translation) affectent ces analyses.

Le problème central identifié est que les symétries des stimuli peuvent générer de multiples représentations neuronales fonctionnellement équivalentes qui ne sont pas reliées par de simples transformations orthogonales (rotations) dans l'espace des représentations. Par conséquent, ces configurations distinctes peuvent produire des RSM qualitativement différentes. Cela crée une « dépendance de jauge » où la RSM varie en fonction d'un paramètre arbitraire et fonctionnellement non pertinent (la jauge), conduisant potentiellement les chercheurs à conclure à tort que deux codes fonctionnellement équivalents sont distincts.

Méthodologie
Les auteurs emploient une combinaison de formalisation théorique, de modèles analytiques simplifiés et de simulations empiriques sur des données synthétiques et réelles pour démontrer ce phénomène.

1. Formalisation théorique : L'article formalise le concept de symétries de données agissant sur un espace latent $Z$ via un groupe compact $G$. Il définit les « transformations de jauge » comme des actions de $G$ sur la fonction d'encodage qui laissent l'exactitude du décodage inchangée. Les auteurs prouvent que pour qu'une RSM soit invariante de jauge, l'encodage doit être une représentation linéaire orthogonale du groupe de symétrie (c'est-à-dire que la transformation de jauge doit agir comme une rotation globale sur l'espace des représentations). Ils démontrent que pour des codes non linéaires généraux, cette condition n'est pas remplie.
2. Analyse de modèle simplifié : Un modèle simplifié est construit où des neurones pavent un anneau unidimensionnel ($S^1$) avec des champs récepteurs (RF) localisés. L'orientation globale de ce pavage est définie par une variable de jauge $\phi$. Les auteurs dérivent analytiquement la RSM pour cette configuration, montrant que les éléments hors diagonale dépendent de $\phi$, conduisant à une RSM variable malgré une reconstruction parfaite du stimulus.
3. Sensibilité aux paramètres : L'étude examine comment des facteurs tels que le nombre de neurones, la largeur de l'accord des RF et le bruit d'amplitude affectent l'ampleur de la variabilité de la RSM. Ils dérivent des expressions en forme fermée pour la variabilité $\Delta$ en fonction du nombre de neurones $n$ et de la largeur de l'accord, montrant que la variabilité décroît en $O(n^{-2})$ uniquement dans la limite d'un pavage dense.
4. Dynamiques d'apprentissage : En utilisant la Descente de Gradient Stochastique (SGD) sur des autoencodeurs avec des activations ReLU, les auteurs simulent des scénarios d'apprentissage. Ils démontrent que la SGD peut conduire à des solutions de « collapse » où de nombreux neurones s'alignent, réduisant efficacement le réseau à un pavage épars (par exemple, 4 neurones pour un cercle), maintenant ainsi une variabilité RSM élevée. Ils montrent également que la régularisation énergétique (pénalités L1) peut induire de l'éparsité sans fixer la jauge.
5. Données de dimensions supérieures et réelles : Le cadre est étendu aux variétés sphériques de dimensions supérieures ($S^{d-1}$), prédisant des grappes structurées de variabilité RSM correspondant à la dimensionnalité du groupe de jauge. Enfin, les auteurs entraînent des autoencodeurs sur des images rotatives du jeu de données Kuzushiji-MNIST et analysent des modèles de vision préentraînés (ResNet-18, ConvNeXt, DINOv2) pour montrer que les symétries rotationnelles latentes dans les données d'images induisent une dérive systématique de la RSM et une dépendance de jauge dans des contextes réalistes.

Contributions et résultats clés

• Dépendance de jauge des RSM : L'article établit que pour les codes neuronaux non linéaires, les représentations fonctionnellement équivalentes reliées par des symétries de stimuli ne sont généralement pas reliées par des transformations orthogonales. Par conséquent, leurs RSM diffèrent, violant l'invariance supposée par les métriques de similarité standard.
• Représentations dérivantes : Les auteurs montrent que même avec une performance de tâche stable (par exemple, une perte de reconstruction faible), les représentations peuvent « dériver » au fil du temps ou à travers différentes exécutions d'entraînement en raison de la sélection arbitraire d'une jauge. Cette dérive se manifeste par un changement systématique de la RSM, qui corrèle avec l'angle de jauge inféré mais pas avec l'erreur de reconstruction.
• Éparsité et variabilité : Contrairement à l'intuition selon laquelle l'augmentation du nombre de neurones supprime la variabilité, les auteurs constatent que l'éparsité induite par l'apprentissage (via le bruit SGD ou la régularisation L1) peut maintenir une variabilité RSM élevée même dans de grands réseaux.
• Variabilité structurée en hautes dimensions : Pour les variétés symétriques de dimensions supérieures, la variabilité RSM n'est pas un bruit aléatoire mais suit un motif structuré où les éléments hors diagonale se regroupent en ensembles qui varient ensemble, reflétant le groupe de symétrie continu sous-jacent.
• Validation empirique : Dans les expériences avec des données d'images rotatives, l'angle de jauge inféré des réseaux entraînés prédit fortement les éléments hors diagonale de la RSM ($r$ de Pearson = 0,76) et la similarité entre différentes exécutions (la similarité CKA diminue à mesure que la différence de jauge augmente, $r = -0,91$), tandis que la perte de reconstruction reste non corrélée avec la jauge.

Signification et affirmations
L'article affirme que ces résultats mettent en évidence une limitation critique dans la comparaison de codes neuronaux non linéaires à l'aide de métriques basées sur la RSM lorsque des symétries de stimuli sont présentes. Plus précisément :

• Risque de mauvaise interprétation : Les chercheurs peuvent à tort identifier des représentations fonctionnellement équivalentes comme distinctes simplement parce qu'elles occupent des « jauges » différentes dans l'espace des solutions.
• Mécanisme de dérive : Ce travail fournit un mécanisme pour la « dérive représentative » (observée à la fois dans les cerveaux et les réseaux artificiels) qui est distincte des explications précédentes basées sur les symétries internes ; ici, la dérive est pilotée par des symétries de stimuli extrinsèques et l'absence d'une base préférée unique.
• Limites des métriques actuelles : Les métriques standard comme la CKA et la RSM ne sont pas invariantes aux symétries de données à moins que le réseau ne soit explicitement contraint d'être équivariant (ce que la plupart des réseaux standard ne sont pas).
• Voies futures : Les auteurs suggèrent que pour comparer fiablement les représentations en présence de symétries, de nouvelles métriques invariantes aux symétries de stimuli spécifiques sont nécessaires. Ils notent que de telles méthodes nécessiteraient probablement une connaissance de la distribution des stimuli ou l'utilisation de métriques de tirage en arrière sur la variété de données intrinsèque, mais reconnaissent que sans a priori forts, prendre en compte l'invariance de jauge reste un défi ouvert.

L'article conclut avec modestie, indiquant que si les codes de pavage de variétés ont servi de cas de test traitable, la généralisation de ce phénomène à d'autres codes non linéaires est attendue, car la plupart des représentations ne sont pas contraintes d'être équivariantes orthogonalement.