Résumé technique : Au-delà de l'alignement des activations : la géométrie de la sensibilité neuronale

Énoncé du problème

Les mesures d'alignement des activations telles que l'analyse de similarité représentative (RSA), l'analyse en corrélations canoniques (CCA) et l'alignement de noyau centré (CKA) sont des outils standards pour comparer les représentations neuronales biologiques et artificielles. Ces méthodes quantifient principalement la similarité géométrique des patterns d'activité évoqués par des stimuli. Cependant, une limitation critique existe : l'accord au niveau des lectures globales ne détermine pas comment un système exploite les preuves locales des stimuli. Les représentations peuvent s'aligner dans l'espace des activations tout en différant considérablement dans leur sensibilité aux petites perturbations. De plus, les mesures de similarité basées sur les activations ne sont pas invariantes à de simples transformations post-hoc (par exemple, des translations de sous-ensembles fixes suivies d'une centrage global de la moyenne), ce qui peut modifier les scores de similarité sans changer le processus d'encodage sous-jacent. Bien que des perspectives basées sur les décodeurs et des approches de géométrie locale aient été proposées pour y remédier, elles échouent souvent à spécifier comment l'information doit être agrégée à travers les stimuli ou quel résumé au niveau du jeu de données suffit pour caractériser les tâches de discrimination.

Méthodologie

Les auteurs proposent un cadre basé sur l'information localement décodable, en se concentrant sur la capacité d'une représentation à discriminer de petites perturbations au sein d'un sous-espace de coordonnées de stimuli spécifié, en présence de bruit.

1. Tâches de perturbation locale et géométrie de Fisher

Le cadre traite une représentation neuronale comme une application différentiable $f: \mathbb{R}^d \to \mathbb{R}^m$. La sensibilité locale est caractérisée par la métrique de tiré en arrière $M_f(x) = J_f(x)^\top J_f(x)$, où $J_f$ est la matrice jacobienne.

• Définition de la tâche : Une tâche de discrimination locale consiste à distinguer un stimulus $s$ d'un stimulus perturbé $s + \eta$ étant donné une activité de population bruitée. La discriminabilité au carré $d'^2$ est régie par la métrique de Fisher $I_{f,\psi}(s) = J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s)$, où $\Sigma$ est la covariance du bruit.
• Résumé au niveau du jeu de données : Pour passer de la sensibilité ponctuelle à une comparaison au niveau de la représentation, les auteurs définissent une Famille de tâches locales de second moment projeté. En fixant une famille de coordonnées (paramétrée par $\psi$) et un sous-espace de perturbation (défini par une matrice orthonormale $P$), ils moyennent la métrique de Fisher locale sur la distribution des stimuli.
• L'opérateur : Le résumé minimal et complet au niveau du jeu de données pour cette famille est l'Opérateur de Fisher espéré projeté :
  $$F_{f,\psi,P,\Sigma} := \mathbb{E}_{s \sim \nu} [P^\top J_{hf}(s)^\top \Sigma^{-1} J_{hf}(s) P]$$
  Dans le cas d'un bruit isotrope, cela se réduit à la Métrique de tiré en arrière espérée projetée $G_{f,\psi,P}$. Cet opérateur caractérise entièrement la discriminabilité espérée pour toute famille de perturbations de second moment définie par $P$.

2. Décomposition : Gain et forme

Les auteurs décomposent l'opérateur de résumé en :

• Gain ($\gamma$) : La sensibilité totale espérée (trace de l'opérateur).
• Forme ($\hat{G}$) : L'allocation directionnelle de la sensibilité (opérateur normalisé par la trace).
  Cela permet de comparer les représentations en fonction de la sensibilité totale par rapport aux directions spécifiques dans l'espace des stimuli qu'elles amplifient ou suppriment.

3. Métrique de comparaison : S-RAS

Pour comparer ces résumés définis positifs (SPD), les auteurs emploient la Métrique Riemannienne invariante affine (AIRM) sur la variété des matrices SPD. Ils définissent le Score d'alignement Riemannien spectral (S-RAS) :
$$S\text{-}RAS_P(f, g) = \exp\left[ -\frac{1}{\sqrt{k}} d_{AIRM}(\tilde{G}_{f,P}, \tilde{G}_{g,P}) \right]$$
où $\tilde{G}$ est un relèvement SPD mis à l'échelle par la trace utilisé pour la régularisation. L'analyse théorique montre que le S-RAS fournit un certificat multiplicatif uniforme sur la famille des valeurs de tâches relevées, bornant le désaccord dans la discriminabilité espérée entre deux représentations.

Contributions clés

1. Formalisation de la discrimination locale : L'article définit des tâches de discrimination de perturbations locales de second moment et identifie l'opérateur de Fisher/tiré en arrière espéré projeté comme le résumé minimal et complet au niveau du jeu de données pour ces tâches.
2. Métrique S-RAS : Il introduit une méthode de comparaison sensible à la géométrie (S-RAS) utilisant la distance spectrale logarithmique sur les matrices SPD, fournissant un score de similarité normalisé par la dimension avec des garanties théoriques sur les bornes des valeurs de tâche.
3. Validation empirique : Le cadre est validé sur des systèmes artificiels et biologiques, démontrant son utilité pour la correspondance de couches, les sondes transférables, l'analyse d'entraînement robuste et les données biologiques.

Résultats expérimentaux

1. Appariement de couches (Réseaux artificiels)

En utilisant des CNN Tiny10 entraînés indépendamment, les auteurs ont testé si le S-RAS pouvait retrouver la correspondance de couches attendue.

• Résultats : Le S-RAS a obtenu une correspondance significative (85,3 % de précision à $K=768$ avec des perturbations aléatoires ; 93,8 % avec une PCA blanchie), s'approchant des performances de fortes bases d'activation comme le CKA linéaire (94,4 %).
• Comparaison : Le S-RAS a surpassé les contrôles de géométrie locale ponctuelle (AIRM ponctuelle et bases de style MSA), indiquant que l'agrégation des opérateurs de familles de tâches espérées est supérieure à la moyenne des écarts de métriques ponctuelles.

2. Sondes conditionnelles de classe transférables

Les auteurs ont testé si les contrastes de sensibilité pouvaient être externalisés en perturbations finies généralisant à des images et des modèles non vus.

• Résultats : Les sondes dérivées des contrastes de sensibilité conditionnels à la classe (comparant ResNet-18 et Small ViT) ont produit une séparation d'images non vues significativement plus grande (1,10) par rapport aux contrôles de contraste aléatoire (0,43), de sensibilité regroupée (0,31) et de permutation d'étiquettes (0,03). Cela suggère que la méthode capture des structures de preuves locales partagées qui se transfèrent d'un modèle à l'autre.

3. Dissociations d'entraînement robuste

En utilisant des banques ResNet-18 entraînées avec ERM, PGD, TRADES et MART, les auteurs ont examiné si le cadre pouvait distinguer les régimes d'entraînement.

• Résultats : Les sondes dérivées du contraste ont séparé avec succès les modèles standards des modèles robustes (PGD, TRADES, MART) sur des images non vues. La méthode a également révélé des différences subtiles entre les objectifs d'entraînement robustes (par exemple, séparer PGD de TRADES), montrant que les sondes sont sensibles à des changements spécifiques dans l'utilisation des preuves locales plutôt qu'à de simples différences de régime.

4. Application biologique (Allen Brain Observatory)

Le cadre a été appliqué aux données du cortex visuel de souris utilisant des grilles statiques avec des coordonnées $(\theta, \rho, \phi)$.

• Résultats : Dans l'appariement d'identité inter-aire, le résumé de Fisher complet sensible au bruit a atteint une précision top-1 de 0,458, surpassant significativement le CKA (0,288) et la géométrie naïve. Dans le benchmark plus difficile VISp-depth, le Fisher complet (0,466) est resté compétitif avec le CKA (0,483).
• Insight : Les résultats indiquent que la structure de sensibilité biologique dépend à la fois de la sensibilité totale sensible au bruit et de l'allocation directionnelle. Le choix de la famille de coordonnées de stimuli (par exemple, $\rho + \phi$ contre l'ensemble complet) impacte significativement les performances d'appariement, soulignant le caractère « relatif à la famille » de la métrique.

Signification et affirmations

L'article affirme que les comparaisons basées sur les activations sont les plus informatives pour l'organisation évoquée par les stimuli ou la structure de lecture en aval, mais qu'elles sont insuffisantes pour déterminer si les représentations reposent sur les mêmes preuves locales de stimuli. Le cadre proposé offre une perspective complémentaire en demandant si deux représentations rendent les mêmes petites directions de stimuli discriminables en moyenne.

Les affirmations clés incluent :

• Similarité relative à la famille : L'accord est défini par rapport à une famille de perturbations spécifique ; les représentations peuvent s'aligner sous une famille mais pas sous une autre.
• Robustesse aux transformations : Parce que la méthode repose sur des jacobiennes plutôt que sur des nuages de points d'activation, elle est insensible aux décalages post-hoc constants par rapport au stimulus (par exemple, le centrage global de la moyenne), répondant ainsi à une limitation connue du CKA.
• Utilité empirique : Le cadre retrouve avec succès la correspondance de couches, génère des sondes diagnostiques transférables, révèle des dissociations dans l'entraînement robuste et découvre une sensibilité dépendante de la famille dans les données biologiques.

Les auteurs restent modestes, notant que le cadre est local, au niveau du jeu de données et basé sur le second moment. Il ne capture pas les optima conditionnels à l'image, les effets d'ordre supérieur ou le comportement de perturbations finies fortement non linéaires. Ils concluent que des benchmarks plus larges sont nécessaires pour déterminer quand la géométrie de sensibilité au niveau du jeu de données fournit un aperçu scientifique distinctif par rapport aux méthodes existantes.