Comparing and Integrating Different Notions of Representational Correspondence in Neural Systems

Cette étude évalue et intègre diverses mesures de similarité représentative pour démontrer que la fusion de ces métriques permet de mieux révéler la structure hiérarchique des modèles artificiels et des réseaux neuronaux biologiques que l'utilisation d'une seule métrique.

L'essentiel

🧠 Le Grand Débat : Comment comparer les cerveaux et les machines ?

Imaginez que vous avez deux cuisiniers. L'un est un chef humain (le cerveau biologique) et l'autre est un robot ultra-sophistiqué (l'intelligence artificielle). Tous deux doivent préparer un plat délicieux : reconnaître un chat sur une photo.

La question centrale de ce papier est la suivante : Comment savoir si ces deux cuisiniers utilisent la même "recette" mentale pour arriver au même résultat ?

Pour répondre, les chercheurs ont dû mesurer la "similitude" entre leurs façons de penser. Mais c'est là que ça se complique : comment mesure-t-on la pensée ?

📏 Le Problème des Règles de Mesure

Jusqu'à présent, les scientifiques utilisaient une seule "règle" (une métrique) pour comparer les systèmes. C'est comme essayer de mesurer la qualité d'une voiture uniquement avec un mètre-ruban.

• Si vous mesurez la longueur, vous ne saurez pas si elle est rapide.
• Si vous mesurez la vitesse, vous ne saurez pas si elle est confortable.

Dans ce papier, les chercheurs disent : "Attendez ! Il existe plein de façons différentes de mesurer la similitude, et chacune nous raconte une partie différente de l'histoire."

Ils ont testé plusieurs "règles" :

1. La géométrie : Est-ce que la forme globale de la pensée est la même ? (Comme comparer la forme d'un château de sable).
2. L'ajustement des pièces : Est-ce que les neurones individuels réagissent de la même façon ? (Comparez les ingrédients un par un).
3. La prédiction linéaire : Peut-on deviner la pensée de l'un en regardant l'autre avec une formule simple ?

🧪 L'Expérience : Les Cuisiniers et les Architectes

Les chercheurs ont pris deux groupes de "cuisiniers" :

1. Des modèles d'IA (des réseaux de neurones artificiels) entraînés de différentes manières (certains apprennent avec des étiquettes, d'autres tout seuls).
2. Des cerveaux humains (mesurés par IRMf) qui regardent des images.

Ils ont utilisé leurs différentes "règles" pour voir si elles pouvaient distinguer les groupes.

• Résultat surprenant : Certaines règles étaient excellentes pour dire "Ah, ce modèle a été entraîné différemment !", tandis que d'autres disaient "Non, ils se ressemblent tous".
• La leçon : Les règles qui regardent la forme globale (la géométrie) ou les réactions précises des neurones étaient les plus fiables pour distinguer les familles de modèles et les zones du cerveau. Les règles trop flexibles (qui s'adaptent trop facilement) perdaient les détails importants.

🧩 La Solution Magique : La Fusion de Réseaux de Similarité

C'est ici que l'idée devient géniale. Les chercheurs se sont dit : "Pourquoi choisir une seule règle quand on peut les combiner ?"

Imaginez que vous essayez de reconnaître un ami dans une foule.

• Un ami vous dit : "Il porte un chapeau rouge."
• Un autre dit : "Il a une voix grave."
• Un troisième dit : "Il marche vite."

Si vous écoutez seulement l'un d'eux, vous pourriez vous tromper. Mais si vous fusionnez toutes ces informations, vous obtenez une image très claire et précise de votre ami.

Les chercheurs ont utilisé une technique appelée Fusion de Réseaux de Similarité (SNF). C'est un algorithme qui prend toutes les différentes "règles" de mesure, crée un réseau pour chacune, et les fusionne en une seule "super-règle".

🌟 Les Résultats : Une Carte au Trésor Plus Claire

Grâce à cette fusion, deux choses incroyables sont arrivées :

1. Pour les IA : La "super-règle" a réussi à regrouper les modèles d'IA non pas par leur apparence (leur code), mais par leur manière de penser. Par exemple, elle a groupé des modèles très différents (un CNN et un Transformer) simplement parce qu'ils avaient appris de la même façon (sans étiquettes). C'est comme si elle avait découvert une nouvelle "espèce" de cuisiniers basée sur leur philosophie, pas sur leurs outils.

2. Pour les cerveaux humains : La fusion a permis de voir l'organisation du cerveau beaucoup plus clairement. Elle a réussi à tracer une carte précise de la "voie visuelle" (comment l'information voyage de l'œil vers le cerveau), en respectant parfaitement l'anatomie réelle. C'était beaucoup plus net que n'importe quelle méthode utilisée seule.

🚀 En Résumé

Ce papier nous apprend deux choses fondamentales :

1. Il n'y a pas de mesure parfaite unique. Chaque façon de comparer les cerveaux et les machines nous donne un angle différent.
2. La force est dans la diversité. En combinant intelligemment ces différentes perspectives (comme un chef qui combine le goût, l'odeur et la texture), on obtient une compréhension beaucoup plus profonde et précise de la façon dont l'intelligence (biologique ou artificielle) est organisée.

C'est un peu comme passer d'une photo floue prise avec un seul appareil à une image 3D ultra-nette obtenue en fusionnant les données de dix caméras différentes.

Résumé technique

1. Problématique

La question centrale en neurosciences et en apprentissage automatique est de savoir dans quelle mesure différents systèmes neuronaux (biologiques ou artificiels) reposent sur des représentations internes équivalentes pour accomplir des tâches similaires.

• Limitation actuelle : Les recherches antérieures comparent généralement ces systèmes en utilisant une seule métrique de similarité représentative (par exemple, RSA, CKA, prédiction linéaire).
• Le problème : Ces métriques ne sont pas interchangeables. Chaque métrique capture une facette distincte de la correspondance (géométrie, ajustement des unités, information linéairement accessible) et fait des hypothèses différentes sur les transformations à considérer comme pertinentes. En conséquence, l'utilisation d'une seule métrique peut conduire à des conclusions qualitativement différentes, voire contradictoires, sur la similarité des systèmes.
• Objectif : Déterminer quelles dimensions de la correspondance représentative permettent de retrouver des structures significatives et comment intégrer ces notions complémentaires.

2. Méthodologie

L'étude évalue systématiquement un ensemble de métriques de similarité sur deux domaines : les modèles de vision artificielle et les données d'imagerie cérébrale (fMRI).

A. Données et Modèles

• Modèles artificiels : 35 modèles de vision pré-entraînés sur ImageNet-1k, couvrant quatre catégories : CNN supervisés, CNN auto-supervisés, Transformers supervisés et Transformers auto-supervisés. Les architectures incluent ResNet, VGG, ConvNeXt, Swin et ViT.
• Données biologiques : Réponses fMRI du Natural Scenes Dataset (NSD) à 1 000 images naturelles partagées, provenant de 10 régions visuelles corticales chez 4 sujets.

B. Métriques de Similarité Évaluées

Les auteurs comparent des métriques variant en flexibilité de transformation autorisée :

1. Préservation de la géométrie/structure : RSA (Analyse de similarité représentative), Linear CKA (Alignement de noyau centré).
2. Ajustement des unités (Tuning) : Soft Matching (SoftMatch), Procrustes.
3. Information linéairement accessible : Prédiction linéaire, SVCCA, PWCCA.
4. Base de référence : Moyenne simple des métriques.

C. Critères d'Évaluation

Pour juger de la capacité d'une métrique à retrouver la structure "réelle", deux benchmarks sont utilisés :

1. Correspondance procédurale (Modèles) : Une métrique doit séparer les modèles ayant des architectures ou des paradigmes d'entraînement différents, tout en regroupant ceux qui partagent la même procédure.
2. Organisation anatomique-fonctionnelle (Cerveau) : Une métrique doit séparer les réponses de régions corticales distinctes tout en alignant les réponses d'une même région à travers différents sujets.

• Mesures de performance : Ratio contrastif, D-Prime ($d'$), et Score de Silhouette.

D. Intégration par Fusion de Réseaux de Similarité (SNF)

Pour surmonter les limites des métriques individuelles, les auteurs adaptent la Similarity Network Fusion (SNF), une méthode initialement développée pour l'intégration multi-omique.

• Principe : Chaque métrique génère un graphe d'affinité (matrice de similarité). La SNF fusionne ces graphes en un seul graphe de consensus.
• Mécanisme : Elle renforce les relations soutenues de manière cohérente par plusieurs métriques tout en atténuant le bruit et les signaux discordants spécifiques à une seule métrique.

3. Résultats Clés

A. Performance des Métriques Individuelles

• Supériorité de la géométrie et du tuning : Les métriques qui préservent la géométrie représentative (RSA, CKA) ou l'ajustement des unités (SoftMatch) sont les plus performantes pour discriminer les familles de modèles et les régions corticales.
  • Exemple : RSA atteint un $d'$ de 3,95 pour séparer les familles de modèles.
• Faiblesse des mappings flexibles : Les métriques basées sur des transformations linéaires flexibles (Prédiction linéaire, CCA) montrent une discrimination nettement plus faible. Elles semblent capturer des solutions computationnelles plus universelles, masquant ainsi les signatures spécifiques aux familles ou aux régions.
• Ordre de discrimination : Il existe une corrélation inverse entre la flexibilité de la transformation autorisée et la capacité de discrimination : SoftMatch > Procrustes > Prédiction linéaire > CCA.

B. Supériorité de l'Approche Intégrée (SNF)

• Amélioration drastique : La fusion des métriques via SNF surpasse toutes les métriques individuelles.
  • Pour les modèles : $d'$ de 12,42 (contre 3,95 pour le meilleur indicateur individuel).
  • Pour le cerveau : $d'$ de 21,45 (contre ~4,4 pour le meilleur indicateur individuel).
• Robustesse : La SNF offre une séparation équilibrée entre toutes les paires de familles, là où les métriques individuelles échouent souvent sur certains groupes spécifiques.

C. Découverte de Typologies

• Modèles : Le clustering basé sur la matrice de similarité fusionnée révèle des regroupements naturels. De manière surprenante, le paradigme d'entraînement (auto-supervisé vs supervisé) domine parfois l'architecture. Tous les modèles auto-supervisés forment un cluster unifié, transcendant la division CNN/Transformer.
• Cerveau : La SNF révèle une organisation hiérarchique claire du flux visuel ventral (V1 $\to$ V4 $\to$ régions supérieures) qui s'aligne mieux avec l'anatomie connue que n'importe quelle métrique seule.

4. Contributions Principales

1. Évaluation systématique : Une analyse comparative rigoureuse montrant que la capacité d'une métrique à retrouver la structure dépend intrinsèquement de la dimension représentative qu'elle capture (géométrie vs information linéaire).
2. Cadre d'intégration : L'adaptation de la SNF pour l'analyse de similarité représentative, démontrant que l'intégration de dimensions complémentaires permet une caractérisation plus complète et précise que n'importe quelle métrique isolée.
3. Typologies guidées par les données : La capacité à construire des taxonomies de modèles d'IA et d'organisations cérébrales basées sur la structure de similarité fusionnée, sans hypothèses préalables fortes sur l'architecture ou la fonction.

5. Signification et Impact

• Pour les Neurosciences et l'IA : Ce travail démontre que la similarité représentative n'est pas une grandeur unique mais multidimensionnelle. Il n'existe pas de "métrique universelle" ; le choix de la métrique doit être guidé par le type de structure que l'on cherche à découvrir.
• Méthodologique : Il propose une nouvelle norme pour comparer les systèmes neuronaux : au lieu de choisir une seule métrique, il faut intégrer plusieurs perspectives pour obtenir une vue d'ensemble robuste.
• Compréhension des modèles : L'approche permet de révéler des "espèces" de modèles d'IA définies par leurs stratégies computationnelles fondamentales plutôt que par leur surface architecturale, offrant un outil puissant pour l'interprétabilité des modèles de deep learning.

En résumé, l'article établit que l'intégration de multiples notions de similarité via la fusion de réseaux (SNF) est la méthode la plus fiable pour cartographier et comprendre l'organisation interne des systèmes neuronaux, qu'ils soient biologiques ou artificiels.