Résumé technique : Au-delà de la précision de prédiction : profils de récupération dans l'espace cible pour évaluer l'alignement modèle–cerveau

Énoncé du problème

Les évaluations actuelles des modèles de vision artificielle par rapport au cortex visuel humain reposent fortement sur la précision de prédiction (par exemple, la corrélation entre les représentations du modèle et les réponses IRMf). Bien qu'utiles pour classer les modèles, un score de précision scalaire unique ne révèle pas quelles dimensions de l'espace de réponse du cerveau cible sont effectivement récupérées par la prédiction. Un modèle peut atteindre une haute précision en ne capturant qu'un sous-ensemble de directions de réponse ou en correspondant à des directions différentes de celles récupérées par d'autres modèles ayant une précision similaire. De plus, les réponses cérébrales mesurées contiennent à la fois des signaux reproductibles et du bruit ; sans les distinguer, il est difficile de déterminer si un modèle s'aligne sur la structure stable et réelle du cerveau ou s'il s'adapte simplement au bruit.

Méthodologie

Les auteurs introduisent un cadre d'espace cible qui déplace le focus de l'évaluation des scores scalaires vers le chevauchement structurel entre les réponses prédites et une référence cible reproductible.

1. Référence cible reproductible

En utilisant des mesures IRMf répétées (plusieurs essais des mêmes images), les auteurs définissent une référence qui capture les dimensions de l'espace de réponse du cerveau cible qui sont constamment récupérables à travers des divisions indépendantes des essais.

• Construction : Les essais répétés pour les images retenues sont divisés en deux vues moyennées. Les prédictions cible-à-cible sont ajustées dans les deux sens pour dériver des bases côté cible. La référence cible reproductible est la moyenne des projecteurs dérivés de ces divisions.
• Propriétés : Contrairement à l'ACP, qui classe les dimensions par variance, cette référence classe les dimensions par reproductibilité prédictive. Sa décomposition en valeurs propres produit des directions de référence cible ($u_j$) et des poids ($\omega_j$), où des poids plus élevés indiquent des directions plus constamment récupérées à travers les partitions d'essais.

2. Sous-espace prédictif et profils de récupération

Pour toute source (le cerveau d'un autre sujet ou un modèle de vision), le cadre évalue le sous-espace prédictif induit par la source dans l'espace de réponse cible.

• Induction de source : Un ajustement linéaire de rang faible régularisé par ridge mappe la source vers la cible, induisant une base orthonormée cible ($Q_s$) et un projecteur ($P_s$).
• Profil de récupération : L'alignement est quantifié par la mesure dans laquelle le sous-espace prédictif chevauche la référence cible reproductible.
  • Couverture directionnelle : Mesure si une direction spécifique de référence cible $u_j$ se trouve dans le sous-espace prédictif.
  • Couverture des $k$ premières références : Une moyenne pondérée de la couverture des $k$ premières directions de référence cible. Cette courbe résume quelles dimensions reproductibles sont récupérées.
  • Moyenne du profil : Un résumé scalaire de la hauteur de la courbe de récupération.

3. Référence humaine via prédiction cerveau-à-cerveau

Pour établir une base de référence pour une récupération « de type cerveau », les auteurs utilisent la prédiction cerveau-à-cerveau. Les réponses de sujets non cibles sont utilisées pour prédire les réponses du sujet cible. Le profil de récupération résultant sert de référence humaine, indiquant quelles dimensions de référence cible sont généralement récupérables à partir d'autres cerveaux humains. Les modèles sont évalués par rapport à cette référence humaine.

4. Configuration expérimentale

• Jeu de données : Un sous-ensemble du Natural Scenes Dataset (NSD) impliquant 8 sujets visualisant 515 images naturelles de manière répétée.
• Cibles : Régions d'intérêt (ROI) du cortex visuel (V1v, V1d, V2v, V2d, V3v, V3d, hV4) dans les deux hémisphères.
• Sources :
  • Cerveau : Réponses d'autres sujets.
  • Modèles : ResNet-18/50, VGG-16 et ViT-B/16 dans des états préentraînés (ImageNet) et initialisés aléatoirement.
• Protocole : Séparation stricte entre l'entraînement et l'évaluation. Les images de test externe définissent la référence et évaluent la précision ; elles ne sont jamais utilisées pour la sélection de modèle ou le réglage des hyperparamètres.

Résultats clés

1. Structure reproductible de faible dimension

Les réponses répétées du cerveau cible définissent une référence cible reproductible de faible dimension. Les poids de la référence sont concentrés dans un petit nombre de dimensions (les trois premières représentent environ 88,6 % du poids normalisé), avec un rang effectif médian de 5,12. Cette structure reflète la reproductibilité prédictive plutôt que simplement la variance de réponse.

2. La précision de prédiction masque les différences structurelles

L'étude démontre que la précision de prédiction seule peut masquer les incohérences modèle–cerveau.

• Étude de cas : Des modèles préentraînés et initialisés aléatoirement ayant une précision de prédiction presque identique ($|\Delta \text{précision}| \le 0,01$) ont montré des profils de récupération distincts.
• Écart quantitatif : Sur 29 paires préentraîné–aléatoire de même architecture, 79 % ont dépassé le seuil de variation humaine pour les différences de moyenne de profil, favorisant les modèles préentraînés. Cela indique que des scores de précision similaires peuvent correspondre à la récupération de dimensions de réponse fondamentalement différentes.

3. Le préentraînement élargit la récupération

Le préentraînement sur ImageNet modifie significativement le profil de récupération. Les modèles préentraînés récupèrent un ensemble plus large de dimensions de référence cible par rapport à leurs homologues initialisés aléatoirement.

• Différence de moyenne de profil : Les modèles préentraînés dépassent les contrôles aléatoires d'une moyenne de 0,177 en moyenne de profil (IC à 95 % : 0,162–0,192), un écart bien plus grand que la variabilité introduite par les graines d'initialisation aléatoire.
• Spécificité dimensionnelle : Ce gain ne se limite pas à la dimension principale ; les modèles préentraînés montrent une couverture plus élevée dans les 10 premières dimensions.

4. Cerveau-à-cerveau comme référence diagnostique

Les comparaisons cerveau-à-cerveau fournissent une référence humaine structurée plus informative qu'un simple « plafond de bruit » scalaire. Bien que la précision de la prédiction cerveau-à-cerveau soit corrélée à la hauteur globale de la courbe de récupération, la forme de la courbe (quelles dimensions sont récupérées) varie et fournit un diagnostic spécifique de la façon dont un modèle s'aligne sur la structure neuronale humaine.

Signification et revendications

L'article affirme que la précision de prédiction est insuffisante pour diagnostiquer l'alignement modèle–cerveau car elle ne spécifie pas quelles dimensions de réponse cérébrale reproductibles sont récupérées.

• Puissance diagnostique : Le cadre proposé rend explicites les dimensions reproductibles récupérées, révélant des incohérences que les scores scalaires masquent (par exemple, entre des modèles préentraînés et aléatoires ayant une précision égale).
• Évaluation centrée sur l'humain : En utilisant la prédiction cerveau-à-cerveau pour définir une référence humaine, le cadre va au-delà des benchmarks abstraits vers une comparaison diagnostique de ce qui est récupéré du cerveau cible.
• Interprétation conditionnelle : Les auteurs soulignent qu'une récupération élevée de la référence cible reproductible est une preuve conditionnelle d'alignement. Elle indique qu'un ajustement source-à-cible récupère des dimensions reproductibles pour une ROI, un jeu de données et une classe de lecture spécifiques, mais ne prétend pas que l'ensemble de la représentation du modèle est « de type cerveau ».

Ce travail contribue à un cadre unifié pour évaluer à la fois l'alignement modèle–cerveau et cerveau–cerveau, en soutenant que la compréhension de la structure de la récupération est aussi critique que l'ampleur de la précision de prédiction en NeuroAI.