Résumé technique : La visualisation de caractéristiques retrouve la sélectivité corticale connue à partir de TRIBE v2

Énoncé du problème

Les modèles d'encodeur cérébral, qui prédisent les réponses fMRI corticales à partir des activations internes de réseaux préentraînés de vision et de langage, sont actuellement évalués presque exclusivement par la précision de prédiction sur des données non vues (par exemple, $R^2$). Bien que cette métrique soit efficace pour l'entraînement, elle est insuffisante pour l'interprétation. Une haute précision confirme qu'un encodeur ajuste les données, mais ne vérifie pas si le modèle a intériorisé l'organisation fonctionnelle du cerveau. Deux encodeurs ayant une précision sur des données non vues identique peuvent faire des prédictions systématiquement différentes concernant le préimage côté entrée d'une région corticale. Par conséquent, il existe un besoin d'une technique d'interprétabilité complémentaire capable d'évaluer qualitativement si un encodeur a retrouvé la sélectivité fonctionnelle spécifique des régions cérébrales (par exemple, les contours pour V1, les visages pour l'aire FFA, le mouvement pour l'aire MT).

Méthodologie

Les auteurs proposent la visualisation de caractéristiques comme sonde pour les encodeurs cérébraux. Cette technique consiste à effectuer une ascension du gradient sur l'activation prédite par l'encodeur pour une région d'intérêt (ROI) cible afin de synthétiser un stimulus d'entrée qui maximise l'activation de cette région.

Configuration expérimentale :

• Modèles : L'étude applique cette sonde à TRIBE v2, un encodeur cérébral composé avec V-JEPA 2 (un backbone visuel ViT-G de 40 couches préentraîné sur vidéo avec un objectif prédictif d'embedding joint). Les deux modèles sont figés ; seuls les paramètres de l'image d'entrée sont optimisés.
• ROIs cibles : Sept régions corticales couvrant la hiérarchie visuelle ont été sélectionnées sur la base de la parcellation HCP-MMP1 : V1, V2, V3, V4, MT (aire temporale médiane), FFA (aire fusiforme des visages) et PPA (aire parahippocampique des lieux).
• Processus d'optimisation :
  • Paramétrisation de l'entrée : Les images sont paramétrées comme un spectre de Fourier 2-D à valeurs réelles sur des canaux de couleur décorrélatés, mappés à l'intervalle de pixels $[0, 1]$ via une FFT inverse et une fonction sigmoïde.
  • Optimisation statique : Bien que V-JEPA 2 soit un modèle vidéo, l'optimisation synthétise une seule image statique répétée pour former 64 images identiques. Cela réduit le coût computationnel tout en testant si des indices statiques suffisent à activer les régions sélectives au mouvement.
  • Fonction de perte : L'objectif est une perte de « soulèvement global » : $L = -\frac{1}{|R|}\sum_{v \in R} \hat{y}_v + \beta \cdot \frac{1}{|\bar{R}|}\sum_{v \in \bar{R}} \hat{y}_v + \lambda_{fft} \|S\|^2$. Cela maximise l'activation moyenne de la ROI cible tout en soustrayant l'activation moyenne du reste du cortex (pour encourager la sélectivité par rapport à une activation générique) et inclut un régularisateur d'énergie spectrale pour supprimer les textures pathologiques à haute fréquence.
  • Hyperparamètres : L'optimisation s'exécute pendant 3 000 étapes de gradient. Cinq redémarrages avec des graines aléatoires sont effectués par ROI pour évaluer la stabilité.

Résultats clés

1. Retrouvaille qualitative de la sélectivité corticale

Les stimuli synthétisés démontrent une récupération claire de l'anatomie fonctionnelle connue :

• Progression V1 $\to$ V4 : On observe une progression visible de l'échelle spatiale et de la complexité des caractéristiques. V1 produit des champs denses de contours orientés à petite échelle (de type Gabor) ; V2 et V3 montrent de plus grands contours et jonctions ; V4 présente des courbes organisées à échelle moyenne.
• MT (Aire du mouvement) : Malgré l'optimisation d'images statiques uniquement, les cinq redémarrages pour MT produisent des motifs de traînées radiales ou diagonales nettes, ressemblant à un « flux optique figé » ou à une photographie à longue exposition. Cela indique que l'encodeur a appris à associer des indices de mouvement statiques (traînées, orientations allongées) à la région MT.
• FFA (Aire des visages) : La sonde génère des caractéristiques variées mais reconnaissables de type visage (régions oculaires, arêtes du nez, contours de la bouche) à travers les redémarrages.
• PPA (Aire des lieux) : Les stimuli produisent des textures rectilignes cohérentes (lignes parallèles, principalement horizontales et diagonales). Bien que moins spécifiques à une catégorie que la FFA, cela correspond à la sensibilité de la région aux agencements de scènes et à l'architecture.

2. Sélectivité quantitative et « super-stimuli »

• Soulèvement d'activation : Les stimuli optimisés activent leurs ROIs cibles significativement au-dessus d'une base de bruit aléatoire. Notamment, le stimulus optimisé pour la FFA active la prédiction de l'activation FFA environ 4 fois plus qu'une photographie naturelle de visage (+0,339 contre +0,080). Cela confirme le phénomène de « super-stimulus », où l'ascension du gradient trouve des motifs adversariaux qui dépassent les limites de la distribution naturelle.
• Structure inter-ROI : La matrice d'activation révèle les relations anatomiques attendues. Les aires visuelles précoces (V1–V3) montrent une forte co-activation. La FFA et la PPA sont mutuellement suppressives. V4 agit comme un pont, activant la FFA plus fortement que les aires visuelles précoces.
• Base MT : MT montre le plus grand soulèvement d'activation (+0,70), en partie parce que sa base de bruit aléatoire est fortement négative (indiquant une désactivation pour les stimuli non liés au mouvement).

3. Stabilité et limites

• Stabilité : Les signatures qualitatives (par exemple, les caractéristiques de visage pour la FFA, les traînées pour MT) sont stables sur les cinq graines aléatoires, la variation étant restreinte à une géométrie spécifique plutôt qu'à la catégorie.
• Reproductibilité : Les auteurs notent que le non-déterminisme du fp16 CUDA provoque une divergence des trajectoires, ce qui signifie que le redémarrage avec l'activation la plus élevée n'est pas toujours le plus interprétable visuellement (par exemple, l'image de visage la plus claire n'était pas le maximum d'activation).
• Ambiguïté PPA : Les auteurs déclarent explicitement être moins à l'aise pour interpréter les résultats de la PPA, car les stimuli ressemblent à des motifs de lignes plutôt qu'à des scènes reconnaissables, soulignant une limite de la capacité actuelle de la sonde à résoudre des étiquettes au niveau de la catégorie pour toutes les régions.

Signification et affirmations

L'article affirme que la visualisation de caractéristiques sert de test qualitatif nécessaire et complémentaire à la précision de prédiction pour les encodeurs cérébraux.

• Intériorisation vs Ajustement : Les résultats suggèrent que TRIBE v2 ne s'est pas simplement ajusté aux séries temporelles fMRI d'entraînement, mais a intériorisé l'organisation fonctionnelle de la hiérarchie visuelle. La capacité d'inverser l'encodeur pour retrouver des signatures d'ajustement spécifiques (contours, mouvement, visages) à partir d'un pipeline d'optimisation statique est présentée comme une preuve de cette intériorisation.
• Portée méthodologique : La récupération d'un « mouvement implicite » dans MT à partir d'entrées statiques est mise en avant comme une démonstration clé de la capacité de la méthode, montrant que la lecture du mouvement de l'encodeur peut être inversée en une imagerie évoquant le mouvement reconnaissable, même sans optimisation temporelle.
• Applicabilité générale : La sonde est décrite comme simple, différentiable et applicable à tout encodeur cérébral disposant d'un backbone différentiable, offrant un « test qualitatif par défaut et peu coûteux » pour distinguer les encodeurs qui ont retrouvé des principes de neurosciences de ceux qui prédisent simplement les données.

Les auteurs restent modestes, reconnaissant que les stimuli optimisés sont des extrêmes de la surface de réponse et peuvent contenir des caractéristiques adversariales. Ils soulignent que, bien que la sonde révèle ce que l'encodeur pense qu'une région recherche, elle ne résout pas entièrement si ces caractéristiques correspondent parfaitement à la réalité biologique sans validation supplémentaire (par exemple, optimisation sur l'axe vidéo ou études avec observateurs humains).