A hierarchy of spatial predictions across human visual cortex during natural vision

En analysant des données d'IRMf 7T lors de la vision naturelle, cette étude révèle que le cortex visuel humain met en œuvre des régimes de prédiction distincts selon l'excentricité visuelle, où une hiérarchie de sensibilité à l'imprévisibilité (du bas niveau au haut niveau) domine la vision centrale, tandis que la vision périphérique est sensible à l'imprévisibilité de haut niveau même dans les aires primaires.

L'essentiel

🧠 Le Cerveau : Un Prévisionniste Éternel

Imaginez que votre cerveau est comme un chef cuisinier très expérimenté qui prépare un repas chaque fois que vous regardez quelque chose. Au lieu de simplement attendre que les ingrédients (les images) arrivent sur la table pour commencer à cuisiner, ce chef essaie constamment de deviner ce qui va arriver.

Cette étude pose deux grandes questions sur ce "chef" :

1. Est-ce qu'il devine tout le temps, même quand on regarde simplement une photo naturelle ? (Ou seulement quand on est concentré sur un jeu ?)
2. Qu'est-ce qu'il essaie de deviner ? Est-ce qu'il devine les détails fins (la couleur d'un pétale) ou les grandes idées (c'est une fleur) ?

🎨 L'Expérience : 73 000 Photos et un Cerveau en 3D

Les chercheurs ont utilisé une machine à rayons X très puissante (IRMf 7T) pour regarder le cerveau de 8 personnes en train de regarder 73 000 photos naturelles (des paysages, des rues, des animaux). C'est énorme !

Pour savoir ce que le cerveau "devinait", ils ont utilisé une Intelligence Artificielle (IA) très intelligente.

• L'analogie du puzzle : Imaginez que vous cachez un petit carré au milieu d'une photo. L'IA essaie de deviner ce qu'il y a dans ce carré en regardant ce qui l'entoure.
• Si l'IA a du mal à deviner (c'est imprévisible), le cerveau réagit fort.
• Si l'IA devine facilement (c'est prévisible), le cerveau se calme un peu.

🔍 Les Découvertes Surprenantes : Deux Règles Différentes

Le résultat principal est que le cerveau ne fonctionne pas de la même façon partout dans votre champ de vision. C'est comme si vous aviez deux modes de conduite différents.

1. Le Mode "Centrale" (Ce que vous voyez droit devant)

Quand vous regardez quelque chose avec précision (au centre de votre vision), le cerveau fonctionne comme une pyramide de prévisions.

• La première couche (V1) : Elle s'occupe des détails simples. Elle dit : "Attends, je m'attendais à voir une ligne verticale ici, mais il y a une courbe !" C'est une surprise de bas niveau.
• Les couches suivantes (V2, V3, V4) : Elles s'occupent de choses plus complexes. Elles disent : "Je m'attendais à voir un chat, mais c'est un chien !" C'est une surprise de haut niveau.
• Leçon : Dans le centre de votre vision, le cerveau vérifie tout, des petits détails aux grandes idées, couche par couche. C'est comme un inspecteur de police qui vérifie chaque détail d'un document.

2. Le Mode "Périphérique" (Ce que vous voyez sur les côtés)

Quand vous regardez avec la vision périphérique (sur le côté), la règle change radicalement.

• Même la première couche (V1), qui normalement ne regarde que les lignes et les couleurs, commence à se soucier des grandes idées.
• L'analogie du conducteur de voiture : Quand vous conduisez, vous regardez la route devant vous avec précision (mode central). Mais sur le côté, vous ne regardez pas les détails de l'herbe. Vous regardez juste : "Y a-t-il un danger ? Un animal ? Une voiture ?".
• Leçon : Sur les côtés, le cerveau est paresseux pour les détails mais très vigilant pour les concepts globaux. Il ne perd pas de temps à vérifier si l'herbe est verte ou non, il veut juste savoir si c'est une route ou une forêt.

🌉 Pourquoi est-ce important ?

Avant cette étude, les scientifiques se disputaient :

• Les uns disaient : "Le cerveau ne prédit que les grandes idées (les objets)."
• Les autres disaient : "Non, il prédit tout, des lignes aux objets."

Cette étude dit : "Vous avez tous raison, mais ça dépend de où vous regardez !"

• Au centre, le cerveau est un architecte : il vérifie les fondations (les lignes) et le toit (l'objet) en même temps.
• Sur les côtés, le cerveau est un gardien de sécurité : il ne s'intéresse qu'aux grands mouvements ou aux formes suspectes, pas aux détails.

🚀 En Résumé

Notre cerveau est une machine à prédire incroyable qui s'adapte à la situation.

• Si vous voulez voir un détail (lire un texte), il utilise une prédiction hiérarchique (du petit au grand).
• Si vous voulez survoler une scène (marcher dans la rue), il utilise une prédiction globale (juste les grandes idées), même pour les zones qui traitent normalement les détails.

C'est une preuve magnifique que notre cerveau est flexible : il utilise la bonne stratégie pour le bon endroit, afin de ne pas gaspiller d'énergie et de nous permettre de voir le monde tel qu'il est vraiment.

Résumé technique

1. Problématique et Contexte

La prédiction est considérée comme fondamentale dans les théories du traitement perceptuel et de l'apprentissage, tant en neurosciences qu'en intelligence artificielle (IA). Cependant, deux questions majeures restent sans réponse dans le contexte de la vision naturelle :

1. L'automatisme : La prédiction se produit-elle de manière routinière et continue lors de la perception naturelle, ou n'est-elle recrutée que dans des situations spécifiques (tâches difficiles, paradigmes artificiels) ?
2. Le niveau d'abstraction : À quel niveau de représentation le cerveau prédit-il ? Est-ce une hiérarchie (les zones précoces pour les bas niveaux, les zones tardives pour les hauts niveaux), une inversion (théorie de la hiérarchie inversée), ou une prédiction uniforme à un haut niveau d'abstraction (comme suggéré par les modèles récents d'IA auto-supervisée) ?

Les études précédentes se sont souvent limitées à des stimuli artificiels ou à des paradigmes de "cues" (indices) ou d'oddball, ce qui laisse incertaine la généralisation à la vision naturelle. De plus, les résultats empiriques récents suggèrent que le cortex visuel, même les zones précoces comme V1, serait principalement sensible aux erreurs de prédiction à haut niveau, contredisant les modèles classiques de codage prédictif.

2. Méthodologie

Les auteurs ont combiné des données d'imagerie cérébrale à très haute résolution avec des modèles génératifs profonds pour analyser la prédictibilité spatiale.

• Données Neuroscientifiques : Utilisation du Natural Scenes Dataset (NSD), contenant des enregistrements fMRI à 7 Tesla de 8 participants visualisant 73 000 images naturelles.
• Sélection des voxels : L'analyse se concentre sur une zone centrale de chaque image (1° de champ visuel). Seuls les voxels dont les champs récepteurs (pRF) se situent entièrement dans cette zone centrale sont sélectionnés pour garantir que la réponse neuronale correspond strictement au contenu analysé.
• Modélisation de la Prédictibilité Spatiale :
  • Un modèle génératif profond (PConvUNet) a été entraîné pour "inpaint" (reconstruire) des patches d'images masqués à partir de leur contexte environnant.
  • La prédictibilité spatiale est quantifiée en comparant le patch réel au patch reconstruit par le modèle.
  • Cette comparaison est effectuée dans l'espace des caractéristiques d'un réseau de neurones profond (VGG-16) à plusieurs niveaux d'abstraction (des couches convolutives précoces aux couches tardives/denses), permettant de distinguer l'imprévisibilité des bas niveaux (bords, textures) et des hauts niveaux (objets, structures sémantiques).
• Analyse Statistique :
  • Régression ridge avec validation croisée pour relier les scores d'imprévisibilité aux réponses BOLD.
  • Un modèle de base (features de contraste local via un pyramid de filtres de Gabor) est utilisé pour isoler la variance expliquée spécifiquement par la prédictibilité, au-delà des caractéristiques visuelles locales.
  • Analyse comparative entre la vision centrale (fovéale) et la vision périphérique (parafovéale, à 2° d'excentricité).

3. Résultats Clés

A. Modulation des réponses neuronales par la prédictibilité

• La prédictibilité spatiale explique une variance unique et significative des réponses neuronales dans tout le cortex visuel (V1 à V4), au-delà des caractéristiques de contraste local.
• Effet de suppression : Les entrées moins prévisibles (plus imprévisibles) provoquent des réponses neuronales plus fortes. Cela confirme l'hypothèse de la "suppression par l'attente" (expectation suppression) : le cerveau répond davantage aux erreurs de prédiction.

B. Une hiérarchie de prédictions dans la vision centrale

• Dans la vision centrale (fovéale), les auteurs observent une hiérarchie stricte qui parallélise le gradient d'encodage des caractéristiques (feature-encoding gradient) :
  • V1 est le plus sensible à l'imprévisibilité des bas niveaux (caractéristiques simples).
  • Les zones V2, V3 et V4 deviennent progressivement plus sensibles à l'imprévisibilité des hauts niveaux (caractéristiques abstraites).
• Ce résultat valide les modèles classiques de codage prédictif hiérarchique et contredit les propositions récentes suggérant que V1 prédit uniquement à haut niveau.

C. Modulation par l'excentricité (Vision périphérique)

• L'effet de prédiction est amplifié dans la vision périphérique (parafovéale) par rapport à la vision centrale.
• Changement de régime : Dans la vision périphérique, même V1 devient principalement sensible à l'imprévisibilité des hauts niveaux.
• Ce basculement vers une sensibilité uniforme aux hauts niveaux dans la périphérie est cohérent avec les études antérieures sur les animaux (souris, macaques) et les modèles d'IA, mais il diffère radicalement de l'organisation hiérarchique observée dans la fovéa.
• Ce changement est spécifique à la prédiction : la sensibilité aux caractéristiques visuelles de base (feedforward) ne montre pas ce même changement dépendant de l'excentricité.

4. Contributions et Signification

• Réconciliation des théories conflictuelles : L'article résout la contradiction entre les modèles de codage prédictif classiques (hiérarchie stricte) et les observations récentes (prédiction à haut niveau partout). La solution réside dans la localisation spatiale : le système visuel déploie des régimes de prédiction distincts selon l'excentricité.
  • Vision centrale (Fovéale) : Haute acuité, haute fiabilité sensorielle $\rightarrow$ Prédiction hiérarchique multi-niveaux (de bas en haut).
  • Vision périphérique : Faible acuité, incertitude sensorielle élevée $\rightarrow$ Prédiction dominée par les hauts niveaux d'abstraction, même dans les zones précoces.
• Implications pour l'IA et les Neurosciences :
  • Cela suggère que les modèles d'apprentissage auto-supervisé (qui privilégient souvent la prédiction de haut niveau) pourraient être plus efficaces pour simuler le traitement périphérique ou dans des conditions d'incertitude, tandis que les architectures hiérarchiques classiques sont nécessaires pour modéliser la vision focale.
  • Cela confirme que la prédiction est un processus automatique et omniprésent lors de la vision naturelle, et non une stratégie coûteuse réservée à des tâches spécifiques.
• Fonctionnalité : La vision centrale, dédiée à la reconnaissance détaillée, nécessite une inférence précise à plusieurs niveaux d'abstraction. La vision périphérique, dédiée à la guidance du regard et à la compréhension rapide de la scène, se contente d'une prédiction de haut niveau plus efficace.

Conclusion

Cette étude démontre que le cortex visuel humain implémente des stratégies de prédiction spatiale dynamiques et dépendantes du contexte. Elle établit que la nature de ce que le cortex "prédit" dépend de l'endroit où l'on regarde dans le champ visuel, offrant un cadre unifié pour comprendre la diversité des résultats empiriques en neurosciences et en intelligence artificielle.