Neural network-based encoding in free-viewing fMRI with gaze-aware models

En intégrant des données de suivi oculaire aux modèles d'encodage basés sur les réseaux de neurones convolutifs, cette étude propose une approche « consciente du regard » qui, en utilisant le dataset StudyForrest, permet de modéliser l'activité cérébrale lors d'une vision naturelle sans fixation centrale avec une efficacité accrue et un nombre de paramètres réduit de 112 fois par rapport aux modèles conventionnels.

L'essentiel

🧠 Le Grand Défi : Comment le cerveau voit le monde ?

Imaginez que vous essayez de comprendre comment fonctionne le cerveau d'un ami en lui posant des questions. Jusqu'à présent, les scientifiques faisaient cela comme si votre ami était assis sur une chaise, les yeux rivés sur un point fixe au centre d'un écran, sans jamais bouger la tête. C'est comme si vous lui demandiez de regarder un tableau en ne bougeant jamais ses yeux.

Le problème ? Dans la vraie vie, nous ne faisons pas ça ! Quand nous regardons un film, nous balayons l'écran du regard, nous cherchons les détails, nous suivons les personnages. Nos yeux bougent tout le temps. En forçant les gens à rester fixes, les scientifiques perdaient une partie importante de la "vraie" façon dont le cerveau traite l'information. De plus, cette méthode demandait des ordinateurs très puissants pour analyser des montagnes de données inutiles.

🕵️‍♀️ La Solution : Le Détective "Regard-Aware" (Conscient du Regard)

Les auteurs de cette étude, Dora Gözükara et son équipe, ont eu une idée géniale : "Et si on utilisait nos yeux pour guider l'ordinateur ?"

Ils ont créé un nouveau modèle, qu'ils appellent un "modèle conscient du regard". Voici comment ça marche, avec une analogie simple :

1. L'Analogie du Caméraman vs. Le Spectateur

• L'ancienne méthode (Modèle de base) : Imaginez un caméraman qui filme tout l'écran en même temps, en haute définition, pixel par pixel, même les coins où personne ne regarde. Ensuite, il essaie de deviner ce que votre cerveau pense en regardant toutes ces images. C'est énorme, lourd, et ça demande beaucoup de travail.
• La nouvelle méthode (Modèle conscient du regard) : Imaginez maintenant un caméraman qui suit exactement où vos yeux regardent. Si vous regardez le visage de l'acteur, la caméra zoome sur le visage. Si vous regardez le décor, elle zoome sur le décor. Elle ignore le reste.

2. La Magie des "Filtres"

Le cerveau utilise des réseaux de neurones (des sortes de filtres intelligents) pour comprendre ce qu'il voit.

• L'ancienne méthode utilisait tous les filtres pour toute l'image. C'était comme essayer de résoudre un puzzle de 10 000 pièces alors que vous ne regardez qu'une seule pièce à la fois.
• La nouvelle méthode dit : "Attends, le sujet regarde ici, alors on ne garde que les informations de cette zone précise."

🚀 Les Résultats Étonnants

Ce que cette équipe a découvert est incroyable :

1. Moins de travail, même résultat : Le nouveau modèle (qui ne regarde que ce que les yeux voient) fonctionne aussi bien que l'ancien modèle (qui regarde tout), mais il utilise 112 fois moins de paramètres.
   • Analogie : C'est comme si vous pouviez cuisiner un repas délicieux avec un seul couteau et une petite planche à découper, au lieu d'avoir besoin d'un atelier complet rempli d'outils géants.
2. Moins de données nécessaires : Comme le modèle est plus simple, il a besoin de beaucoup moins d'heures d'IRM (imagerie par résonance magnétique) pour apprendre. C'est comme apprendre à conduire : avec une meilleure méthode, vous apprenez plus vite.
3. Plus efficace quand on bouge : Le modèle brille surtout pour les gens qui bougent beaucoup les yeux (ce qui est normal !). Plus une personne est active et dynamique dans son regard, mieux le modèle comprend son cerveau.

💡 Pourquoi est-ce important pour nous ?

Cette recherche ouvre la porte à une nouvelle façon d'étudier le cerveau, plus naturelle et humaine.

• Fin des contraintes : Plus besoin de forcer les gens à rester immobiles comme des statues. On peut les laisser regarder un film, jouer à un jeu vidéo ou même naviguer dans un environnement virtuel, et comprendre comment leur cerveau réagit en temps réel.
• Accessibilité : Comme le modèle est plus léger, il peut tourner sur des ordinateurs portables standards, et non plus seulement sur des super-ordinateurs de recherche. Cela rend cette science accessible à plus de laboratoires.

En Résumé

Imaginez que vous vouliez comprendre comment quelqu'un lit un livre.

• L'ancienne méthode consistait à scanner toutes les pages du livre en même temps, même celles que la personne ne lit pas, pour deviner ce qu'elle comprend.
• La nouvelle méthode consiste à suivre le doigt de la personne qui lit. On ne scanne que les lignes qu'elle regarde réellement.

Résultat : On comprend tout aussi bien (voire mieux pour les gens actifs), mais on gaspille moins d'énergie et on obtient des résultats plus rapides. C'est une victoire pour une science plus naturelle et plus efficace !

Résumé technique

Titre de l'étude

Encodage neuronal basé sur les réseaux de neurones en vision libre (fMRI) avec des modèles conscients du regard (gaze-aware).

1. Problématique

Les modèles d'encodage cérébral utilisant des réseaux de neurones convolutifs (CNN) ont démontré une grande similitude avec le traitement de l'information dans le système visuel des primates. Cependant, la majorité de ces études reposent sur des données d'imagerie par résonance magnétique fonctionnelle (fMRI) collectées lors de la visualisation de stimuli naturels sous une contrainte stricte de fixation centrale.

Cette approche présente plusieurs limites majeures :

• Validité écologique faible : Elle diverge du comportement visuel naturel, qui est dynamique et implique des mouvements oculaires fréquents pour explorer l'environnement.
• Charge cognitive : Maintenir une fixation fixe impose une charge cognitive importante aux participants.
• Suppression de l'activité : Les protocoles de fixation peuvent supprimer l'activité dans les régions cérébrales visuellement dynamiques.
• Complexité computationnelle : Les modèles traditionnels utilisent souvent l'ensemble des caractéristiques (features) spatiales de toutes les couches du CNN pour prédire l'activité d'un voxel, ce qui gonfle considérablement l'espace des paramètres et nécessite des jeux de données massifs pour un ajustement fiable.

L'objectif de cet article est de proposer un cadre d'encodage qui intègre les mouvements oculaires naturels pour améliorer la validité écologique et réduire la complexité computationnelle, sans nécessiter de fixation centrale.

2. Méthodologie

Les auteurs ont développé une approche d'encodage "consciente du regard" (gaze-aware) en utilisant le jeu de données public StudyForrest.

• Données :

  • fMRI : 13 sujets (après exclusion de 2 pour la qualité des données oculaires) regardant le film Forrest Gump (version allemande) sans contrainte de fixation. Les données ont été prétraitées (correction de mouvement, normalisation MNI, etc.).
  • Suivi oculaire (Eye-tracking) : Enregistré simultanément avec une précision de 1000 Hz. Seuls les événements de fixation ont été utilisés pour sélectionner les trames vidéo pertinentes.
  • Stimulus : Des trames vidéo extraites du film, prétraitées et redimensionnées pour correspondre aux entrées du CNN.

• Extraction des caractéristiques (Features) :

  • Un CNN pré-entraîné (VGG-19 sur ImageNet) a été utilisé pour extraire les cartes de caractéristiques des 5 couches de max-pooling.
  • Pour des raisons de cohérence computationnelle, les cartes de caractéristiques de toutes les couches ont été redimensionnées spatialement à une taille commune (7x16) et concaténées pour former une "hypercouche" (hyperlayer) contenant 1472 canaux de caractéristiques.

• Construction du modèle "Gaze-Aware" :

  • Au lieu d'utiliser l'intégralité de la carte de caractéristiques spatiale pour chaque trame, le modèle extrait uniquement les vecteurs de caractéristiques correspondant aux coordonnées de fixation du sujet à chaque instant.
  • Cela crée une série temporelle de caractéristiques spécifique au sujet et à son regard, réduisant drastiquement la dimensionnalité des données d'entrée.
  • Un modèle d'encodage linéaire (régression Ridge) est ensuite entraîné pour mapper ces caractéristiques gazeuses vers l'activité des voxels fMRI, avec un ajustement pour la fonction de réponse hémodynamique (HRF).

• Modèles de référence (Baselines) :

  • Modèle de base (Baseline) : Utilise l'ensemble des caractéristiques de l'hypercouche (164 864 caractéristiques par trame) sans tenir compte du regard.
  • Modèle de fixation centrale : Utilise uniquement les caractéristiques du centre de l'image (même dimensionnalité que le modèle gaze-aware).
  • Modèle PCA : Utilise les 1472 premières composantes principales de l'espace complet des caractéristiques.

3. Contributions Clés

1. Réduction drastique des paramètres : Le modèle gaze-aware utilise 112 fois moins de paramètres que le modèle de base conventionnel (1472 caractéristiques vs 164 864).
2. Validité écologique accrue : La méthode permet d'entraîner des modèles de cerveau sur des données de vision libre (sans fixation), reflétant mieux le comportement visuel naturel.
3. Efficacité mémoire : La réduction de la dimensionnalité permet d'entraîner ces modèles sur un ordinateur portable standard (419 Mo de RAM) contre une station de travail ou un cluster HPC pour le modèle de base (15,6 Go de RAM).
4. Adaptabilité individuelle : Le modèle s'adapte dynamiquement aux schémas de regard uniques de chaque participant.

4. Résultats

• Performance d'encodage : Les modèles gaze-aware atteignent des performances d'encodage (corrélation de Pearson) statistiquement équivalentes aux modèles de base traditionnels sur la majorité des voxels du flux visuel ventral (de V1 à STS et FG).
• Comparaison des modèles :
  • Les modèles gaze-aware expliquent significativement 53 % des voxels, contre 57 % pour le modèle de base (différence non significative).
  • Les modèles de fixation centrale (32 %) et PCA (3 %) performent nettement moins bien, indiquant que la sélection spatiale basée sur le regard réel est cruciale.
• Variabilité inter-individuelle :
  • Les modèles gaze-aware sont particulièrement bénéfiques pour les sujets ayant des mouvements oculaires plus dynamiques. Une forte corrélation positive (r = 0,81) a été observée entre le nombre de fixations d'un sujet et la performance du modèle gaze-aware.
  • À l'inverse, le modèle de base semble mieux performer pour les sujets dont les poids appris correspondent moins à leur distribution de regard, suggérant que le modèle de base exploite des corrélations spatiales naturelles dans l'image pour les sujets "simples", mais échoue sur les données plus bruyantes ou dynamiques.
• Analyse régionale : Aucune différence statistiquement significative n'a été trouvée entre les modèles dans les régions d'intérêt (V1, V2, V3, LO, FG, STS), bien que le modèle de base ait tendance à être légèrement supérieur dans V2 et STS, potentiellement dû à l'information périphérique non capturée par l'échantillonnage ponctuel du regard.

5. Signification et Perspectives

Cette étude démontre qu'il est possible de construire des modèles d'encodage cérébral plus efficaces, moins gourmands en données et plus écologiquement valides en intégrant les dynamiques du regard.

• Impact pratique : La réduction massive des paramètres ouvre la voie à l'application de ces modèles dans des environnements réels complexes (jeux vidéo, réalité virtuelle) où la fixation centrale est impossible ou contre-productive.
• Compréhension du cerveau : Cela permet d'étudier le traitement visuel dans des conditions où l'attention et la perception sont couplées dynamiquement, offrant un aperçu plus fidèle du fonctionnement cérébral naturel.
• Limites et futures directions :
  • L'échantillonnage ponctuel au centre de la fixation ignore le traitement périphérique et parafoveal. Les auteurs suggèrent d'ajouter un noyau spatial (ex: Gaussien) autour de la fixation pour capturer ces signaux.
  • L'utilisation de pRFs (champs récepteurs populationnels) n'a pas amélioré les performances, probablement en raison du sous-échantillonnage spatial des premières couches du CNN.
  • L'avenir pourrait inclure l'utilisation de modèles de CNN entraînés sur des données plus écologiques (non ImageNet) et l'extension à des réseaux récurrents pour capturer les dépendances temporelles.

En conclusion, cette approche marque une avancée significative vers des modèles neuronaux capables de fonctionner dans des conditions de vision libre, réduisant la barrière computationnelle tout en augmentant la pertinence biologique des résultats.