Hyperface: a naturalistic fMRI dataset for investigating human face processing

Cet article présente Hyperface, un ensemble de données d'IRMf naturaliste et de haute qualité comprenant des vidéos de visages variés, conçu pour étudier le traitement des visages humains dans des conditions écologiquement valides et pour évaluer la généralisation des modèles computationnels au-delà des conditions de laboratoire artificielles.

L'essentiel

🎭 Hyperface : Le grand laboratoire des visages en mouvement

Imaginez que vous essayez de comprendre comment le cerveau humain reconnaît les gens. Jusqu'à présent, les scientifiques faisaient cela comme si le monde était une photo statique et ennuyeuse : ils montraient aux participants des photos fixes de visages, un par un, dans un laboratoire silencieux. C'est un peu comme essayer d'apprendre à nager en regardant des photos de l'eau. Ça aide, mais ça ne vous prépare pas vraiment à la vraie vie !

C'est là qu'intervient le projet Hyperface. Les chercheurs ont créé une nouvelle base de données pour étudier comment notre cerveau réagit aux visages réels, vivants et en mouvement, tout comme nous les voyons dans la rue ou au cinéma.

1. Le "Menu" de 707 visages 🍽️

Pour cette expérience, les chercheurs ont préparé un immense buffet vidéo. Ils ont sélectionné 707 clips vidéo uniques (de 4 secondes chacun) provenant d'interviews YouTube.

• La variété : C'est comme un casting de film. On y trouve des hommes, des femmes, des jeunes, des seniors, de toutes les origines ethniques, avec des sourires, des airs sérieux, ou en train de tourner la tête.
• Le but : Au lieu de voir un visage fixe, les participants ont regardé ces gens bouger, parler (sans le son) et exprimer des émotions, exactement comme dans la vraie vie.

2. Les participants : Des explorateurs du cerveau 🧠

Vingt-et-un volontaires ont passé du temps dans un appareil d'IRM (une sorte de machine à rayons X très puissante qui prend des photos du cerveau en action).

• La mission : Ils devaient regarder ces vidéos de visages et faire attention à l'identité des personnes.
• Le test de vigilance : Pour s'assurer qu'ils ne s'endormaient pas, on leur a posé de petites questions pendant la séance (par exemple : "Avez-vous vu ce visage juste avant ?").
• Le bonus : Ces mêmes personnes ont aussi regardé un film entier (Le Grand Budapest Hotel) et fait d'autres exercices, ce qui permet aux scientifiques de comparer comment le cerveau réagit à différents types de situations sociales.

3. La validation : Est-ce que ça marche ? ✅

Avant de partager ces données, les chercheurs ont fait des contrôles de qualité rigoureux, un peu comme un chef qui goûte son plat avant de le servir :

• Peu de tremblements : Les participants sont restés très calmes dans la machine (peu de mouvements de tête), ce qui garantit des images nettes.
• Un signal clair : Le "bruit" dans les images était faible, et le signal du cerveau très fort.
• Une harmonie collective : C'est le point le plus fascinant. Quand on regarde les cerveaux de tous les participants en même temps, on voit qu'ils réagissent de la même manière aux mêmes visages. C'est comme si 21 orchestres jouaient la même partition en parfaite synchronisation. Cela prouve que les vidéos ont bien capté l'attention et l'émotion de tout le monde.

4. Pourquoi est-ce important ? 🌍

Ce projet est une révolution pour deux raisons principales :

1. Pour la science du cerveau : Cela permet d'étudier comment nous traitons les visages dans des conditions naturelles, et pas seulement dans un laboratoire artificiel.
2. Pour l'Intelligence Artificielle (IA) : Les chercheurs ont utilisé ces données pour tester les "cerveaux" des ordinateurs (les réseaux de neurones artificiels). Résultat ? Les IA actuelles sont très bonnes pour reconnaître des visages sur des photos fixes, mais elles échouent à comprendre comment les humains reconnaissent les visages quand ils bougent et changent d'expression. C'est comme si l'IA apprenait à conduire avec un mannequin, mais ne savait pas gérer une vraie route avec du trafic.

En résumé 🎬

Le projet Hyperface est comme une bibliothèque géante de visages vivants, filmés en haute définition et enregistrés dans les cerveaux de 21 personnes. C'est une ressource gratuite pour tous les chercheurs et développeurs d'IA qui veulent comprendre la complexité des relations humaines et créer des machines plus intelligentes, capables de voir le monde tel que nous le voyons : mouvant, imprévisible et plein de vie.

Les données sont désormais disponibles pour tout le monde, prêtes à être utilisées pour écrire les prochains chapitres de la science du cerveau et de l'intelligence artificielle.

Résumé technique

1. Problématique et Contexte

Les visages véhiculent une richesse d'informations cruciales pour le comportement social (identité, genre, âge, émotions, traits de personnalité). Cependant, les études de neuroimagerie sur le traitement des visages reposent traditionnellement sur des paradigmes hautement contrôlés utilisant de petits ensembles d'images statiques.

• Limites actuelles : Ces designs artificiels limitent la capacité à caractériser le traitement des visages dans des conditions naturelles et empêchent de tester si les modèles computationnels (comme les réseaux de neurones profonds) généralisent au-delà du laboratoire.
• Objectif : Combler ce manque en fournissant un jeu de données d'IRMf natureliste pour étudier le traitement des visages face à des stimuli dynamiques et écologiquement valides.

2. Méthodologie

Participants et Protocole

• Cohorte : 21 participants (11 femmes, âge moyen 27,3 ans) avec une vision normale ou corrigée.
• Séances d'IRMf : Deux sessions de scan. Chaque session comprenait :
  • 6 runs de la tâche "Hyperface" (vision de visages).
  • 2 runs de localisation dynamique des visages (comparaison Visages/Corps/Scènes/Objets).
  • Séances supplémentaires pour 10 participants incluant une tâche d'identité de visages familiers et la vision du film "The Grand Budapest Hotel".
• Équipement : Scanner IRM 3T Siemens Prisma, bobine de tête 32 canaux, séquences multibandes (SMS) pour une acquisition rapide.

Stimuli (Hyperface)

• Contenu : 707 clips vidéo uniques de 4 secondes chacun, extraits d'interviews YouTube publiques.
• Caractéristiques : Les clips varient systématiquement selon l'identité, le genre, l'âge, l'origine ethnique, l'expression faciale et l'orientation de la tête.
• Préparation : L'audio a été supprimé et les clips recadrés pour éliminer les distractions textuelles.
• Tâche des participants : Les sujets devaient porter attention à l'identité des individus. Des vérifications d'attention (détection de clips répétés) étaient intégrées.

Évaluations Comportementales

• Notation (Rating) : 121 travailleurs de Amazon Mechanical Turk ont noté chaque clip sur le genre, l'âge, l'origine ethnique, l'émotion et l'orientation de la tête.
• Tâche d'arrangement (Arrangement Task) : 39 travailleurs ont organisé les clips en cercle selon leur similarité perçue, fournissant des jugements de similarité par paires pour toutes les paires de clips.

Acquisition et Prétraitement des Données

• Paramètres IRMf : TR/TE = 1000/33 ms, résolution isotropique de 2,5 mm, facteur d'accélération multibande de 4.
• Prétraitement : Utilisation de fMRIPrep (v25.1.4) pour la correction de mouvement, la déformation du champ magnétique, la segmentation anatomique et la normalisation dans l'espace MNI152.
• Dénivellation (Denoising) : Régression des paramètres de mouvement, du signal global, des composantes aCompCor et des tendances polynomiales. Aucun lissage spatial ou filtrage temporel supplémentaire n'a été appliqué pour les analyses de validation.

3. Résultats et Validation Technique

L'équipe a validé la qualité des données selon trois axes principaux :

1. Mouvement des participants :

   • Le mouvement était très faible. Le déplacement inter-cadre (Framewise Displacement - FD) médian était de 0,09 mm (bien en dessous du seuil de 0,5 mm).
   • Seulement 3,76 % des volumes ont été marqués comme des valeurs aberrantes de mouvement (outliers) en médiane.

2. Rapport Signal/Bruit Temporel (tSNR) :

   • Le tSNR moyen dans tout le cerveau était de 83,0 ± 4,0, comparable aux meilleurs jeux de données 3T existants.
   • Comme prévu avec les séquences EPI multibandes, le signal était plus faible dans les régions temporales antérieures et orbitofrontales (près des interfaces air-tissu), mais élevé dans les zones occipitales et dorsales.

3. Corrélation Inter-sujet (ISC) :

   • L'ISC a confirmé une réponse cérébrale cohérente entre les participants face aux stimuli dynamiques.
   • Les zones à haute ISC incluent les zones visuelles primaires, l'aire faciale occipitale (OFA), l'aire faciale fusiforme (FFA), le sillon temporal supérieur (STS), le précuneus dorsal et le gyrus frontal inférieur droit.
   • Note : Ces valeurs d'ISC sont basées sur l'alignement anatomique et constituent une borne inférieure ; l'alignement par hyperalignement (hyperalignment) permettrait des valeurs encore plus élevées.

4. Contributions Clés

• Jeu de données Hyperface : Mise à disposition publique (via OpenNeuro) d'un jeu de données IRMf natureliste complet incluant les données brutes, les clips vidéo, les évaluations comportementales et les dérivés prétraités (fMRIPrep, FreeSurfer).
• Cadre expérimental intégré : Les mêmes 21 participants ont participé à trois paradigmes complémentaires (Hyperface, film Grand Budapest Hotel, tâche d'identité contrôlée), permettant des comparaisons intra-sujet robustes.
• Validation des modèles computationnels : L'utilisation de ce jeu de données a déjà permis de montrer que les réseaux de neurones profonds (DNN) entraînés pour l'identification capturent bien les représentations catégorielles comportementales, mais échouent à expliquer les représentations cérébrales de l'identité lors de la vision naturelle dynamique.

5. Signification et Impact

Le jeu de données Hyperface représente une ressource unique pour la neuroscience humaine, la neuroscience computationnelle et l'intelligence artificielle.

• Il permet de caractériser le traitement des visages dans des conditions proches de la réalité, au-delà des limites des images statiques.
• Il offre une plateforme de référence (benchmark) pour évaluer la capacité des modèles d'IA à prédire les réponses cérébrales humaines.
• Il facilite l'application de méthodes avancées d'analyse telles que la corrélation inter-sujet (ISC), l'analyse de motifs multivoxel (MVPA) et les modèles d'encodage voxel par voxel.

En résumé, Hyperface fournit les outils nécessaires pour tester si nos modèles théoriques du cerveau humain sont capables de généraliser aux complexités du monde réel.