Face and body representations converge along the visual hierarchy in models and cortex

Cette étude démontre que les représentations faciales et corporenelles s'intègrent progressivement le long de la hiérarchie visuelle, tant dans les modèles de réseaux de neurones profonds que dans le cortex humain, grâce à l'émergence d'unités sélectives mixtes qui optimisent la perception des personnes.

L'essentiel

🧠 Le Mystère du Visage et du Corps : Séparés ou Ensemble ?

Imaginez que votre cerveau est une immense usine de triage qui regarde le monde. Quand vous voyez une personne, votre cerveau doit immédiatement se demander : « Est-ce que je regarde le visage ? Est-ce que je regarde le corps ? Ou est-ce que je regarde la personne entière ? »

Pendant longtemps, les scientifiques se sont demandé si l'usine du cerveau avait deux ateliers totalement séparés : un pour les visages et un autre pour les corps. Ou peut-être que tout est mélangé dans un grand atelier commun ?

Cette étude, menée par des chercheurs allemands, utilise une astuce géniale : au lieu de seulement regarder le cerveau humain, ils ont construit des cerveaux artificiels (des réseaux de neurones profonds) et les ont laissés apprendre à reconnaître des images, exactement comme un enfant apprend à voir.

Voici ce qu'ils ont découvert, expliqué avec des métaphores simples :

1. L'Usine Apprend à Trier (Les Modèles IA)

Les chercheurs ont donné des milliers de photos à leurs cerveaux artificiels. Au début, l'usine est un peu confuse. Mais à mesure qu'elle apprend, elle développe des « ouvriers » spécialisés :

• Les Spécialistes Visage : Ils ne regardent que les yeux, le nez et la bouche.
• Les Spécialistes Corps : Ils ne regardent que les épaules, les bras et les jambes.
• Les Polyvalents (Le Secret) : Et puis, il y a une troisième catégorie d'ouvriers très intéressants : les Polyvalents. Ils sont capables de regarder à la fois le visage ET le corps en même temps.

La découverte clé : Plus l'information voyage loin dans l'usine (du début de l'image vers la fin du traitement), plus il y a de Polyvalents. Au début, tout est séparé. À la fin, tout est mélangé.

2. Le Miroir Humain (Le Cerveau Réel)

Ensuite, les chercheurs ont regardé dans le cerveau de vrais humains grâce à une machine IRM (une sorte de caméra pour le cerveau). Ils ont posé la même question : « Est-ce que les zones du cerveau qui aiment les visages sont séparées de celles qui aiment les corps ? »

La réponse est surprenante : C'est un peu comme dans l'usine artificielle !

• Au début du traitement (à l'arrière du cerveau), les zones sont bien séparées. C'est comme deux ateliers distincts.
• Mais plus on avance vers l'avant du cerveau, plus les zones se chevauchent. Les « Polyvalents » humains (les neurones qui aiment les deux) sont les meilleurs pour expliquer ce qui se passe dans le cerveau.

L'analogie du puzzle : Imaginez que vous essayez de reconstruire une photo d'une personne.

• Si vous utilisez seulement les pièces du visage, vous avez une partie du puzzle.
• Si vous utilisez seulement les pièces du corps, vous avez l'autre partie.
• Mais les zones avancées du cerveau utilisent un puzzle hybride qui contient des pièces des deux, ce qui permet de voir la personne comme un tout cohérent.

3. Pourquoi faire tout ce mélange ? (L'Utilité)

Vous pourriez vous demander : « Pourquoi ne pas garder tout séparé ? C'est plus simple non ? »

Les chercheurs ont testé l'utilité de ces « Polyvalents » en leur donnant des missions :

• Reconnaître un visage : Les Spécialistes Visage sont les champions.
• Reconnaître une personne (son identité) : Les Spécialistes Corps sont très forts, mais les Polyvalents aident aussi beaucoup.
• Reconnaître une action (courir, sauter) : Là, tout le monde travaille ensemble !

La métaphore de l'équipe de football :

• Les Spécialistes sont comme des attaquants ou des défenseurs qui excellent dans une position précise.
• Les Polyvalents sont comme les capitaines ou les joueurs « couteau suisse ». Ils ne sont pas les meilleurs dans une seule tâche, mais ils permettent à l'équipe de comprendre la situation globale. Ils aident à dire : « Ce n'est pas juste un visage qui sourit, c'est cette personne qui sourit en courant ! »

4. Comment ça marche vraiment ? (Pas de magie, juste de l'addition)

Une dernière question : est-ce que ces Polyvalents créent une nouvelle magie en fusionnant le visage et le corps ?
Non ! L'étude montre qu'ils fonctionnent un peu comme une addition simple.
Si le visage vaut 5 points et le corps vaut 5 points, le Polyvalent voit 10 points. Il ne crée pas un nouveau « super-pouvoir » mystérieux, il assemble simplement les pièces pour former l'image complète de la personne.

🎯 En Résumé

Cette étude nous dit que notre cerveau (et nos intelligences artificielles) ne choisit pas entre « séparer » et « mélanger ». Il fait les deux, mais progressivement :

1. Au début : On trie les pièces (visage ici, corps là).
2. À la fin : On assemble le puzzle pour voir la personne entière.

C'est une organisation intelligente qui nous permet d'être à la fois très précis (pour reconnaître un visage familier) et très flexibles (pour comprendre ce que fait une personne dans son ensemble). C'est la preuve que pour voir le monde humain, il faut savoir regarder les détails, mais aussi savoir les assembler.

Résumé technique

1. Problématique et Contexte

La perception des personnes repose sur des indices visuels provenant à la fois des visages et des corps. Cependant, la manière dont le cerveau humain traite ces signaux reste débattue :

• Hypothèse de ségrégation totale : Les visages et les corps seraient traités par des voies fonctionnelles distinctes.
• Hypothèse d'intégration totale : Ils partageraient un espace de représentation continu.
• Hypothèse d'intégration partielle (progressive) : Les représentations seraient ségrégées dans les régions postérieures du cortex visuel et s'intégreraient progressivement vers les régions antérieures.

L'objectif de cette étude est de déterminer dans quelle mesure les représentations faciales et corporelles sont ségrégées ou intégrées, tant dans les réseaux de neurones profonds (DNN) que dans le cortex visuel humain, et d'identifier la nature de cette intégration (additive ou synergique).

2. Méthodologie

Les auteurs ont combiné l'analyse de modèles computationnels (DNN) et de données d'imagerie par résonance magnétique fonctionnelle (IRMf) à haute résolution.

A. Modèles de Réseaux de Neurones Profonds (DNN)

• Modèles utilisés : Principalement des architectures basées sur AlexNet (entraînées de manière supervisée sur Ecoset et de manière auto-supervisée sur ImageNet avec l'objectif Barlow Twins), ainsi que des modèles VGG16.
• Identification des unités : Les auteurs ont classé les unités neuronales (en traitant chaque position spatiale dans les couches de convolution comme une unité distincte) en trois catégories basées sur leur réponse à des images de visages, de corps, de scènes et d'objets :
  1. Unités sélectives pour le visage (réponse préférentielle aux visages).
  2. Unités sélectives pour le corps (réponse préférentielle aux corps).
  3. Unités à sélectivité mixte (réponse préférentielle aux visages ET aux corps par rapport aux autres catégories).
• Analyses fonctionnelles :
  • Cartographie de l'attention (Guided Grad-CAM) pour visualiser les caractéristiques visuelles détectées.
  • Lésionnement (Lesioning) : Mise à zéro des activations d'un type d'unité spécifique pour mesurer l'impact sur des tâches de reconnaissance (visage, personne entière, action).
  • Paradigme d'intégration : Test de la réponse aux personnes entières par rapport à la somme des réponses aux visages et aux corps isolés pour détecter des effets additifs ou synergiques.

B. Données IRMf (Natural Scenes Dataset - NSD)

• Données : Utilisation du jeu de données NSD (8 participants, milliers d'images naturelles).
• Définition des régions d'intérêt (ROI) : Identification de régions sélectives pour le visage (OFA, FFA, aTL-faces) et pour le corps (EBA, FBA, mTL-bodies) via un localisateur fonctionnel standard. Une région de chevauchement (FFA&FBA) a été définie pour les voxels sélectifs pour les deux catégories.
• Modèles d'encodage : Des modèles de régression ridge (avec contrainte de positivité) ont été entraînés pour prédire l'activité des voxels à partir des activations des unités DNN.
• Analyse de variance : Partitionnement de la variance pour distinguer la variance unique (expliquée uniquement par un type d'unité) et la variance partagée (expliquée par plusieurs types).

3. Résultats Clés

A. Émergence de la sélectivité mixte dans les DNN

• Les DNN optimisés pour la reconnaissance visuelle développent non seulement des unités sélectives pour le visage et le corps, mais aussi une population significative d'unités à sélectivité mixte.
• La proportion d'unités mixtes augmente systématiquement à travers les couches du réseau (hierarchy), suggérant une intégration progressive des signaux.
• Ces unités mixtes répondent aux caractéristiques faciales et corporelles simultanément et généralisent bien à de nouvelles images.

B. Correspondance avec le Cortex Visuel Humain

• Meilleure prédiction par les unités mixtes : Contrairement à l'hypothèse de ségrégation stricte, ce sont les unités à sélectivité mixte qui expliquent le mieux l'activité dans les régions sélectives pour le visage (FFA) et pour le corps (FBA), y compris dans les régions de chevauchement.
• Variance partagée vs unique : Bien que les unités sélectives (visage ou corps) contribuent à une variance unique dans leurs régions respectives, la majorité de la variance expliquée est partagée.
• Gradient hiérarchique : La proportion de variance intégrée (partagée + variance unique des unités mixtes) augmente progressivement des régions postérieures (OFA, EBA) vers les régions antérieures (FFA, FBA, aTL). Cela confirme une convergence progressive des représentations le long de la hiérarchie visuelle.

C. Nature de l'Intégration : Additive, pas Synergique

• Les analyses de lésionnement montrent que les unités mixtes sont fonctionnellement pertinentes pour la reconnaissance des personnes et des actions, mais qu'elles ne sont pas indispensables de manière exclusive (les unités sélectives peuvent aussi coder ces informations).
• Intégration par parties (Part-based) : L'analyse des interactions face-corps révèle que les réponses aux personnes entières sont additives (ou sous-additives) par rapport à la somme des réponses aux parties isolées. Il n'y a pas d'intégration synergique (le tout n'est pas supérieur à la somme des parties). Les unités mixtes combinent les informations de manière additive plutôt que de créer une représentation holistique nouvelle.

4. Contributions Majeures

1. Validation computationnelle de l'intégration progressive : Démonstration que l'optimisation pour la reconnaissance visuelle suffit à générer une organisation où les représentations de visages et de corps convergent progressivement, reproduisant les gradients observés dans le cortex humain.
2. Rôle des unités mixtes : Identification du fait que les régions corticales sélectives (comme la FFA) ne sont pas exclusivement dédiées à une seule catégorie, mais encodent des informations multifacettes grâce à des unités à sélectivité mixte.
3. Distinction entre intégration et synergie : Preuve que l'intégration des signaux visage/corps dans les DNN (et probablement dans le cortex) se fait par une combinaison additive de caractéristiques (traitement par parties) plutôt que par une émergence synergique d'une représentation holistique unique.

5. Signification et Implications

• Réconciliation des théories : Ces résultats soutiennent une vision intermédiaire où la ségrégation et l'intégration coexistent. Les représentations sont partiellement distinctes au début du traitement (postérieur) mais deviennent de plus en plus intégrées vers les régions antérieures.
• Flexibilité fonctionnelle : L'organisation partielle permet un équilibre entre la spécialisation (pour des tâches fines comme l'identité faciale) et la flexibilité (pour des tâches globales comme la reconnaissance d'une personne ou d'une action), optimisant l'utilisation des ressources neuronales.
• Modèles de cerveau : Les DNN modernes, même sans mécanismes de rétroaction explicites, capturent des principes d'organisation fondamentale du cortex visuel humain, validant leur utilité comme modèles computationnels de la perception.

En conclusion, l'étude révèle que le cerveau et les modèles d'IA traitent les visages et les corps non pas comme des entités totalement séparées ou totalement fusionnées, mais à travers un spectre dynamique où l'intégration augmente le long de la hiérarchie visuelle, reposant sur une combinaison additive de caractéristiques partielles.