Cross-cue reconstruction of perceived 3D object structure from human visual cortex

Imaginez que votre cerveau soit comme un chef étoilé capable de goûter une soupe et de vous dire exactement quels ingrédients s'y trouvent, même si vous ne lui en donniez qu'une seule cuillerée. Mais au lieu de la soupe, les « ingrédients » sont les formes 3D des objets du monde, et la « cuillerée » est l'activité électrique dans votre cerveau.

Pendant longtemps, les scientifiques savaient que notre cerveau construit une image 3D du monde en utilisant différents « indices » (comme les ombres, la façon dont nos yeux bougent ou la superposition des objets). Cependant, ils ne pouvaient pas voir l'image 3D finale que le cerveau crée car elle est cachée à l'intérieur de notre tête. Ils pouvaient voir les indices, mais pas le résultat.

Ce document est comme la découverte d'un anneau de décodage magique qui traduit ces signaux cérébraux cachés en un objet 3D visible. Voici comment ils ont procédé, en utilisant une analogie simple :

Le Traducteur et le Plan
Considérez les chercheurs comme s'ils construisaient une machine en deux parties :

1. Le Traducteur (le Décodeur) : Cette partie apprend à lire les signaux IRMf de votre cerveau (le « bruit électrique » du cerveau) et à les traduire en un code secret. Ce code n'est pas une image ; c'est une liste d'instructions mathématiques qui décrivent la forme d'un objet, comme le plan d'un modèle 3D.
2. Le Bâtisseur (le Générateur) : Cette partie prend ce plan secret et construit un modèle 3D physique à partir de milliers de petits points (un « nuage de points »), tout comme une imprimante 3D créant une sculpture à partir d'un fichier numérique.

Les Trois Tests Difficiles
Pour prouver que cette machine lisait réellement la forme et ne faisait pas que deviner, ils l'ont soumise à trois examens de plus en plus difficiles :

1. Le test de la « Nouvelle Saveur » : Ils ont entraîné la machine uniquement sur des photos d'objets du quotidien (comme des tasses et des chaises). Ensuite, ils lui ont montré les scans cérébraux d'objets qu'elle n'avait jamais vus auparavant (comme un jouet extraterrestre bizarre). La machine a réussi à construire la forme 3D du nouvel objet. Elle n'a pas simplement mémorisé les anciennes formes ; elle a appris le langage des formes 3D.
2. Le test des « Lunettes Magiques » : C'était le plus important. Ils ont entraîné la machine sur des images plates en 2D. Ensuite, ils lui ont montré des scans cérébraux provenant de personnes regardant des Stéréogrammes à Points Aléatoires (RDS). Ce sont des images qui ressemblent à du bruit statique pour l'œil nu, mais si vous les regardez avec des lunettes spéciales (ou en croisant les yeux), une forme 3D apparaît. Crucialement, l'image 2D sur l'écran n'avait aucune forme du tout — c'était juste du bruit. Pourtant, la machine a construit la forme 3D correcte. Cela a prouvé que la machine lisait la perception 3D du cerveau, et non qu'elle copiait simplement l'image plate sur l'écran.
3. Le test de l'« Inclinaison » : Ils ont montré à la machine deux images qui semblaient identiques de face (même contour), mais l'une était inclinée différemment dans l'espace 3D. La machine a correctement construit l'objet avec l'inclinaison spécifique, prouvant qu'elle comprenait la géométrie de la profondeur, et pas seulement le contour en 2D.

Là où la magie opère
Les chercheurs ont découvert que cette « traduction » fonctionnait mieux dans les parties arrière et supérieures du cerveau (la voie dorsale), qui sont connues pour gérer les informations spatiales.

L'essentiel
Cette étude montre que nous pouvons désormais « externaliser » ce que le cerveau voit. Nous pouvons prendre le modèle 3D invisible que votre cerveau construit à partir de différents indices et le transformer en un objet 3D visible sur un écran d'ordinateur. C'est une étape vers la lecture du « modèle du monde » interne de votre cerveau — la façon dont votre cerveau prédit l'apparence du monde, même lorsque les données brutes provenant de vos yeux sont incomplètes ou confuses.