Le cerveau humain est une machine vaste et complexe qui transforme la lumière frappant l'œil en le monde riche et coloré que nous percevons. Pendant des décennies, les scientifiques ont tenté de comprendre exactement comment cela se produit, en cartographiant le chemin allant des lignes et couleurs simples vers des idées complexes comme « un chien » ou « une voiture ». Ces dernières années, un nouveau domaine est apparu, qui tente de faire l'inverse : lire l'activité électrique du cerveau pour reconstruire ce qu'une personne voit. C'est le domaine du décodage visuel neural. En fixant des capteurs sur le cuir chevelu d'une personne pour mesurer les ondes cérébrales, les chercheurs espèrent traduire ces signaux bruyants et chaotiques en images de ce que la personne regarde. C'est la quête de la construction d'un pont entre l'esprit biologique et le monde numérique, promettant des technologies futures qui pourraient aider les gens à communiquer sans parler ou à restaurer la vue aux aveugles.

Pendant longtemps, l'approche standard pour construire ce pont reposait sur une hypothèse spécifique : que la compréhension finale d'une image par le cerveau est la partie la plus importante à faire correspondre. Les chercheurs utilisaient un programme informatique entraîné à reconnaître des objets — comme un œil numérique sophistiqué qui a appris à distinguer un chat d'un chien — et comparaient les signaux cérébraux à la conclusion finale, de haut niveau, de l'ordinateur concernant l'image. L'idée était que si l'ordinateur dit « chat », le cerveau devrait aussi dire « chat » dans son propre langage électrique. Cependant, cette méthode s'est souvent heurtée à un mur. Peu importe la puissance du programme informatique, la capacité de reconstruire l'image à partir des signaux cérébraux ne s'améliorait pas. En fait, parfois, les modèles informatiques les plus avancés étaient moins performants que les plus simples, laissant les scientifiques perplexes quant à la raison pour laquelle plus d'intelligence dans la machine ne menait pas à une meilleure lecture de l'esprit.

Une nouvelle étude publiée dans les Transactions on Machine Learning Research remet en question cette hypothèse de longue date. Les chercheurs, dirigés par une équipe de l'Université de Pittsburgh et d'autres institutions, proposent que le problème ne venait pas de l'intelligence de l'ordinateur, mais du moment de la comparaison. Ils soutiennent que le cerveau ne stocke pas seulement l'étiquette finale d'un objet ; il conserve un enregistrement détaillé et multicouche de l'expérience visuelle, du flash initial de lumière et de couleur jusqu'au concept final. En forçant les signaux cérébraux à correspondre uniquement à la conclusion finale et abstraite de l'ordinateur, les scientifiques demandaient effectivement au cerveau d'oublier tous les détails riches de l'image et de ne se souvenir que du nom de l'objet. Cela créait une incompatibilité, comme essayer de faire entrer un pion carré dans un trou rond.

Pour corriger cela, l'équipe a développé une méthode qu'elle appelle « Alignement Faible » (Shallow Alignment). Au lieu d'attendre que le programme informatique atteigne sa conclusion finale, ils ont commencé à comparer les signaux électriques du cerveau aux étapes intermédiaires de l'ordinateur. Imaginez un programme informatique analysant la photo d'un autruche. Dans les premières étapes, il remarque de longues jambes fines et une texture spécifique. Dans les étapes intermédiaires, il reconnaît la forme d'un oiseau. Ce n'est qu'à l'étape finale qu'il décide : « C'est une autruche ». Les chercheurs ont découvert que les signaux cérébraux, particulièrement ceux mesurés par des capteurs sur le cuir chevelu, contiennent un mélange de tous ces détails. Lorsqu'ils ont aligné les signaux cérébraux avec les observations des couches intermédiaires de l'ordinateur — là où l'image est encore détaillée mais commence aussi à avoir du sens — les résultats ont été considérablement meilleurs.

L'équipe a testé cette idée en utilisant des données provenant de deux grandes collections d'enregistrements cérébraux, l'une mesurant l'activité électrique et l'autre les champs magnétiques, toutes deux pendant que des personnes regardaient des milliers d'objets différents. Ils ont comparé leur nouvelle méthode aux meilleures techniques existantes. La différence était flagrante. Dans les tests où l'ordinateur essayait de deviner quelle image une personne regardait à partir de ses ondes cérébrales, la nouvelle méthode a amélioré la précision de manière massive. Pour l'un des modèles informatiques les plus avancés qu'ils aient testés, le taux de réussite est passé d'environ 17 % à près de 83 %. Ce n'était pas un petit ajustement ; c'était un changement fondamental dans la manière dont la connexion entre le cerveau et la machine est établie.

La découverte la plus surprenante fut peut-être ce qui s'est passé lorsqu'ils ont utilisé des modèles informatiques plus grands et plus puissants. Sous l'ancienne méthode, rendre l'ordinateur plus intelligent rendait souvent le décodage moins bon, un phénomène que les auteurs appellent un « paradoxe de profondeur-capacité ». Plus l'ordinateur compressait l'image en une étiquette simple, plus il était difficile pour les signaux cérébraux de correspondre. Mais avec la nouvelle méthode d'« Alignement Faible », le contraire s'est produit. À mesure que les modèles informatiques devenaient plus grands et plus capables, la performance de décodage s'améliorait constamment. Les chercheurs ont montré qu'en faisant correspondre le bon niveau de détail, ils pouvaient enfin débloquer tout le potentiel de ces cerveaux numériques massifs pour lire la pensée humaine.

L'étude a également révélé que les signaux du cerveau ne concernent pas seulement le nom final de l'objet. Lorsque les chercheurs ont examiné ce que l'ordinateur « voyait » lorsqu'il faisait une erreur, ils ont constaté que l'ancienne méthode récupérait souvent des images qui appartenaient à la bonne catégorie mais avec la mauvaise forme. Par exemple, si une personne regardait une autruche, l'ancienne méthode pouvait récupérer une image d'un mouton ou d'un pigeon — des animaux qui sont tous des oiseaux, mais qui manquent des longues jambes distinctives de l'autruche. La nouvelle méthode, cependant, a réussi à récupérer l'autruche et d'autres images partageant les détails structurels spécifiques, comme les longues jambes fines, même si les autres images étaient d'objets complètement différents comme des tables ou des berceaux. Cela suggère que le cerveau conserve la forme physique et la texture de ce que nous voyons, et pas seulement la catégorie à laquelle cela appartient.

Pour s'assurer qu'il ne s'agissait pas d'un coup de chance lié à un modèle informatique spécifique, les chercheurs ont testé leur approche à travers une grande variété d'architectures numériques, des conceptions plus anciennes et plus simples aux systèmes les plus récents et les plus complexes. Dans chaque cas, l'examen des couches intermédiaires du traitement de l'ordinateur donnait de meilleurs résultats que l'examen de la fin. Ils ont également découvert que la meilleure couche à observer n'était pas la même pour chaque modèle ; cela dépendait de la profondeur et de la complexité de l'ordinateur. Pour certains modèles, le point idéal se situait environ au tiers du processus ; pour d'autres, il était plus proche des deux tiers. Cette flexibilité suggère que la clé n'est pas une couche magique unique, mais plutôt de trouver le point spécifique où la représentation interne de l'ordinateur correspond au « grain » naturel des signaux cérébraux.

Les implications de ce travail sont significatives pour l'avenir des interfaces cerveau-machine. Cela suggère que le goulot d'étranglement dans la lecture de l'esprit n'est pas un manque de puissance de calcul ou de données, mais une incompréhension de la manière dont le cerveau représente le monde. En s'alignant sur la manière de voir multicouche et naturelle du cerveau, plutôt qu'en le forçant dans une boîte unique et abstraite, les chercheurs peuvent construire des systèmes beaucoup plus précis et fiables. L'étude conclut que la voie à suivre consiste à respecter la complexité du processus visuel du cerveau, en utilisant les détails intermédiaires riches de nos outils numériques pour décoder les détails intermédiaires tout aussi riches de nos propres esprits. Cette approche transforme une impasse frustrante en un chemin clair, montant que, parfois, pour comprendre l'image globale, il faut regarder les parties avant que la réponse finale ne soit écrite.