Real-time Reconstruction of Human Visual Perception from fMRI
Cet article présente une adaptation compatible avec le temps réel du pipeline de pointe MindEye2 utilisant la plateforme RT-Cloud, démontrant qu'une reconstruction fiable et détaillée d'images naturelles perçues à partir de données IRMf est réalisable en quelques secondes et ouvrant la voie à des interfaces cerveau-machine avancées.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Imaginez que vous puissiez scruter l'esprit de quelqu'un et voir exactement l'image qu'il regarde, simplement en observant les minuscules ondulations du flux sanguin dans son cerveau. C'est le rêve des neurosciences cognitives : transformer l'activité cérébrale en une fenêtre sur nos pensées. Pendant longtemps, les scientifiques ont utilisé un outil appelé l'IRM fonctionnelle (imagerie par résonance magnétique fonctionnelle) pour faire cela. Considérez l'IRMf comme une caméra de cinéma ultra-lente et en haute définition pour le cerveau. Elle ne prend pas de photos des neurones qui s'activent directement ; elle suit plutôt l'endroit où l'oxygène riche en sang circule, ce qui revient un peu à voir quelles parties d'une ville sont les plus fréquentées en observant où les feux de signalisation brillent. Le hic est que ce « trafic » est lent, mettant plusieurs secondes à atteindre son maximum après l'apparition d'une pensée ou d'une image.
Ces dernières années, les ordinateurs sont devenus incroyablement intelligents pour deviner ce qu'une personne voit en se basant sur ces modèles de flux sanguin lents. Grâce à des modèles d'IA massifs, les scientifiques peuvent désormais reconstruire avec une précision stupéante les images qu'une personne a vues. Cependant, il y a un gros problème : ces ordinateurs intelligents ont généralement besoin d'heures, voire de jours, pour traiter les données. C'est comme avoir un chef de génie capable de cuisiner un repas parfait, mais qui a besoin d'une journée entière pour couper les légumes. Cela rend impossible l'utilisation de ces systèmes pour des expériences en « temps réel », où l'on souhaite voir le résultat instantanément pendant que la personne est encore dans le scanner. Si vous pouviez rendre ce processus assez rapide, vous pourriez créer une « interface cerveau-ordinateur » où une personne pourrait contrôler un écran avec ses pensées, ou obtenir un retour instantané sur ce sur quoi son cerveau se concentre.
Ce document traite de la manière de prendre ce chef de génie lent et de lui apprendre à cuisiner un repas en moins de 15 secondes. Les chercheurs, dirigés par Rishab Iyer et ses collègues, ont réussi à adapter un système d'IA puissant et complexe appelé MindEye2 pour qu'il fonctionne en temps réel. Ils ont réussi à décoder ce qu'une personne voyait à partir d'un scanner IRMf et à reconstruire l'image sur un écran quelques secondes seulement après que la personne l'a regardée. Ils ne l'ont pas fait uniquement dans un cadre de laboratoire parfait et au ralenti ; ils l'ont testé sur un scanner IRM standard de 3 Tesla (celui que l'on trouve dans la plupart des hôpitaux, et non pas seulement dans les laboratoires de recherche sophistiqués) et ont montré que cela fonctionne même avec seulement une heure de données d'entraînement pour une nouvelle personne. Bien que les images ne soient pas aussi parfaites que les versions lentes et nocturnes, elles sont suffisamment claires pour reconnaître l'objet, prouvant que nous pouvons enfin commencer à « lire » les esprits au moment même où ils se produisent, et non plus après coup.
La machine de « lecture mentale » reçoit un boost de vitesse
Pendant des années, les meilleurs systèmes d'IA pour lire les esprits à partir d'imageries cérébrales ont été comme un ralenti. Vous montriez une image à une personne dans une machine d'IRM, vous attendiez qu'elle termine l'expérience, puis vous passiez des heures ou même des jours à traiter les données pour deviner ce qu'elle a vu. Le document décrit une nouvelle approche qui accélère considérablement ce processus, transformant un résultat de « lendemain » en un résultat de « seconde suivante ».
L'équipe a utilisé un système appelé MindEye2, un modèle d'IA géant entraîné pour comprendre la connexion entre l'activité cérébrale et les images. Considérez MindEye2 comme un traducteur qui parle deux langues : le « Flux Cérébral » (les données de l'IRMf) et la « Description d'Image » (une carte numérique de l'apparence des choses). Par le passé, ce traducteur avait besoin de beaucoup de temps pour réfléchir. Les chercheurs voulaient voir s'ils pouvaient le rendre assez rapide pour qu'il puisse fonctionner pendant que la personne est encore dans la machine.
Pour ce faire, ils ont construit un pipeline spécial utilisant une plateforme basée sur le cloud appelée RT-Cloud. C'est comme un service de livraison express qui prend les données cérébrales dès qu'elles sont enregistrées, les traite instantanément et renvoie le résultat. Ils ont testé cela avec un participant regardant des images naturelles, comme des photos d'animaux ou de paysages.
Les résultats : Rapide, mais pas parfait
Le document présente un compromis fascinant entre vitesse et qualité. Ils ont testé trois vitesses différentes :
- Le mode « Rapide » : C'est la magie du temps réel. Le système attend environ 7,9 secondes après l'apparition de l'image (pour laisser le pic de réponse du flux sanguin) puis effectue le décodage. Le temps total entre la vue de l'image et la reconstruction est d'environ 14,5 secondes.
- Le mode « Lent » : Ils attendent environ 29 secondes pour collecter plus de données, ce qui améliore légèrement la qualité.
- Le mode « Fin de session » : Il s'agit de l'approche traditionnelle, consistant à attendre la fin de toute la session de scan (environ 5 minutes) pour analyser l'ensemble des données.
Les résultats ont montré que même le mode « Rapide » fonctionne étonnamment bien. Lorsqu'on lui demande de choisir l'image correcte parmi un groupe de 50 candidats, le système rapide réussit environ 36 % du temps (ce qui est bien meilleur que les 2 % que vous obtiendriez en devinant au hasard). Lorsque le groupe est plus restreint (seulement 2 options), la précision grimpe à 90,6 %. Les images reconstruites sont un peu floues par rapport aux versions lentes et nocturnes, mais on peut toujours clairement distinguer si la personne regarde un chien, une voiture ou un paysage.
Pourquoi cela importe (et ce que cela ne fait pas encore)
Le document précise bien qu'il s'agit d'une « preuve de concept ». Cela prouve qu'il est possible de faire cela en temps réel, mais cela ne signifie pas que nous avons déjà un appareil de lecture mentale parfait. Les auteurs notent explicitement que la qualité diminue lorsque l'on va plus vite. Le mode « Rapide » n'est pas aussi précis que le mode « Hors ligne » qui prend des jours. Ils soulignent également que le système actuel repose sur une architecture d'IA spécifique et que la vitesse est limitée par la rapidité du flux sanguin dans le cerveau (le délai hémodynamique), ce qui est un fait biologique que nous ne pouvons pas changer.
Cependant, les implications sont immenses. Parce que le système fonctionne en moins de 15 secondes, il ouvre la porte au neurofeedback. Imaginez un patient souffrant de dépression qui pourrait voir, en temps réel, comment son cerveau réagit à une image triste. Si son cerveau se concentre trop sur les aspects négatifs, le système pourrait lui montrer une reconstruction qui met en évidence ces aspects, l'aidant ainsi à apprendre à changer sa focalisation. Le document suggère que des délais de 10 à 30 secondes sont en fait assez rapides pour que le cerveau apprenne de ce feedback, selon des études antérieures.
Les chercheurs ont également montré qu'il n'est pas nécessaire d'utiliser un scanner 7 Tesla extrêmement coûteux et rare pour faire cela ; un scanner standard de 3 Tesla (que l'on trouve dans des milliers d'hôpitaux) fonctionne parfaitement, tant que l'on affine l'IA avec environ une heure de données provenant de la nouvelle personne.
L'essentiel
Ce document est une étape majeure pour transformer la « lecture cérébrale », passant d'une analyse lente et post-mortem à une expérience vivante et interactive. En adaptant une IA lourde pour qu'elle fonctionne en temps réel, l'équipe a montré que nous pouvons reconstruire ce qu'une personne voit en 14,5 secondes. Bien que les images ne soient pas encore parfaitement nettes, elles sont suffisantes pour reconnaître des objets, et la vitesse est assez rapide pour potentiellement aider les gens à contrôler leurs propres états cérébraux ou à communiquer avec des machines. C'est comme prendre une caméra de cinéma lente et haute définition et lui apprendre à diffuser de la vidéo en direct. L'image est un peu granuleuse, mais pour la première fois, nous pouvons voir le spectacle pendant qu'il se déroule.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.