Optimizing MR-based gaze-decoding for eyes-closed eye-tracking in fMRI

Dans le bourdonnement discret d'un scanner IRM, les chercheurs demandent souvent aux gens de rester parfaitement immobiles pendant que leur cerveau s'illumine en réponse à des images, des sons ou des pensées. Depuis des décennies, les scientifiques savent que l'endroit où une personne regarde est tout aussi important que ce qu'elle pense. Si les yeux d'un participant dérivent ne serait-ce qu'un peu, l'activité cérébrale enregistrée peut changer complètement, transformant un signal clair en un bruit confus. Pour éviter cela, la plupart des études utilisent des caméras haute vitesse pour suivre les yeux, garantissant que la personne regarde exactement là où elle le doit. Mais ces caméras ont un angle mort : elles ne peuvent pas voir quand les yeux sont fermés. Cela laisse une vaste lacune dans notre compréhension. Nous ne pouvons pas étudier ce qui se passe dans le cerveau pendant le sommeil, pendant une relaxation profonde les yeux fermés, ou lorsque les gens sont invités à imaginer des scènes dans leur esprit, car nous n'avons aucun moyen de savoir si leurs yeux bougent ou vers où ils pourraient pointer.

Une équipe de chercheurs a maintenant trouvé un moyen de voir à travers cette obscurité, non pas avec une caméra, mais en écoutant les signaux magnétiques des globes oculaires eux-mêmes. En utilisant un programme informatique puissant qui apprend à reconnaître des motifs dans les scanners cérébraux, ils ont appris à une machine à deviner où une personne regarde, même lorsque ses paupières sont étroitement fermées. Cette percée ne repose pas sur un équipement coûteux ou des conditions parfaites. Au lieu de cela, elle repose sur une méthode d'entraînement ingénieuse qui permet au système de s'adapter à différents scanners et à différentes tâches, ouvrant une fenêtre sur les mouvements cachés de l'œil de l'esprit.

L'histoire commence avec un outil appelé DeepMReye, un programme informatique sophistiqué qui était déjà connu pour bien fonctionner lorsque les gens regardaient des écrans. Ce programme agit comme un traducteur, convertissant les faibles ondulations magnétiques provenant des globes oculaires à l'intérieur du scanner en une carte de la direction du regard. Cependant, la version originale de ce traducteur avait été entraînée principalement sur des données de personnes ayant les yeux grands ouverts. Lorsque les chercheurs ont essayé de l'utiliser sur des personnes ayant les yeux fermés, les résultats étaient incertains. La forme physique de l'œil change légèrement lorsque les paupières l'压pressent, et les signaux magnétiques se déplacent d'une manière que l'ordinateur n'avait jamais vue auparavant. C'était comme demander à un traducteur qui ne parle que l'anglais d'interpréter soudainement une langue qui utilise une grammaire entièrement différente.

Pour corriger cela, les chercheurs ont conçu un nouveau type de session d'entraînement. Ils ont emmené quinze volontaires dans le scanner et leur ont demandé d'effectuer une série de mouvements oculaires pendant que leur cerveau était scanné. D'abord, les volontaires regardaient une cible sur un écran, suivant son mouvement selon des motifs spécifiques, comme tracer des triangles dans l'air avec leurs yeux. Cette partie a été réalisée les yeux ouverts, fournissant à l'ordinateur des exemples clairs et parfaits de l'apparence des signaux magnétiques lorsque les yeux bougent de manière contrôlée. Les chercheurs ont ensuite utilisé ces données fraîches pour « affiner » le programme informatique, lui apprenant essentiellement comment leur scanner spécifique et leur configuration spécifique percevaient le monde.

Les résultats ont été immédiats et clairs. Lorsque les chercheurs ont testé le programme nouvellement entraîné sur les mêmes tâches d'ouverture des yeux, il a fonctionné de manière nettement plus efficace que la version originale. Il suivait les mouvements avec une précision bien plus grande, réduisant la distance entre l'endroit où l'ordinateur pensait que les yeux se trouvaient et l'endroit où ils étaient réellement. Crucialement, les chercheurs ont découvert que cette amélioration n'était pas seulement une question d'étirement des chiffres pour les faire correspondre à un écran plus grand. Le programme avait véritablement appris la manière unique dont leur scanner capturait le mouvement de l'œil. Plus surprenant encore, ils ont découvert qu'ils n'avaient pas besoin des données de la caméra pour faire cet entraînement. Ils pouvaient simplement dire à l'ordinateur : « La personne regardait ce point spécifique », et le programme apprenait tout aussi bien que s'il avait vu les mouvements oculaires réels enregistrés par une caméra. Cela signifie que n'importe quel laboratoire, même celui ne possédant pas de caméra, peut désormais enseigner au système comment fonctionner pour lui.

La véritable magie, cependant, a eu lieu lorsque les lumières se sont éteintes. Les chercheurs ont ensuite demandé aux volontaires d'effectuer la même tâche de traçage de triangles, mais cette fois avec les yeux fermés, guidés seulement par une séquence de bips. Ils leur ont également demandé de cligner des yeux lentement et de garder les yeux ouverts sans regarder rien du tout. Lorsqu'ils ont injecté les scans cérébraux de ces sessions les yeux fermés dans le programme nouvellement entraîné, celui-ci a réussi à reconstruire les mouvements oculaires. L'ordinateur pouvait « voir » les triangles tracés dans l'obscurité. Pour prouver qu'il ne s'agissait pas d'un coup de chance, les chercheurs ont brouillé l'ordre des mouvements dans les données. Lorsque la séquence a été brisée, le programme n'a plus pu identifier la forme, prouvant qu'il décodait véritablement la trajectoire de l'œil et qu'il ne se contentait pas de deviner en fonction du timing des sons.

Cette capacité à voir les mouvements les yeux fermés n'était pas seulement un tour de passe-passe ; elle révélait quelque chose de profond sur la façon dont le cerveau et les yeux interagissent. Les chercheurs ont constaté que le programme pouvait également distinguer les paupières ouvertes des paupières fermées avec une grande précision. Il pouvait détecter quand une personne clignait des yeux ou quand ses yeux étaient complètement fermés, simplement en lisant les signaux magnétiques. Cela suggère que l'état des paupières laisse une empreinte digitale distincte sur le scan cérébral, une empreinte que l'ordinateur peut apprendre à reconnaître.

Peut-être la découverte la plus pratique est que le programme n'avait pas besoin d'être entraîné sur des données les yeux fermés pour fonctionner sur des tâches les yeux fermés. Les chercheurs ont essayé d'entraîner le système en utilisant uniquement les données les yeux ouverts qu'ils avaient collectées précédemment. Lorsqu'ils ont testé cette version sur les sessions les yeux fermés, elle fonctionnait presque aussi bien que la version qui avait été entraînée à la fois sur les yeux ouverts et les yeux fermés. Cela signifie que pour étudier le sommeil ou l'imagerie mentale à l'avenir, les scientifiques n'ont pas besoin de lutter pour faire fonctionner une caméra dans l'obscurité. Ils peuvent simplement entraîner le système pendant que le sujet est éveillé et regarde un écran, puis appliquer ce savoir aux moments où les yeux sont fermés.

L'étude a également abordé une limitation courante dans l'utilisation de ces systèmes. Souvent, les chercheurs supposent que s'ils ajustent simplement l'échelle de la sortie, un programme générique fonctionnera pour n'importe quelle installation. Les chercheurs ont montré que cela ne suffit pas. Un simple étirement mathématique des chiffres ne pouvait égaler la performance d'un programme qui avait été spécifiquement entraîné sur les données locales. L'ordinateur devait apprendre la « voix » spécifique du scanner et la manière unique dont les yeux bougeaient dans cette pièce particulière.

En combinant une routine d'entraînement simple avec un algorithme d'apprentissage puissant, les chercheurs ont levé un obstacle majeur à l'étude du cerveau. Ils ont démontré que nous pouvons désormais suivre où l'esprit regarde, même lorsque les yeux sont fermés, sans avoir besoin d'une caméra pour les observer. Cela ouvre la porte à l'étude du sommeil, de la relaxation profonde et des paysages intérieurs de l'imagination avec une clarté qui était auparavant impossible. La technologie n'est pas parfaite ; les mouvements des yeux fermés sont naturellement moins précis que ceux des yeux ouverts, et l'ordinateur reflète cette réalité. Mais pour la première fois, l'obscurité de l'œil fermé n'est plus un angle mort dans notre compréhension du cerveau humain.