Decoding silent reading from non-invasive EEG

La communication humaine repose sur un acte physique simple : bouger la bouche, la langue et les cordes vocales pour façonner l'air en sons. Lorsqu'une maladie ou une blessure détruit cette capacité, le lien entre l'esprit d'une personne et le monde extérieur peut s'évanouir. Pendant des décennies, les scientifiques ont cherché un moyen de contourner le corps défaillant pour lire les pensées directement dans le cerveau. Les tentatives les plus réussies jusqu'à présent ont nécessité une chirurgie, consistant à implanter des électrodes profondément à l'intérieur du crâne pour écouter le bavardage électrique des neurones individuels. Bien que ces outils invasifs aient montré que les centres du langage du cerveau peuvent être décodés avec une grande précision, ils comportent des risques chirurgicaux et ne peuvent être utilisés pour la vaste majorité des personnes qui en ont besoin. La grande question restée sans réponse était de savoir si des méthodes non invasives, utilisant spécifiquement des capteurs placés sur le cuir chevelu, pourraient un jour être assez sensibles pour capturer ces pensées fugaces.

La difficulté fondamentale pour lire l'esprit sans chirurgie n'est pas seulement la faiblesse du signal, mais l'absence de carte. Pour apprendre à un ordinateur à reconnaître une pensée, il faut savoir exactement ce que la personne pensait au moment précis où le signal cérébral s'est produit. Pour les mots parlés, c'est facile : la personne parle, et l'enregistrement commence. Pour les pensées silencieuses, ou « parole intérieure », il n'y a pas de marqueur externe. Une personne peut penser une phrase, mais elle ne peut pas la rapporter avec une synchronisation parfaite ; le temps qu'elle dise « je pensais à des bananes », l'activité cérébrale qui a créé cette pensée est depuis longtemps passée. Sans un horodatage précis, les données sont un flou, et les tentatives précédentes de décodage de la parole intérieure ont lutté pour dépasser le stade du simple hasard.

Une équipe de chercheurs de nubrain a décidé de contourner ce problème de synchronisation en utilisant une tâche différente comme terrain d'entraînement. Au lieu de demander à un participant d'imaginer des mots, ils lui ont demandé de lire. La lecture est une forme de traitement du langage qui se déroule silencieusement dans l'esprit, mais elle possède une horloge intégrée : le moment où un mot apparaît sur un écran. En enregistrant l'activité cérébrale pendant qu'une personne lit, les chercheurs ont pu aligner les signaux électriques avec les mots spécifiques étant vus, créant ainsi un ensemble de données massif et précis. Leur objectif était de voir si un ordinateur pouvait apprendre à reconnaître la signature cérébrale unique d'un mot spécifique en observant simplement les motifs électriques sur le cuir chevelu, et si cette compétence pourrait éventuellement être appliquée à la tâche plus difficile de décoder les pensées non dites.

L'étude a impliqué un seul participant qui a passé près de 49 heures à lire des histoires continues sur un écran d'ordinateur. Le texte était présenté un mot à la fois en succession rapide, une méthode connue sous le nom de présentation visuelle sérielle rapide. Pour s'assurer que l'ordinateur apprenait la signification des mots et non seulement leur forme, les chercheurs ont changé la police, la taille, la couleur et l'espacement de chaque mot. Cela signifiait que le cerveau devait traiter le langage lui-même, et non pas seulement le motif visuel des lettres. Le participant portait une casquette avec 19 électrodes sèches, une configuration conçue pour être confortable et facile à utiliser, qui enregistrait l'activité électrique du cerveau à une vitesse élevée.

Les chercheurs ont ensuite entraîné un modèle informatique pour faire correspondre ces signaux cérébraux aux mots lus. Ils ont utilisé un système sophistiqué qui comparait les motifs électriques à la « signification » numérique des mots, dérivée d'un grand modèle de langage. L'ordinateur n'était pas sollicité pour deviner le mot à partir de zéro, mais plutôt pour choisir le mot correct parmi une liste de 512 possibilités. Les résultats étaient clairs : le système pouvait identifier de manière fiable le mot en cours de lecture, obtenant des performances nettement supérieures au hasard. Ce succès restait vrai même pour les mots rares et peu communs, et pas seulement pour les mots courants qui apparaissent fréquemment dans le langage.

Crucialement, les chercheurs ont veillé à distinguer deux types différents de succès. Un ordinateur pourrait trouver la bonne réponse simplement en connaissant le sujet général de l'histoire — par exemple, en devinant « chien » parce que l'histoire parle d'une ferme — sans réellement reconnaître le mot spécifique sur l'écran. Pour écarter cela, l'équipe a développé une méthode pour séparer le signal du mot spécifique du signal du contexte de l'histoire. Ils ont découvert que, bien que le système utilise le contexte de l'histoire pour aider, une partie significative de son succès provient de l'identification du mot spécifique lui-même. Ils ont également vérifié un autre raccourci potentiel : l'ordinateur aurait pu apprendre à deviner le mot en fonction de sa position dans la phrase plutôt qu'en fonction du signal cérébral. En effectuant des tests spécifiques où ils cachaient les données cérébrales et ne laissaient que la position, ils ont confirmé que l'ordinateur lisait bien l'activité cérébrale, et non la position.

L'étude a également révélé que la quantité de données compte plus qu'on ne le pensait auparavant. Les chercheurs ont testé le système avec différentes quantités de données d'entraînement, d'une petite fraction des heures totales jusqu'aux 49 heures complètes. Ils ont constaté que la précision du système continuait de s'améliorer à mesure que davantage de données étaient ajoutées, sans aucun signe d'atteinte d'une limite. Cela suggère que la barrière à une meilleure performance n'est pas un défaut fondamental de la technologie, mais simplement le besoin de plus de temps d'enregistrement. De plus, lorsqu'ils ont retiré les électrodes placées sur l'arrière de la tête — la zone qui traite la vision — le système fonctionnait toujours, bien qu'avec une précision légèrement réduite. Cela indique que les signaux cérébraux pour la lecture de mots ne sont pas seulement visuels ; ils impliquent des zones de traitement du langage plus profondes qui sont toujours détectables depuis le cuir chevelu.

Les conclusions offrent une voie prometteuse pour les interfaces cerveau-ordinateur non invasives. La recherche démontre qu'il est possible de décoder des mots spécifiques à partir de l'activité cérébrale en utilisant uniquement des capteurs sur le cuir chevelu, à condition d'avoir suffisamment de données de haute qualité. Bien que l'étude actuelle se soit concentrée sur la lecture, les auteurs suggèrent que cette approche pourrait servir de fondation pour le décodage de la parole intérieure. En entraînant d'abord un système sur les données fiables et synchronisées de la lecture, puis en transférant potentiellement ce savoir à la tâche plus difficile de la pensée silencieuse, les scientifiques pourraient éventuellement restaurer la communication pour ceux qui ont perdu la voix. Le travail ne prétend pas avoir résolu le problème de la lecture instantanée des pensées, mais il a établi que le signal est là, attendant d'être trouvé avec assez de patience et de données.