Subject Identity Is a Major Source of Variance in EEG Spectral Features and Can Inflate Machine Learning Evaluation
Cette étude démontre que l'identité du sujet est une source dominante de variance dans les caractéristiques spectrales de l'EEG qui peut artificiellement gonfler la performance de l'apprentissage automatique lorsque les évaluations utilisent des découpages de données standards, nécessitant ainsi des protocoles d'évaluation par sujet pour garantir une découverte de biomarqueurs valide.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Le cerveau humain est un moteur complexe d'activité électrique, et les scientifiques utilisent depuis longtemps une technique appelée électroencéphalographie, ou EEG, pour écouter son bourdonnement. En plaçant des capteurs sur le cuir chevelu, les chercheurs peuvent capturer les signaux rythmiques du cerveau lorsqu'il pense, se repose ou bouge. Ces dernières années, l'apprentissage automatique s'est joint à cet effort, offrant des outils puissants pour trouver des modèles dans ces signaux qui pourraient révéler l'état mental d'une personne, détecter une maladie comme la dépression, ou prédire son comportement. L'espoir est que ces modèles informatiques puissent apprendre les signatures biologiques spécifiques d'une pathologie, en séparant le signal d'une maladie du bruit d'un cerveau sain. Cependant, pour que ces modèles soient dignes de confiance, ils doivent être testés équitablement. Si un programme informatique apprend à reconnaître une personne spécifique plutôt que la maladie dont elle souffre, il semblera fonctionner parfaitement lors d'un test, mais échouera complètement dans le monde réel. Ce risque de confondre l'identité d'une personne avec sa condition médicale est le puzzle central que cette nouvelle recherche tente de résoudre.
Une équipe de chercheurs s'est donné pour mission de mesurer à quel point l'information contenue dans les enregistrements standards d'ondes cérébrales appartient à l'individu plutôt qu'à la tâche qu'il accomplit ou au moment où il a été enregistré. Ils ont analysé les données de quatre groupes différents de personnes, allant de patients souffrant de trouble dépressif majeur à des volontaires effectuant de simples tâches motrices. Les données provenaient de diverses sources, incluant des équipements de recherche haut de gamme dotés de dizaines de capteurs et des casques plus simples, de type grand public, n'en possédant que quelques-uns. Les scientifiques ont décomposé les ondes cérébrales en bandes de fréquences spécifiques, examinant la puissance de différents rythmes, puis se sont posé une question fondamentale : si vous observez ces motifs, quelle part de ce que vous voyez est propre à cette personne spécifique, et quelle part est simplement un changement lié à la session d'enregistrement ou à la tâche ?
La réponse qu'ils ont trouvée était frappante. Dans la manière standard dont ces signaux cérébraux sont habituellement analysés, l'identité de la personne enregistrée est, de loin, la source de variation la plus importante. À travers les différentes études, les chercheurs ont calculé que l'« empreinte digitale » unique de l'activité cérébrale d'une personne représentait environ soixante-dix à quatre-vingts pour cent des différences totales observées dans les données. En revanche, les changements survenus simplement parce qu'un enregistrement a été effectué un jour différent, ou parce que la personne effectuait une tâche légèrement différente, ne constituaient qu'une infime fraction de la variation. Pour mettre cela en perspective, la différence entre deux personnes différentes assises dans la même pièce était près de trente fois plus grande que la différence entre la même personne assise dans la même pièce à deux jours d'intervalle. Cela signifie que les ondes cérébrales de n'importe quel individu sont si distinctes qu'elles forment une signature stable et mesurable qui persiste dans le temps, durant des mois même lorsque la vie quotidienne de la personne change.
Parce que cette signature personnelle est si forte, les chercheurs ont testé si un ordinateur pouvait l'utiliser pour identifier des individus, à la manière d'un scanner d'empreintes digitales. Ils ont entraîné des modèles pour reconnaître des individus en utilisant des données provenant d'un ensemble d'enregistrements cérébraux, puis les ont testés sur de nouveaux enregistrements des mêmes personnes effectués à une date ultérieure. Les résultats étaient presque parfaits. Les modèles pouvaient distinguer une personne d'une autre avec une précision extrême, même lorsque les enregistrements avaient été pris à plusieurs mois d'intervalle. Dans certains tests, l'ordinateur identifiait correctement la bonne personne presque à chaque fois, prouvant que les motifs d'ondes cérébrales contiennent un code robuste et durable pour l'identité individuelle. Cette capacité de reconnaissance d'une personne n'était pas limitée aux équipements de recherche de haute qualité ; elle était également présente dans les données issues de casques plus simples, de type grand public, bien que l'effet soit plus faible lorsque la tâche changeait radicalement.
La partie la plus critique de l'étude, cependant, consistait à voir ce qui se passe lorsque cette puissante capacité à reconnaître les personnes interfère avec le diagnostic médical. Les chercheurs ont simulé une erreur courante dans la manière dont ces études sont souvent menées : la division des données par segments d'ondes cérébrales plutôt que par personne. Dans cette configuration défectueuse, certains segments d'ondes cérébrales d'un patient pourraient se retrouver dans le groupe d'entraînement tandis que d'autres segments du même patient se retrouveraient dans le groupe de test. Lorsqu'ils ont fait tourner un modèle d'apprentissage automatique pour détecter le trouble dépressif majeur en utilisant cette méthode, l'ordinateur a obtenu des scores proches de la perfection. Il semblait avoir parfaitement appris la maladie. Mais lorsque les chercheurs ont forcé le modèle à être testé correctement — en gardant l'intégralité des données d'une seule personne totalement séparées des données d'entraînement — la performance a chuté de manière significative.
L'enquête a révélé pourquoi ce premier test était si trompeur. L'ordinateur n'avait pas réellement appris à reconnaître les signes de la dépression. Au lieu de cela, il avait appris à reconnaître les patients eux-mêmes. Comme le diagnostic était fixé pour chaque personne dans l'étude, le modèle a simplement mémorisé qui était malade et qui était en bonne santé en identifiant leur signature d'ondes cérébrales unique. Lorsque les chercheurs ont entraîné un modèle pour reconnaître uniquement les personnes, sans jamais lui montrer les étiquettes médicales, celui-ci pouvait toujours prédire le diagnostic parfaitement. Cela a prouvé que les scores élevés du test défectueux étaient une illusion créée par le modèle utilisant l'identité comme un raccourci. L'étude conclut que pour que l'apprentissage automatique dans les sciences du cerveau soit digne de confiance, les chercheurs doivent traiter l'identité de la personne comme un facteur majeur à contrôler. Ils doivent s'assurer que l'ordinateur ne voit jamais la même personne à la fois dans sa phase d'entraînement et dans sa phase de test, sinon il pourrait sembler avoir découvert une avancée médicale alors qu'il a seulement appris le nom d'une personne.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.