Subject Identity Is a Major Source of Variance in EEG Spectral Features and Can Inflate Machine Learning Evaluation
Diese Studie zeigt, dass die Probandenidentität eine dominante Quelle der Varianz in EEG-Spektralmerkmalen darstellt, welche die Leistung des maschinellen Lernens bei der Verwendung standardmäßiger Datensplits künstlich aufblähen kann, wodurch subjektweise Evaluierungsprotokolle erforderlich werden, um eine valide Entdeckung von Biomarkern zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das menschliche Gehirn ist ein komplexer Motor elektrischer Aktivität, und Wissenschaftler nutzen seit langem eine Technik namens Elektroenzephalografie oder EEG, um seinem Summen zuzuhören. Indem sie Sensoren auf der Kopfhaut platzieren, können Forscher die rhythmischen Signale des Gehirns erfassen, während es denkt, ruht oder sich bewegt. In den letzten Jahren hat das maschinelle Lernen diese Bemühungen ergänzt und bietet leistungsstarke Werkzeuge, um Muster in diesen Signalen zu finden, die den mentalen Zustand eines Menschen offenbaren, eine Krankheit wie Depressionen erkennen oder vorhersagen könnten, wie er sich verhalten wird. Die Hoffnung ist, dass diese Computermodelle die spezifischen biologischen Signaturen einer Erkrankung erlernen können, indem sie das Signal einer Krankheit vom Rauschen eines gesunden Gehirns trennen. Damit diese Modelle jedoch vertrauenswürdig sind, müssen sie fair getestet werden. Wenn ein Computerprogramm lernt, eine bestimmte Person statt der Krankheit zu erkennen, die sie hat, wird es in einem Test perfekt funktionieren, aber in der realen Welt völlig versagen. Dieses Risiko, die Identität einer Person mit ihrem medizinischen Zustand zu verwechseln, ist das zentrale Rätsel, das diese neue Forschung angeht.
Ein Team von Forschern setzte sich zum Ziel zu messen, wie viel der Information in standardmäßigen Gehirnwellen-Aufzeichnungen tatsächlich zur einzelnen Person gehört und nicht zur Aufgabe, die sie ausführt, oder dem Zeitpunkt der Aufnahme. Sie analysierten Daten von vier verschiedenen Gruppen von Menschen, die von Patienten mit schwerer depressiver Störung bis hin zu Freiwilligen, die einfache motorische Aufgaben ausführten, reichten. Die Daten stammten aus verschiedenen Quellen, darunter hochwertige Forschungsgeräte mit Dutzenden von Sensoren sowie einfachere, handelsübliche Headsets mit nur wenigen Sensoren. Die Wissenschaftler zerlegten die Gehirnwellendaten in spezifische Frequenzbänder, untersuchten die Leistung verschiedener Rhythmen und stellten dann eine grundlegende Frage: Wenn man diese Muster betrachtet, wie viel von dem, was man sieht, ist einzigartig für diese spezifische Person und wie viel ist lediglich eine Änderung der Aufzeichnungssitzung oder der Aufgabe?
Die Antwort, die sie fanden, war frappierend. In der üblichen Art und Weise, wie diese Gehirnsignale normalerweise analysiert werden, war die Identität der Person, die die Daten aufzeichnete, die mit Abstand größte Quelle der Variation. Über die verschiedenen Studien hinweg berechneten die Forscher, dass der einzigartige „Fingerabdruck“ der Gehirnaktivität einer Person etwa siebzig bis achtzig Prozent der gesamten Unterschiede in den Daten ausmachte. Im Gegensatz dazu machten die Veränderungen, die einfach dadurch entstanden, dass eine Aufnahme an einem anderen Tag oder bei einer leicht anderen Aufgabe gemacht wurde, nur einen winzigen Bruchteil der Variation aus. Um dies in Perspektive zu setzen: Der Unterschied zwischen zwei verschiedenen Personen, die im selben Raum sitzen, war fast dreißigmal größer als der Unterschied zwischen derselben Person, die an zwei verschiedenen Tagen im selben Raum sitzt. Dies bedeutet, dass die Gehirnwellen eines jeden Einzelnen so markant sind, dass sie eine stabile, messbare Signatur bilden, die über die Zeit bestehen bleibt, selbst wenn sich das tägliche Leben der Person verändert.
Da diese persönliche Signatur so stark ist, testeten die Forscher, ob ein Computer sie nutzen könnte, um Personen zu identifizieren, ähnlich wie ein Fingerabdruckscanner. Sie trainierten Modelle, um Individuen anhand eines Datensatzes von Gehirnaufzeichnungen zu erkennen, und testeten sie dann an neuen Aufzeichnungen derselben Personen, die zu einem späteren Zeitpunkt gemacht wurden. Die Ergebnisse waren nahezu perfekt. Die Modelle konnten eine Person mit extremer Genauigkeit von einer anderen unterscheiden, selbst wenn die Aufzeichnungen Monate auseinanderlagen. In einigen Tests identifizierte der Computer die richtige Person fast jedes Mal korrekt, was bewies, dass die Gehirnwellenmuster einen robusten, langlebigen Code für die individuelle Identität enthalten. Diese Fähigkeit, eine Person zu erkennen, war nicht auf hochwertige Forschungsgeräte beschränkt; sie war auch in den Daten einfacher, handelsüblicher Headsets vorhanden, obwohl der Effekt schwächer war, wenn sich die Aufgabe drastisch änderte.
Der kritischste Teil der Studie war jedoch zu sehen, was passiert, wenn diese starke Fähigkeit zur Erkennung von Menschen die medizinische Diagnose stört. Die Forscher simulierten einen häufigen Fehler in der Durchführung solcher Studien: die Aufteilung der Daten nach einzelnen Gehirnwellen-Segmenten anstatt nach Personen. In diesem fehlerhaften Aufbau könnten einige Gehirnwellen-Clips eines Patienten in der Trainingsgruppe landen, während andere Clips derselben Person in der Testgruppe landen. Als sie ein maschinelles Lernmodell zur Erkennung schwerer depressiver Störungen mit dieser Methode laufen ließen, erzielte der Computer nahezu perfekte Werte. Es schien die Krankheit perfekt gelernt zu haben. Doch als die Forscher das Modell zwangen, korrekt getestet zu werden – indem sie alle Daten einer einzelnen Person vollständig von den Trainingsdaten trennten –, sank die Leistung signifikant.
Die Untersuchung enthüllte, warum der erste Test so irreführend war. Der Computer hatte nicht tatsächlich die Anzeichen von Depressionen gelernt. Stattdessen hatte er gelernt, die Patienten selbst zu erkennen. Da die Diagnose für jede Person in der Studie feststand, memorierte das Modell einfach, wer krank und wer gesund war, indem es deren einzigartige Gehirnwellen-Signatur identifizierte. Als die Forscher ein Modell trainierten, um nur die Personen zu erkennen, ohne jemals die medizinischen Etiketten zu zeigen, konnte es die Diagnose immer noch perfekt vorhersagen. Dies bewies, dass die hohen Werte aus dem fehlerhaften Test eine Illusion waren, die durch die Nutzung der Identität als Abkürzung durch das Modell entstanden war. Die Studie kommt zu dem Schluss, dass für die Vertrauenswürdigkeit von maschinellem Lernen in der Hirnforschung die Identität einer Person als ein wesentlicher Faktor behandelt werden muss, der kontrolliert werden muss. Die Forscher müssen sicherstellen, dass der Computer niemals dieselbe Person sowohl in seiner Trainings- als auch in seiner Testphase sieht, sonst wird es so aussehen, als hätte er einen medizinischen Durchbruch entdeckt, während er in Wirklichkeit nur einen Namen gelernt hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.