Subject Identity Is a Major Source of Variance in EEG Spectral Features and Can Inflate Machine Learning Evaluation
Deze studie toont aan dat subjectidentiteit een dominante bron van variantie is in EEG-spectrale kenmerken die de prestaties van machine learning kunstmatig kan opblazen wanneer evaluaties standaard datasplits gebruiken, waardoor subject-specifieke evaluatieprotocollen noodzakelijk zijn om valide biomarkerontdekking te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Het menselijk brein is een complexe motor van elektrische activiteit, en wetenschappers gebruiken al lang een techniek genaamd elektro-encefalografie, of EEG, om naar het gezoem ervan te luisteren. Door sensoren op de hoofdhuid te plaatsen, kunnen onderzoekers de ritmische signalen van het brein vastleggen terwijl het denkt, rust of beweegt. In de afgelopen jaren heeft machine learning zich bij deze inspanning gevoegd en biedt het krachtige instrumenten om patronen in deze signalen te vinden die een iemands mentale staat kunnen onthullen, een ziekte zoals depressie kunnen detecteren, of kunnen voorspellen hoe iemand zal reageren. De hoop is dat deze computermodellen de specifieke biologische handtekeningen van een aandoening kunnen leren herkennen, waarbij het signaal van een ziekte wordt gescheiden van de ruis van een gezond brein. Echter, om deze modellen vertrouwen te kunnen schenken, moeten ze eerlijk worden getest. Als een computerprogramma leert om een specifiek persoon te herkennen in plaats van de ziekte die die persoon heeft, zal het in een test perfect lijken te werken, maar in de echte wereld volledig falen. Dit risico op het verwarren van iemands identiteit met diens medische conditie is het centrale vraagstuk waar dit nieuwe onderzoek zich mee bezighoudt.
Een team van onderzoekers zette zich het doel om te meten hoeveel van de informatie in standaard hersengolfopnames toebehoort aan de individuele persoon, in plaats van aan de taak die zij uitvoeren of de tijd waarop ze zijn opgenomen. Ze analyseerden gegevens van vier verschillende groepen mensen, variërend van patiënten met een majeure depressieve stoornis tot vrijwilligers die eenvoudige motorische taken uitvoeren. De gegevens kwamen uit diverse bronnen, waaronder hoogwaardige onderzoeksapparatuur met tientallen sensoren en eenvoudigere, consumentvriendelijke headsets met slechts enkele sensoren. De wetenschappers braken de hersengolfgegevens af in specifieke frequentiebanden, waarbij ze keken naar de kracht van verschillende ritmes, en stelden vervolgens een fundamentele vraag: als je naar deze patronen kijigt, hoeveel van wat je ziet is uniek voor die specifieke persoon, en hoeveel is simpelweg een verandering in de opnamesessie of de taak?
Het antwoord dat ze vonden was opmerkelijk. In de standaardmanier waarop deze hersensignalen gewoonlijk worden geanalyseerd, was de identiteit van de persoon die de gegevens opnam verreweg de grootste bron van variatie. Over de verschillende studies heen berekenden de onderzoekers dat de unieke "vingerafdruk" van de hersenactiviteit van een persoon ongeveer zeventig tot tachtig procent van de totale verschillen in de gegevens verklaarde. In contrast hiermee vormden de veranderingen die simpelweg ontstonden omdat een opname op een andere dag werd gemaakt, of omdat de persoon een iets andere taak uitvoerde, slechts een klein deel van de variatie. Om dit in perspectief te plaatsen: het verschil tussen twee verschillende mensen die in dezelfde kamer zitten, was bijna dertig keer groter dan het verschil tussen dezelfde persoon die op twee verschillende dagen in dezelfde kamer zit. Dit betekent dat de hersengolven van een enkel individu zo onderscheidend zijn dat ze een stabiele, meetbare handtekening vormen die persisteert over de tijd, zelfs gedurende maanden terwijl het dagelijks leven van de persoon verandert.
Omdat deze persoonlijke handtekening zo sterk is, testten de onderzoekers of een computer deze kon gebruiken om mensen te identificeren, vergelijkbaar met een vingerafdrukscanner. Ze trainden modellen om individuen te herkennen met behulp van gegevens uit één set hersenopnames en testten deze vervolgens op nieuwe opnames van dezelfde mensen, die op een later tijdstip waren gemaakt. De resultaten waren bijna perfect. De modellen konden één persoon van een ander onderscheiden met extreme nauwkeurigheid, zelfs wanneer de opnames maanden later waren gemaakt. In sommige tests identificeerde de computer de juiste persoon bijna elke keer correct, wat bewees dat de hersengolfpatronen een robuuste, langdurige code voor individuele identiteit bevatten. Deze mogelijkheid om een persoon te herkennen was niet beperkt tot hoogwaardige onderzoeksapparatuur; het was ook aanwezig in gegevens van eenvoudigere, consumentvriendelijke headsets, hoewel het effect zwakker was wanneer de taak drastisch veranderde.
Het meest kritieke deel van de studie was echter om te zien wat er gebeurt wanneer dit krachtige vermogen om mensen te herkennen interfereert met een medische diagnose. De onderzoekers simuleerden een veelvoorkomende fout in de manier waarop deze studies vaak worden uitgevoerd: het splitsen van de gegevens per hersengolfsegment in plaats van per persoon. In deze gebrekkige opzet kan een deel van de hersengolffragmenten van een patiënt in de trainingsgroep terechtkomen, terwijl andere fragmenten van dezelfde patiënt in de testgroep terechtkomen. Wanneer ze een machine learning-model draaiden om een majeure depressieve stoornis te detecteren met deze methode, behaalde de computer bijna perfecte scores. Het leek de ziekte perfect te hebben geleerd. Maar toen de onderzoekers het model dwongen om correct getest te worden — door alle gegevens van een enkel persoon volledig gescheiden te houden van de trainingsdata — daalde de prestatie aanzienlijk.
Het onderzoek onthulde waarom die eerste test zo misleidend was. De computer had niet daadwerkelijk de tekenen van depressie geleerd. In plaats daarvan had de computer de patiënten zelf leren herkennen. Omdat de diagnose voor elke persoon vaststond in de studie, memoriseerde het model simpelweg wie ziek was en wie gezond was door hun unieke hersenhandtekening te identificeren. Wanneer de onderzoekers een model trainden om alleen de mensen te herkennen, zonder de medische labels te tonen, kon het model de diagnose nog steeds perfect voorspellen. Dit bewees dat de hoge scores van de gebrekkige test een illusie waren, gecreëerd doordat het model identiteit als een kortere weg gebruikte. De studie concludeert dat voor machine learning in de hersenwetenschap betrouwbaar moet zijn, onderzoekers de identiteit van de persoon als een belangrijke factor moeten behandelen die gecontroleerd moet worden. Ze moeten ervoor zorgen dat de computer nooit dezelfde persoon zowel in de trainingsfase als in de testfase ziet, anders kan het lijken alsof het een medische doorbraak heeft ontdekt, terwijl het alleen maar iemands naam heeft geleerd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.