EEG-Conformer for EEG Decoding: A Participant-Wise Evaluation and Ablation Study Across Three Datasets

Het menselijk brein is een constante, gonzende motor van elektrische activiteit, die kleine signalen afvuurt over een uitgestrekt netwerk van neuronen. Om naar dit gesprek te luisteren zonder de schedel te openen, gebruiken wetenschappers een methode genaamd elektro-encefalografie, of EEG. Ze plaatsen een kap met sensoren op de hoofdhuid om deze zwakke elektrische rimpelingen op te vangen. Het doel is om te decoderen waar het brein aan denkt of wat het doet door alleen deze patronen te lezen, een veld dat bekend staat als hersen-computerinterface. Jarenlang hebben onderzoekers vertrouwd op standaard computerprogramma's, vaak gebaseerd op convolutionele neurale netwerken, om deze rommelige signalen te vertalen naar commando's. Deze programma's zijn goed in het herkennen van lokale patronen, zoals een specifiek ritme dat op één plek op het hoofd verschijnt. Het brein is echter ook een plek van langverbindingsverbindingen, waar activiteit in het ene gebied invloed kan hebben op een ander gebied dat ver weg ligt. Om dit te vangen, is een nieuw type computermodel genaamd een Transformer geïntroduceerd. Het is ontworpen om in één keer naar het hele plaatje te kijken, waarbij verre signalen met elkaar verbindt om de grotere context te begrijpen. De grote vraag voor wetenschappers is of het toevoegen van dit complexe, langetermijndenken aan het simpelere, lokale patroonherkenning echt helpt, of dat het slechts onnodig gewicht aan het systeem toevoegt.

Een team van onderzoekers aan de Konyang Universiteit zette zich af om deze vraag te beantwoorden met een zorgvuldig, grondig onderzoek. Ze hebben geen nieuwe machine uitgevonden; in plaats daarvan namen ze een bestaand model genaamd EEG-Conformer, dat lokale patroonherkenning combineert met langetermijndenken, en onderwiergen dit aan een strenge stresstest. Ze wilden zien of de extra complexiteit het vermogen om het brein te lezen werkelijk verbeterde, of dat de simpelere, oudere methoden net zo goed waren. Ze testten ook of het toevoegen van gegevens van een kleine bewegingssensor, een versnellingsmeter, de computer hielp om het brein beter te begrijpen, of dat die extra informatie slechts ruis was. Hiervoor verzamelden ze een nieuwe set opnames van 48 gezonde vrijwilligers. Elke persoon droeg een headset met negentien sensoren op hun hoofdhuid en drie bewegingssensoren op hun lichaam. De vrijwilligers voerden drie eenvoudige taken uit: zitten met de ogen open, zitten met de ogen dicht, en hun armen gedurende een langere periode in de lucht houden. De onderzoekers namen deze hersengolven op zeer hoge snelheid op, waarbij ze 500 snapshots van elektrische activiteit per seconde vastlegden.

De onderzoekers voedden deze gegevens vervolgens aan de computermodellen om te zien hoe goed ze konden raden welke taak de persoon aan het uitvoeren was. In een enkele, eenmalige test presteerde het complexe model met het langetermijndenken iets beter dan de oudere, simpelere modellen, met een nauwkeurigheid van ongeveer 67 procent. Het leek een kleine overwinning voor de nieuwe technologie. De onderzoekers wisten echter dat een enkele test misleidend kan zijn, vergelijkbaar met het beoordelen van de vaardigheid van een speler op basis van slechts één wedstrijd. Om het echte verhaal te achterhalen, herhaalden ze het experiment vele malen, waarbij ze de deelnemers in verschillende groepen verdeelden en het leerproces van de computer met verschillende willekeurige instellingen startten. Wanneer ze dit deden, veranderde het beeld. Het kleine voordeel dat het complexe model in de eerste test liet zien, verdween of werd zeer klein. Sterker nog, wanneer ze naar de gegevens keken over vele verschillende groeperingen, was het complexe model slechts ongeveer 0,7 procent nauwkeuriger dan het simpelere model, een verschil dat zo klein was dat het nauwelijks merkbaar was tegen de natuurlijke variatie tussen de breinen van verschillende mensen.

De studie onderzocht ook de rol van de bewegingssensoren. In de eerste, enkele test maakte het verwijderen van de bewegingssensoren de computer verrassend genoeg beter in staat, wat suggereerde dat de bewegingsgegevens het systeem in de war brachten. Maar wanneer de onderzoekers de herhaalde tests uitvoerden, draaide het resultaat om. Het verwijderen van de bewegingssensoren maakte de computer feitelijk iets slechter, met een daling in nauwkeurigheid van ongeveer 1,2 procent. Deze omkering toonde aan dat het eerste resultaat een toevalstreffer was, veroorzaakt door hoe de gegevens op dat ene moment waren opgesplitst. De bewegingssensoren bevatten inderdaad nuttige informatie over de beweging, maar het voordeel was klein en verscheen pas wanneer de test vele malen werd uitgevoerd om het geluk uit te middelen. De onderzoekers testten ook of de hoge snelheid van hun opname, 500 snapshots per seconde, noodzakelijk was. Ze vertraagden de gegevens naar 125 snapshots per second en ontdekten dat het vermogen van de computer om het brein te lezen niet significant afnam. Dit suggereert dat de elektrische signalen van het brein voor deze taken niet op een dergelijke hoge snelheid hoeven te worden vastgelegd om begrepen te worden, en dat de fijne details van de snelle opname niet de sleutel tot succes waren.

Misschien wel het meest onthullende deel van de studie was hoe de computer met de verschillende taken omging. Het model was uitstekend in het onderscheiden van de ogen-open en ogen-dicht toestanden, waarbij het de staat in ongeveer 91 procent van de gevallen correct identificeerde. Dit komt omdat het sluiten van de ogen een sterk, bekend ritme in de achterkant van het brein creëert dat gemakkelijk te herkennen is. Echter, het model had moeite met het onderscheiden van de ogen-open staat en de taak van het omhooghouden van de armen. Het verwartte deze twee toestanden ongeveer 40 procent van de tijd. De onderzoekers realiseerden zich dat het omhooghouden van de armen gepaard gaat met spierbeweging, wat elektrische ruis creëert die erg lijkt op de hersenactiviteit van het simpelweg zitten met de ogen open. Omdat de studie de signalen van de spieren niet apart opnam of speciale methoden gebruikte om spierruis te verwijderen, pikte de computer waarschijnlijk de beweging van de arm- en schouderspieren op in plaats van de specifiek hersensignalen voor de taak. Dit betekent dat de computer niet echt de "gedachte" van de armbeweging las, maar reageerde op de fysieke beweging.

De studie concludeerde dat de opwinding rondom het toevoegen van complex, langetermijndenken aan hersenlezende computers mogelijk overdreven is voor deze specifieke taken. De simpelere, oudere modellen presteerden bijna net zo goed als de complexe modellen, en de extra componenten boden slechts een kleine, inconsistente stimulans die sterk afhankelijk was van hoe de gegevens werden getest. De onderzoekers benadrukten dat de manier waarop je de gegevens splitst er enorm toe doet. Als je de computer test door het hem enkele proeven van een persoon te geven om te leren en andere proeven van dezelfde persoon om te raden, lijkt de computer veel slimmer omdat hij de hersenpatronen van die persoon al heeft gezien. Maar wanneer je hem test op volledig nieuwe mensen die hij nog nooit heeft gezien, daalt de prestatie en krimpen de verschillen tussen de modellen. Deze studie dient als een herinnering dat in de zoektocht naar het decoderen van het menselijk brein, de meest geavanceerde instrumenten niet altijd de beste zijn, en dat zorgvuldige, herhaalde tests de enige manier zijn om te bepalen of een nieuw idee een echte doorbraak is of slechts een gelukkige gok.