DGCSA: Dynamic graph convolution with self-attention for EEG-based attention recognition in VR and 2D environment

De menselijke geest is een meester in focus, maar die focus is fragiel en wordt gemakkelijk afgeleid door het lawaai van de moderne wereld. Voor onderwijzers en trainers is weten wanneer een student echt betrokken is en wanneer de geest is afgedwaald lang een gokspel geweest, gebaseerd op het observeren van lichaamstaal of het vragen naar zelfrapportage. Om dit op te lossen, hebben wetenschappers zich tot het brein zelf gekeerd, gebruikmakend van een methode genaamd elektro-encefalografie, of EEG. Deze techniek houdt in dat een kap met sensoren op de hoofdhuid wordt geplaatst om te luisteren naar de zwakke elektrische fluisteringen van miljarden neuronen die in unison vuren. Hoewel de elektrische activiteit van het brein ongelooflijk snel en complex is, bevat het een direct verslag van onze mentale staat. De uitdaging is altijd geweest om die chaotische statische ruis te vertalen naar een helder signaal: is de persoon aandachtig, of is hij verloren in gedachten?

Een team van onderzoekers van de Xi'an Shiyou University en de Monash University heeft een nieuwe manier ontwikkeld om deze signalen te decoderen, specifiek om aandachtsniveaus te meten in zowel traditionele als virtuele leeromgevingen. Ze creëerden een systeem dat het brein niet behandelt als een verzameling geïsoleerde onderdelen, maar als een dynamisch netwerk waarin verschillende regio's constant met elkaar communiceren. Door dit netwerkperspectief te combinerend met een methode die het belang van verschillende hersenritmes weegt, bouwden ze een instrument dat met opmerkelijke precisie onderscheid kan maken tussen lage, gemiddelde en hoge aandacht. Hun werk biedt ook een zeldzame blik in het brein om te zien of virtual reality, de meeslepende digitale werelden die vaak voor training worden gebruikt, mensen daadwerkelijk helpt om beter te focussen dan een standaard computerscherm.

De onderzoekers begonnen met het verzamelen van gegevens van twintig universiteitsstudenten die een 64-sensorige kap droegen terwijl ze een specifieke mentale taak uitvoerden, bekend als de Schulte Grid. In deze oefening moesten deelnemers getallen van één tot vijfentwintig vinden en aanklikken terwijl deze als in een willekeurig rooster op een scherm verschenen. De snelheid en nauwkeurigheid van hun klikken dienden als een betrouwbare indicator van hun mentale staat. Het team categoriseerde de prestaties van de deelnemers in drie niveaus: lage aandacht, waarbij ze rustten met hun ogen gesloten; gemiddelde aandacht, waarbij ze de taak met enkele fouten of een lagere snelheid voltooiden; en hoge aandacht, waarbij ze snel en perfect klaar waren. Om de gegevens robuust te maken, voerden de studenten deze taken uit in twee verschillende omgevingen: een standaard 2D-scherm en een volledig meeslepende virtuele realiteit-omgeving waar ze een headset droegen en in een 3D-wereld rondkeken.

Om de enorme hoeveelheid elektrische gegevens die werden verzameld te begrijpen, ontwikkelde het team een geavanceerd computermodel dat ze DGCSA noemen. Traditionele methoden analyseren hersensignalen vaak door ze op te splitsen in eenvoudige frequentiebanden, zoals lage bromtonen of hoog gepitchte hums, en vervolgens te proberen de mentale staat te raden op basis van die geïsoleerde geluiden. Deze nieuwe aanpak is anders omdat het begrijpt dat het brein een verbonden systeem is. Het model analyseert eerst de sterkte en complexiteit van de elektrische signalen over verschillende frequenties, waarbij meer gewicht wordt toegekend aan de specifieke soorten hersengolven die het meest nuttig zijn om aandacht van elkaar te onderscheiden. Vervolgens brengt het in kaart hoe de verschillende sensoren op de kap met elkaar verbonden zijn, maar met een cruciale twist: in plaats van ervan uit te gaan dat deze verbindingen vaststaan, leert het model hoe ze in realtime veranderen wanneer het brein de focus verlegt. Ten slotte gebruikt het een mechanisme dat werkt als een spotlight, door de belangrijkste verbindingen te belichten en de ruis te negeren, waardoor het het grote plaatje kan zien van wat het brein doet.

Toen de onderzoekers dit nieuwe systeem testten, waren de resultaten opmerkelijk. Het model identificeerde het aandachtsniveau correct in 91,67 procent van de gevallen, een significante verbetering ten opzichte van oudere methoden die vertrouwden op eenvoudigere wiskundige regels of standaard deep learning-modellen. Het was bijzonder goed in het detecteren wanneer een student volledig betrokken was, waarbij het elke enkele instantie van hoge aandacht in de testgroep correct identificeerde. De studie onthulde ook dat de manier waarop het brein zichzelf verbindt verandert afhankelijk van de omgeving. In de virtual reality-omgeving detecteerde het model een stabieler en consistenter patroon van focus vergeleken met het platte 2D-scherm.

De gegevens toonden aan dat studenten in de virtual reality-omgeving hogere niveaus van aandacht behielden en minder schommelingen in hun focus ervoren dan zij die aan het 2D-scherm werkten. Statistische analyse bevestigde dat dit verschil niet door toeval kwam; de meeslepende aard van de virtuele wereld leek de aandacht van de studenten effectiever te verankeren. Door naar de specifieke patronen van hersengolven te kijken, ontdekten de onderzoekers dat de virtuele omgeving een duidelijke reactie triggerde in de visuele en ruimtelijke verwerkingsgebieden van het brein, wat suggereert dat het brein harder werkt om de rijke, 3D-informatie die het ontvangt te integreren. Deze verhoogde betrokkenheid werd weerspiegeld in de elektrische activiteit van het brein, die een duidelijker, georganiseerd signaal vertoonde wanneer de studenten in de virtuele wereld waren.

De studie adresseerde ook een veelvoorkomende beperking in eerder onderzoek, dat vaak moeite had met het effectief combineren van verschillende soorten hersendata. Door een slim weegmechanisme te gebruiken, kon het nieuwe model informatie over de sterkte van de hersengolven combineren met informatie over hun complexiteit, waardoor een rijker beeld van de mentale staat ontstond. Deze aanpak stelde het systeem in staat om zich aan te passen aan de unieke manier waarop elk brein functioneert, in plaats van alle breinen in een enkel, rigide sjabloon te dwingen. De onderzoekers merkten op dat hoewel het systeem zeer accuraat was, het incidenteel momenten van lage aandacht met hoge aandacht verwarde, waarschijnlijk omdat korte uitbarstingen van alertheid er in korte momentopnames vergelijkbaar uitzien met aanhoudende focus.

Uiteindelijk biedt dit werk een krachtig nieuw instrument voor het begrijpen van hoe we leren. Het demonstreert dat virtual reality niet alleen een noviteit is, maar een medium dat cognitieve betrokkenheid daadwerkelijk kan verbeteren, een bevinding die wordt ondersteund door de duidelijke, meetbare veranderingen in hersenactiviteit. Het nieuwe model biedt een manier om aandacht in realtime objectief te volgen, wat de dag kan komen dat onderwijzers hun onderwijsmethoden ter plekke kunnen aanpassen of ontwerpers kunnen helpen bij het creëren van trainingssimulaties die leerders diep betrokken houden. Het onderzoek bevestigt dat wanneer we een virtuele wereld betreden, onze hersenen niet alleen kijken; ze engageren, verbinden en focussen op manieren die verschillend zijn van het kijken naar een plat scherm, wat een veelbelovend pad biedt voor de toekomst van onderwijs en training.