Uncovering EEG Patterns Consistently Associated with Cybersickness Discomfort Using Deep Learning Interpretability Maps

Stel je voor dat je in een virtual reality-headset zit en kijkt naar een gesimuleerde museumtour of naar draaiende lijnen op een scherm. Voor sommigen is deze ervaring opwindend; voor anderen veroorzaakt het een golf van misselijkheid, duizeligheid en een algemeen gevoel van onbehagen, bekend als cybersickness. Dit ongemak is een grote barrière voor het brede gebruik van virtual reality, omdat het de tijd beperkt die mensen ondergedompeld kunnen blijven en velen verhindert de technologie überhaupt te gebruiken. Momenteel is de enige manier om te weten of iemand zich onwel voelt door het te vragen, meestal nadat de ervaring is afgelopen. Maar tegen die tijd is het vaak al te laat om te helpen. Wetenschappers vermoeden al lang dat het brein subtiele signalen afgeeft nog voordat een persoon beseft dat hij zich onwel voelt, maar deze signalen zijn begraven in een chaotische storm van elektrische activiteit. De uitdaging is geweest om de specifieke patronen in die ruis te vinden die het begin van ongemak betrouwbaar voorspellen, zonder dat de gebruiker ook maar één vraag hoeft te beantwoorden.

Een team van onderzoekers probeerde dit puzzelstukje op te lossen door direct te luisteren naar de elektrische taal van het brein. Ze namen hersenactiviteit op van mensen die virtual reality-headsets droegen terwijl de deelnemers ook naar een reeks pieptonen luisterden. Deze opstelling stelde de onderzoekers in staat om de reactie van het brein op de geluiden vast te leggen terwijl de visuele wereld om hen heen draaide. Ze concentreerden zich op een specifiek type hersensignaal, een event-related potential genoemd, wat een korte, getimede elektrische respons is die optreedt elke keer dat het brein een geluid verwerkt. Door naar deze minuscule, fracties van seconden durende reacties te kijken, hoopte het team een vingerafdruk van ongemak te vinden die consistent voorkomt bij verschillende mensen en in verschillende virtuele omgevingen. Hiervoor bouwden ze een geavanceerd computersysteem dat in staat was om te leren van de hersendata en vervolgens, cruciaal, precies uit te leggen welke delen van die data het gebruikte om zijn beslissingen te nemen.

De onderzoekers testten hun systeem op twee aparte groepen mensen die hadden deelgenomen aan verschillende virtual reality-studies. De ene groep ervoer een virtuele museumtour, terwijl de andere groep naar draaiende lijnen keek die ontworpen waren om een gevoel van zelfbeweging te creëren. Ondanks de verschillen in de virtuele werelden, de gebruikte apparatuur en de betrokken mensen, vonden de computermodellen een opvallend consistent patroon. Wanneer de modellen succesvol identificeerden dat een persoon ongemak voelde, vertrouwden ze consequent op signalen afkomstig van drie specifieke gebieden op de hoofdhuid: de linkerzijde van het voorhoofd, het midden van het hoofd en de rechterzijde richting de achterkant. Deze signalen waren niet zomaar willekeurige ruis; ze verschenen binnen een zeer specifiek tijdsvenster, ongeveer tussen 80 en 260 milliseconden na het horen van een geluid. Dit is een ongelooflijk korte duur, plaatsvindend voordat een persoon zich bewust kon registreren dat hij zich onwel voelde.

Wat deze bevindingen bijzonder robuust maakte, was dat de onderzoekers niet vertrouwden op slechts één type computermodel. Ze trainden drie verschillende soorten deep learning-netwerken, elk met een eigen manier van informatieverwerking, en voerden de experimenten meer dan honderd keer uit met lichte variaties. In bijna alle gevallen wezen de modellen naar dezelfde handvol elektroden op de hoofdhuid als de belangrijkste aanwijzingen. Voor mensen die geen ongemak voelden, keken de modellen naar andere plekken, voornamelijk het midden en de achterkant van het hoofd. Maar voor degenen die zich onwel voelden, werden de linker-voor en rechter-achter gebieden het primaire focuspunt. Deze consistentie hield stand, zelfs toen de onderzoekers de manier waarop de data werd georganiseerd of de specifieke geluiden die de deelnemers hoorden, veranderden. Het feit dat twee volledig gescheiden datasets, verzameld in verschillende landen met verschillende virtual reality-headsets, hetzelfde resultaat produceerden, suggereert dat deze hersenpatronen een fundamenteel onderdeel zijn van hoe het menselijk lichaam reageert op virtuele bewegingsziekte.

De studie onthulde ook dat de timing van deze signalen cruciaal is. De hersenactiviteit die ongemak signaleerde, vond plaats in een zeer vroeg stadium van de verwerking van het geluid, lang voordat complexere gedachten over de virtuele omgeving gevormd zouden hebben. Dit suggereert dat het gevoel van ziekte door het brein wordt verwerd als een basiszintuiglijke gebeurtenis, vergelijkbaar met hoe we instantaan een hard geluid herkennen, in plaats van als een complexe emotionele reactie die tijd nodig heeft om te ontwikkelen. Door deze vroege, specifieke locaties op de hoofdhuid te identificeren, hebben de onderzoekers een duidelijk doelwit geboden voor toekomstige technologie. In plaats van te wachten tot een gebruiker misselijk wordt en dit rapporteert, zouden systemen potentieel deze specifieke hersensignalen in realtime kunnen monitoren. Als het systeem het patroon detecteert dat geassocieerd wordt met ongemak, zou het de virtuele ervaring automatisch kunnen aanpassen om de symptomen van de gebruiker te verlichten, bijvoorbeeld door de beweging te vertragen of het gezichtsveld te veranderen, nog voordat de gebruiker zelf weet dat hij zich onwel gaat voelen.

Hoewel de resultaten veelbelovend zijn, benadrukken de onderzoekers voorzichtig dat dit een startpunt is en geen afgeronde oplossing. Het brein is een complex orgaan en de elektrische signalen die vanaf de hoofdhuid worden geregistreerd, zijn een mengeling van activiteit uit vele verschillende gebieden, wat het moeilijk maakt om de exacte bron van het signaal diep in de schedel te lokaliseren. Bovendien richtte de studie zich specifiek op het gevoel van algemeen ongemak, wat slechts één aspect is van het bredere syndroom van cybersickness. De modellen werden ook getraind op relatief kleine groepen mensen, en hoewel de patronen standhielden over de twee datasets, is er meer onderzoek nodig om te bevestigen dat deze bevindingen voor iedereen gelden. Desalniettemin vormt het werk een belangrijke stap voorwaarts. Het verplaatst het vakgebied van simpelweg detecteren dat iemand ziek is naar het begrijpen van de specifieke, meetbare momenten in het brein waarop die ziekte begint, wat de deur opent naar een toekomst waarin virtual reality comfortabel kan zijn voor iedereen, niet alleen voor de enkelen die er van nature resistent tegen zijn.