EEG decodability of facial expressions and their stereoscopic depth cues in immersive virtual reality
Deze studie toont aan dat hoewel immersieve virtuele realiteit met stereoscopische dieptekenmerken afwijkende neurale signaturen voor diepteverwerking oproept, de neurale representatie van gezichtsuitdrukkingen robuust en invariant blijft voor deze dieptevariaties, wat de haalbaarheid valideert van het gebruik van EEG in volledig immersieve VR om natuurlijke gezichtsperceptie te onderzoeken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Menselijke gezichten zijn de belangrijkste visuele signalen die we tegenkomen. Ze stellen ons in staat om vrienden, vreemden en de emoties die zij voelen te herkennen, vaak in een fractie van een seconde. Hoewel we veel weten over hoe het brein deze signalen verwerkt, hebben de meeste wetenschappelijke studies vertrouwd op platte, tweedimensionale afbeeldingen die op computerschermen worden getoond. Deze aanpak mist een cruciaal onderdeel van het echte zicht: diepte. In de natuurlijke wereld zien we gezichten in drie dimensies, waarbij onze twee ogen licht verschillende beelden opvangen die het brein samenvoegt om een gevoel van ruimte en vorm te creëren. Deze fusie, bekend als stereoscopische diepte, is een krachtige aanwijzing die ons helpt de wereld om ons heen te begrijpen. Toch blijft het onduidelijk of deze extra laag diepte-informatie de manier waarop het brein specifiek een glimlach, een frons of een blik van verbazing herkent verandert, of dat het brein de emotie en de diepte als afzonderlijke stromen van informatie behandelt.
Om dit te beantwoordenen, zetten onderzoekers een experiment op dat de gezichtperceptie terugbracht naar een driedimensionale wereld. Ze nodigden vierendertig deelnemers uit om een virtual reality-headset te dragen, terwijl hun hersenactiviteit werd geregistreerd met een kap van sensoren op de hoofdhuid. Binnen de virtuele wereld zagen de deelnemers door de computergegenereerde gezichten die voor hen leken te zweven. Deze gezichten toonden vier verschillende emoties: blijdschap, boosheid, verbazing en een neutrale uitdrukking. Het experiment was ontworpen met een slimme draai. Voor de helft van de proeven werden de gezichten getoond met volledige stereoscopische diepte, wat betekende dat de virtuele camera's het lichte verschil in perspectief tussen het linker- en rechteroog nabootsten, waardoor een echt 3D-effect ontstond. Voor de andere helft presenteerden de onderzoekers exact dezelfde gezichten, maar maakten ze ze plat tot een enkel, tweedimensionaal beeld, waarbij de diepte aanwijzingen werden verwijderd terwijl elk ander visueel detail identiek bleef. De taak van de deelnemers was simpelweg om naar het gezicht te kijken en vervolgens te identificeren welke emotie het liet zien.
De onderzoekers gebruikten een methode genaamd multivariate decodering om de hersensignalen te analyseren. In plaats van te zoeken naar een enkele piek in activiteit op een specifiek moment, kijkt deze techniek naar het complexe patroon van elektrische activiteit over het gehele brein om te zien of het genoeg informatie bevat om de ene emotie van de andere te onderscheiden. De resultaten waren duidelijk en robuust: de hersensignalen bevatten betrouwbaar informatie over welke emotie de deelnemer zag. De onderzoekers konden succesvol een blijend gezicht van een boos gezicht onderscheiden, of een verrast gezicht van een neutraal gezicht, gebaseerd uitsluitend op de elektrische patronen die van de hoofdhuid werden geregistreerd. Dit bevestigde dat zelfs met de toegevoegde complexiteit van een virtual reality-headset, de respons van het brein op gezichtsuitdrukkingen sterk genoeg is om te worden gemeten en gedecodeerd.
De meest significante bevinding was echter wat er gebeurde toen de onderzoekers de twee kijkcondities vergeleken. Ze verwachtten dat het zien van een gezicht in volledig 3D de manier waarop het brein de emotie verwerkt zou kunnen veranderen, bijvoorbeeld door de herkenning sneller te maken of het hersensignaal sterker te maken. In plaats daarvan kwamen ze erachter dat het vermogen van het brein om de emotie te decoderen precies hetzelfde was, of het gezicht nu in 3D of in 2D werd bekeken. De aanwezigheid van stereoscopische diepte veranderde de neurale signatuur van de emotie niet. Het brein leek de emotionele uitdrukking te behandelen als een stabiel kenmerk dat constant bleef, ongeacht de diepte-aanwijzingen. Dit suggereert dat het brein, voor duidelijke, statische gezichten die van voren worden bekeken, de emotionele betekenis onafhankelijk van de ruimtelijke diepte-informatie extraheert.
De studie onderzocht ook of het brein het verschil tussen de 3D- en 2D-condities überhaupt kon waarnemen. Dat kon het. Wanneer de onderzoekers een decoder trainden die specifiek op zoek was naar diepte-aanwijzingen, vonden ze een duidelijk patroon in de hersensignalen dat al heel vroeg verscheen, binnen een fractie van een seconde nadat het gezicht verscheen. Dit patroon toonde aan dat het brein de diepte-informatie inderdaad verwerkte, maar dat het dit deed op een manier die de verwerking van de emotie niet verstoorde of veranderde. De twee soorten informatie — diepte en expressie — waren gelijktijdig aanwezig in het brein, maar leken door afzonderlijke mechanismen te worden afgehandeld.
Om er zeker van te zijn dat deze bevindingen niet slechts een artefact waren van de elektrische signalen van het brein, volgden de onderzoekers ook de oogbewegingen van de deelnemers. Ze ontdekten dat hoewel de ogen van mensen weliswaar iets anders bewogen afhankelijk van de emotie, deze oogbewegingen de hersensignalen niet verklaarden. Het brein decodeerde de emotie nog voordat de ogen zelfs maar bewogen om zich op specifieke kenmerken te concentreren, en de hersensignalen bevatten informatie over de diepte van het gezicht die de oogbewegingen niet bevatten. Dit bevestigde dat de resultaten een ware reflectie waren van hoe het brein de visuele wereld verwerkt, en niet slechts een registratie van waar de ogen toevallig naar wezen.
Uiteindelijk toont dit werk aan dat we het menselijk brein nu in een veel natuurlijkere, driedimensionale omgeving kunnen bestuderen zonder de precisie van traditionele laboratoriummethoden te verliezen. Het onthult dat hoewel ons brein gevoelig is voor de diepte van een gezicht, de kernrepresentatie van een gezichtsuitdrukking opmerkelijk stabiel blijft. Of we nu de glimlach van een vriend zien in een platte foto of in een driedimensionale ruimte, de fundamentele code van het brein voor die emotie lijkt hetzelfde te blijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.