EEG decodability of facial expressions and their stereoscopic depth cues in immersive virtual reality
Diese Studie zeigt, dass die immersive virtuelle Realität mit stereoskopischen Tiefenhinweisen zwar distinkte neuronale Signaturen für die Tiefenverarbeitung hervorruft, die neuronale Repräsentation von Gesichtsausdrücken jedoch robust und invariant gegenüber diesen Tiefenvariationen bleibt, was die Durchführbarkeit der Verwendung von EEG in voll immersiver VR zur Untersuchung der natürlichen Gesichtswahrnehmung validiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Menschliche Gesichter sind die wichtigsten visuellen Signale, denen wir begegnen. Sie ermöglichen es uns, Freunde, Fremde und die Emotionen, die sie empfinden, zu erkennen, oft in einem Bruchteil einer Sekunde. Obwohl wir viel darüber wissen, wie das Gehirn diese Signale verarbeitet, haben sich die meisten wissenschaftlichen Studien auf flache, zweidimensionale Bilder verlassen, die auf Computerbildschirmen gezeigt werden. Dieser Ansatz übersieht einen entscheidenden Teil der realen Wahrnehmung: die Tiefe. In der natürlichen Welt sehen wir Gesichter in drei Dimensionen, wobei unsere zwei Augen leicht unterschiedliche Bilder erfassen, die das Gein zusammenfügt, um ein Gefühl von Raum und Form zu erzeugen. Diese Verschmelzung, bekannt als stereoskopische Tiefe, ist ein mächtiger Hinweis, der uns hilft, die Welt um uns herum zu verstehen. Dennoch bleibt unklar, ob diese zusätzliche Ebene der Tiefeninformation die Art und Weise verändert, wie das Gehirn spezifisch ein Lächeln, ein Stirnrunzeln oder einen Ausdruck der Überraschung erkennt, oder ob das Gehirn die Emotion und die Tiefe als separate Informationsströme verarbeitet.
Um dies zu beantworten, setzten Forscher ein Experiment auf, das die Gesichtswahrnehmung zurück in eine dreidimensionale Welt brachte. Sie luden vierunddreißig Teilnehmer ein, eine Virtual-Reality-Brille zu tragen, während ihre Gehirnaktivität mithilfe einer Kappe aus Sensoren auf der Kopfhaut aufgezeichnet wurde. In der virtuellen Welt sahen die Teilnehmer computergenerierte Gesichter, die vor ihnen zu schweben schienen. Diese Gesichter zeigten vier verschiedene Emotionen: Freude, Wut, Überraschung und einen neutralen Ausdruck. Das Experiment war mit einer klugen Wendung gestaltet. Für die Hälfte der Durchgänge wurden die Gesichter mit voller stereoskopischer Tiefe gezeigt, was bedeutete, dass die virtuellen Kameras den leichten Unterschied in der Ansicht zwischen dem linken und dem rechten Auge nachahmten, wodurch ein echter 3D-Effekt entstand. Für die andere Hälfte präsentierten die Forscher exakt dieselben Gesichter, flachten sie jedoch zu einem einzigen, zweidimensionalen Bild ab und entfernten dabei die Tiefenhinweise, während alle anderen visuellen Details identisch blieben. Die Aufgabe der Teilnehmer bestand schlicht darin, das Gesicht anzusehen und dann zu identifizieren, welche Emotion es zeigte.
Die Forscher verwendeten eine Methode namens multivariate Dekodierung, um die Gehirnsignale zu analysieren. Anstatt nach einem einzelnen Ausschlag der Aktivität zu einem bestimmten Zeitpunkt zu suchen, untersucht diese Technik das komplexe Muster der elektrischen Aktivität im gesamten Gehirn, um zu sehen, ob es über genügend Informationen verfügt, um eine Emotion von einer anderen zu unterscheiden. Die Ergebnisse waren klar und robust: Die Gehirnsignale enthielten zuverlässig Informationen darüber, welche Emotion der Teilnehmer sah. Den Forschern gelang es, allein basierend auf den von der Kopfhaut aufgezeichneten elektrischen Mustern, zwischen einem glücklichen und einem wütenden Gesicht oder einem überraschten und einem neutralen Gesicht zu unterscheiden. Dies bestätigte, dass die Reaktion des Gehirns auf Gesichtsausdrücke selbst mit der zusätzlichen Komplexität einer Virtual-Reality-Brille stark genug ist, um gemessen und dekodiert zu werden.
Der bedeutendste Befund war jedoch, was geschah, wenn die Forscher die beiden Betrachtungsbedingungen verglichen. Sie hatten erwartet, dass das Sehen eines Gesichts in vollem 3D die Art und Weise verändern könnte, wie das Gehirn die Emotion verarbeitet, etwa indem es die Erkennung schneller oder das Gehirnsignal stärker macht. Stattdessen fanden sie heraus, dass die Fähigkeit des Gebrühns, die Emotion zu dekodieren, genau dieselbe war, egal ob das Gesicht in 3D oder 2D dargestellt wurde. Die Anwesenheit stereoskopischer Tiefe veränderte das neuronale Signal der Emotion nicht. Das Gehirn schien den emotionalen Ausdruck als ein stabiles Merkmal zu behandeln, das unabhängig von den Tiefenhinweisen konstant bleibt. Dies deutet darauf darauf hin, dass das Gehirn für klare, statische Gesichter, die von vorne betrachtet werden, die emotionale Bedeutung unabhängig von den räumlichen Tiefeninformationen extrahiert.
Die Studie untersuchte auch, ob das Gehirn den Unterschied zwischen den 3D- und 2D-Bedingungen überhaupt bemerken konnte. Das konnte es. Als die Forscher einen Decoder trainierten, der speziell auf Tiefenhinweise spezialisiert war, fanden sie ein deutliches Muster in den Gehirnsignalen, das sehr früh auftrat, innerhalb eines Bruchteils einer Sekunde, nachdem das Gesicht erschienen war. Dieses Muster zeigte, dass das Gehirn die Tiefeninformation tatsächlich verarbeitete, dies jedoch auf eine Weise tat, die die Verarbeitung der Emotion nicht störte oder veränderte. Die beiden Arten von Informationen – Tiefe und Ausdruck – waren gleichzeitig im Gehirn vorhanden, schienen aber von separaten Mechanismen gehandhabt zu werden.
Um sicherzustellen, dass diese Erkenntnisse nicht bloß ein Artefakt der elektrischen Signale des Gehirns waren, verfolgten die Forscher auch, wohin die Teilnehmer blickten. Sie fanden heraus, dass sich die Augen zwar je nach Emotion leicht unterschiedlich bewegten, diese Augenbewegungen jedoch die Gehirnsignale nicht erklärten. Das Gehirn dekodierte die Emotion, noch bevor die Augen sich bewegten, um auf bestimmte Merkmale zu fokussieren, und die Gehirnsignale enthielten Informationen über die Tiefe des Gesichts, die die Augenbewegungen nicht enthielten. Dies bestätigte, dass die Ergebnisse ein wahres Abbild dessen waren, wie das Gehirn die visuelle Welt verarbeitet, und nicht nur eine Aufzeichnung dessen, wohin die Augen zufällig blickten.
Letztendlich zeigt diese Arbeit, dass wir das menschliche Gehirn nun in einer viel natürlicheren, dreidimensionalen Umgebung untersuchen können, ohne die Präzision traditioneller Labormethoden zu verlieren. Sie verdeutlicht, dass unser Gehirn zwar sensibel für die Tiefe eines Gesichts ist, die Kernrepräsentation eines Gesichtsausdrucks jedoch bemerkenswert stabil bleibt. Ob wir das Lächeln eines Freundes in einer flachen Fotografie oder in einem dreidimensionalen Raum sehen, der grundlegende Code des Gehirns für diese Emotion scheint derselbe zu bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.