DGCSA: Dynamic graph convolution with self-attention for EEG-based attention recognition in VR and 2D environment

Der menschliche Geist ist ein Meister der Konzentration, doch diese Konzentration ist zerbrechlich und wird leicht durch den Lärm der modernen Welt abgelenkt. Für Pädagogen und Trainer war es lange Zeit ein Ratespiel, genau zu wissen, wann ein Schüler wirklich engagiert ist und wann sein Geist abgeschweift ist – ein Spiel, das auf der Beobachtung der Körpersprache oder der Befragung durch Selbstberichte beruhte. Um dies zu lösen, haben sich Wissenschaftler dem Gehirn selbst zugewandt und eine Methode namens Elektroenzephalografie, kurz EEG, eingesetzt. Diese Technik beinhaltet das Platzieren einer Kappe mit Sensoren auf der Kopfhaut, um dem leisen elektrischen Flüstern von Milliarden von Neuronen zuzuhören, die im Gleichklang feuern. Während die elektrische Aktivität des Gehirns unglaublich schnell und komplex ist, enthält sie eine direkte Aufzeichnung unseres mentalen Zustands. Die Herausforderung bestand bisher darin, dieses chaotische Rauschen in ein klares Signal zu übersetzen: Ist die Person aufmerksam oder ist sie in Gedanken verloren?

Ein Team von Forschern der Xi'an Shiyou University und der Monash University hat einen neuen Weg entwickelt, um diese Signale zu dekodieren, speziell um das Aufmerksamkeitsniveau sowohl in traditionellen als auch in virtuellen Lernumgebungen zu messen. Sie entwickelten ein System, das das Gehirn nicht als eine Sammlung isolierter Teile betrachtet, sondern als ein dynamisches Netzwerk, in dem verschiedene Regionen ständig miteinander kommunizieren. Durch die Kombination dieser Netzwerkansicht mit einer Methode, die die Bedeutung verschiedener Gehirnrhythmen gewichtet, bauten sie ein Werkzeug, das mit bemerkenswerter Präzision zwischen niedriger, mittlerer und hoher Aufmerksamkeit unterscheiden kann. Ihre Arbeit bietet zudem einen seltenen Einblick in das Gehirn, um zu sehen, ob Virtual Reality – die immersiven digitalen Welten, die oft für das Training genutzt werden – tatsächlich dabei hilft, die Menschen besser zu fokussieren als ein herkömmlicher Computerbildschirm.

Die Forscher begannen damit, Daten von zwanzig Universitätsstudenten zu sammeln, die eine 64-Sensor-Kappe trugen, während sie eine spezifische mentale Aufgabe ausführten, die als Schulte-Gitter bekannt ist. Bei dieser Übung mussten die Teilnehmer Zahlen von eins bis fünfundzwanzig finden und anklicken, während diese in einem zufälligen Gitter auf einem Bildschirm erschienen. Die Geschwindigkeit und Genauigkeit ihrer Klicks dienten als zuverlässiger Indikator für ihren mentalen Zustand. Das Team kategorisierte die Leistung der Teilnehmer in drei Stufen: niedrige Aufmerksamkeit, bei der sie mit geschlossenen Augen ruhten; mittlere Aufmerksamkeit, bei der sie die Aufgabe mit einigen Fehlern oder langsamerer Geschwindigkeit bewältigten; und hohe Aufmerksamkeit, bei der sie die Aufgabe schnell und perfekt abschlossen. Um sicherzustellen, dass die Daten robust waren, führten die Studenten diese Aufgaben in zwei verschiedenen Umgebungen durch: einem standardmäßigen 2D-Bildschirm und einer voll immersiven Virtual-Reality-Umgebung, in der sie ein Headset trugen und sich in einer 3D-Welt umsahen.

Um die gewaltige Menge an gesammelten elektrischen Daten zu verstehen, entwickelte das Team ein hochentwickeltes Computermodell, das sie DGCSA nennen. Traditionelle Methoden analysieren Gehirnsignale oft, indem sie diese in einfache Frequenzbänder zerlegen, wie etwa tiefe Grollgeräusche oder hochfrequentes Summen, und dann versuchen, den mentalen Zustand basierend auf diesen isolierten Klängen zu erraten. Dieser neue Ansatz ist anders, weil er versteht, dass das Gehirn als ein verbundenes System arbeitet. Das Modell analysiert zuerst die Stärke und Komplexität der elektrischen Signale über verschiedene Frequenzen hinweg und gibt den spezifischen Arten von Gehirnwellen, die am nützlichsten sind, um Aufmerksamkeit voneinander zu unterscheiden, ein höheres Gewicht. Es bildet dann ab, wie die verschiedenen Sensoren auf der Kappe miteinander verbunden sind, jedoch mit einer entscheidenden Wendung: Anstatt davon auszugehen, dass diese Verbindungen feststehen, lernt das Modell, wie sie sich in Echtzeit verändern, wenn das Gehirn den Fokus verschiebt. Schließlich verwendet es einen Mechanismus, der wie ein Scheinwerfer wirkt, der die wichtigsten Verbindungen hervorhebt und das Rauschen ignoriert, wodurch es das große Ganze dessen sehen kann, was das Gehirn tut.

Als die Forscher dieses neue System testeten, waren die Ergebnisse beeindruckend. Das Modell identifizierte das Aufmerksamkeitsniveau in 91,67 Prozent der Fälle korrekt, was eine signifikante Verbesserung gegenüber älteren Methoden darstellt, die auf einfacheren mathematischen Regeln oder Standard-Deep-Learning-Modellen basierten. Es war besonders gut darin, zu erkennen, wann ein Student voll engagiert war, wobei es jeden einzelnen Fall von hoher Aufmerksamkeit in der Testgruppe korrekt identifizierte. Die Studie zeigte auch, dass sich die Art und Weise, wie sich das Gehirn verbindet, je nach Umgebung verändert. In der Virtual-Reality-Umgebung detektierte das Modell ein stabileres und konsistenteres Konzentrationsmuster im Vergleich zum flachen 2D-Bildschirm.

Die Daten zeigten, dass Studenten in der Virtual-Reality-Umgebung ein höheres Maß an Aufmerksamkeit aufrechterhielten und weniger Schwankungen in ihrer Konzentration erlebten als diejenigen, die mit dem 2D-Bildschirm arbeiteten. Eine statistische Analyse bestätigte, dass dieser Unterschied nicht auf Zufall beruhte; die immersive Natur der virtuellen Welt schien die Aufmerksamkeit der Studenten effektiver zu verankern. Durch die Betrachtung der spezifischen Muster der Gehirnwellen fanden die Forscher heraus, dass die virtuelle Umgebung eine deutliche Reaktion in den visuellen und räumlichen Verarbeitungsbereichen des Gehirns auslöste, was darauf hindeutet, dass das Gehirn härter arbeitete, um die reichhaltigen 3D-Informationen zu integrieren, die es erhielt. Dieses gesteigerte Engagement spiegelte sich in der elektrischen Aktivität des Gehirns wider, die ein klareres, organisierteres Signal zeigte, wenn die Studenten in der virtuellen Welt waren.

Die Studie befasste sich auch mit einer häufigen Einschränkung früherer Forschungen, die oft Schwierigkeiten hatten, verschiedene Arten von Gehirndaten effektiv zu kombinieren. Durch die Verwendung eines intelligenten Gewichtungssystems konnte das neue Modell Informationen über die Stärke der Gehirnwellen mit Informationen über deren Komplexität verknüpfen und so ein reichhaltigeres Bild des mentalen Zustands erstellen. Dieser Ansatz ermöglichte es dem System, sich an die einzigartige Funktionsweise jedes einzelnen Gehirns anzupassen, anstatt alle Gehirne in ein einziges, starres Schema zu pressen. Die Forscher merkten an, dass das System zwar hochpräzise war, es jedoch gelegentlich Momente niedriger Aufmerksamkeit mit Momenten hoher Aufmerksamkeit verwechselte, da kurze Ausbrüche von Wachsamkeit in kurzen Daten-Snapshots ähnlich aussehen können wie anhaltender Fokus.

Letztendlich liefert diese Arbeit ein leistungsfähiges neues Werkzeug zum Verständnis dessen, wie wir lernen. Sie zeigt, dass Virtual Reality nicht nur eine Neuheit ist, sondern ein Medium, das das kognitive Engagement tatsächlich verbessern kann – eine Erkenntnis, die durch die klaren, messbaren Veränderungen der Gehirnaktivität gestützt wird. Das neue Modell bietet eine Möglichkeit, Aufmerksamkeit objektiv in Echtzeit zu verfolgen, was eines Tages Pädagogen helfen könnte, ihre Lehrmethoden unmittelbar anzupassen, oder Designern dabei helfen könnte, Trainingssimulationen zu entwickeln, die Lernende tief involviert halten. Die Forschung bestätigt, dass wir, wenn wir in eine virtuelle Welt eintreten, nicht nur zusehen; wir engagieren uns, verbinden uns und konzentrieren uns auf eine Weise, die sich deutlich vom Betrachten eines flachen Bildschirms unterscheidet, was einen vielversprechenden Weg für die Zukunft der Bildung und Ausbildung eröffnet.