Fatigue Driving Detection Based On Multimodal EEG Feature Fusion

Jedes Mal, wenn ein Fahrer hinter dem Steuer sitzt, ist sein Gehirn in einen komplexen, kontinuierlichen Dialog mit der Straße vertieft. Dieser interne Dialog stützt sich auf elektrische Signale, die durch das Nervensystem fließen und sich in Rhythmus und Intensität verändern, während die Wachsamkeit nachlässt und die Müdigkeit einsetzt. Seit Jahrzehnten wissen Wissenschaftler, dass diese elektrischen Muster, die als Gehirnwellen vom Skalp aufgezeichnet werden, den Schlüssel zum Verständnis des Geisteszustands eines Fahrers darstellen. Es hat sich jedoch als schwierig erwiesen, diese subtilen, schwankenden Signale in ein zuverlässiges Warnsystem zu übersetzen. Die Signale sind unordentlich, ändern sich von Person zu Person und Moment zu Moment, und traditionelle Methoden haben oft Schwierigkeiten, das Rauschen sinnvoll zu interpretieren. Da die Zahl der Fahrzeuge auf den globalen Straßen stetig steigt, ist der Bedarf an einem System, das genau erkennen kann, wann ein Fahrer zu müde ist, um weiterzufahren, zu einer kritischen Sicherheitspriorität geworden.

Ein Team von Forschern aus mehreren Institutionen in China hat einen neuen Ansatz für dieses Problem vorgeschlagen, der sich von einer einfachen, einstufigen Erkennung hin zu einem umfassenderen System bewegt. Ihre Arbeit, die in einer kürzlich veröffentlichten Studie vorgestellt wurde, führt ein Modell ein, das darauf ausgelegt ist, das Gehirn auf drei verschiedene Arten gleichzeitig „zuzuhören“. Anstatt sich nur auf eine Art der Analyse zu verlassen, untersucht das System die Gehirnwellen durch die Linse der Zeit, durch ihre stabilen Muster und durch ihre räumliche Anordnung über die Kopfhaut hinweg. Durch die Kombination dieser drei verschiedenen Perspektiven zielten die Forscher darauf ab, einen Detektor zu schaffen, der nicht nur genauer, sondern auch widerstandsfähiger gegenüber der unvorhersehbaren Natur der menschlichen Gehirnaktivität ist.

Der Kern ihrer Innovation liegt darin, wie das System Informationen verarbeitet. Stellen Sie sich die elektrische Aktivität des Gehirns als eine weite, sich ständig verändernde Landschaft vor. Die Forscher bauten ein digitales Gerüst, das diese Landschaft aus drei verschiedenen Blickwinkeln betrachtet. Zuerst erstellten sie eine Komponente, die verfolgt, wie sich die Signale im Laufe der Zeit verändern, ganz ähnlich wie man einen Film schaut, um die Entwicklung einer Geschichte zu verstehen. Dieser Teil des Systems ist darauf ausgelegt, die schnellen Veränderungen der Gehirnaktivität zu erfassen, die auftreten, wenn ein Fahrer von Wachsamkeit in Schläfrigkeit gleitet. Er verwendet eine spezialisierte Art von Netzwerk, das die Daten sowohl vorwärts als auch rückwärts in der Zeit betrachten kann, um sicherzustellen, dass der volle Kontext des Geisteszustands des Fahrers ohne Verlust wichtiger Details erfasst wird.

Zweitens enthält das System ein Modul, das sich auf Muster konzentriert, die konsistent bleiben, unabhängig davon, wann sie auftreten. Dieser Teil fungt wie ein Filter, der die flüchtigen Momente ignoriert und die zugrunde liegende Struktur der Reaktion des Gehirns auf Ermüdung hervorhebt. Er verwendet eine Technik, die ihre eigene Sensibilität anpasst, wodurch es möglich wird, verschiedene Teile des Signals basierend auf ihrer Bedeutung zu gewichten. Dies stellt sicher, dass das System den relevantesten Merkmalen Aufmerksamkeit schenkt, selbst wenn das Signal verrauscht oder unvollständig ist. Schließlich untersucht die dritte Komponente die räumlichen und frequenzbezogenen Eigenschaften der Signale. Dies ist vergleichbar mit dem Betrachten des Terrains der Landschaft, um zu sehen, wie die Signale über die Oberfläche des Gehirns verteilt sind und mit welcher Geschwindigkeit sie vibrieren. Durch die Analyse dieser physischen und rhythmischen Eigenschaften gewinnt das System ein tieferes Verständnis des Zustands des Fahrers.

Um dieses System zu trainieren, sahen sich die Forscher mit einer häufigen Herausforderung bei medizinischen und sicherheitsrelevanten Daten konfrontiert: einem Mangel an ausreichenden Beispielen müder Fahrer, um dem Computer beizubringen, wonach er suchen muss. Um dies zu lösen, verwendeten sie eine Methode, um zusätzliche, realistische Beispiele von Ermüdungssignalen zu generieren, wodurch sie den Datensatz effektiv ausbalancierten, damit das Modell aus einer Vielzahl von Szenarien lernen konnte. Sie testeten ihre Kreation unter Verwendung einer bekannten Sammlung von Gehirnwellenaufzeichnungen von Fahrern in einer simulierten Umgebung. Dieser Datensatz enthielt stundenlange Aufzeichnungen von Dutzenden von Personen und bot somit eine robuste Grundlage für die Evaluierung.

Die Ergebnisse ihrer Tests waren eindeutig. Das neue System, das sie MEFD-Net nannten, übertraf bestehende Methoden, die sich auf eine einzige Art der Analyse oder ältere Deep-Learning-Techniken verlassen. In ihren Experimenten erreichte das Modell eine Genauigkeitsrate von etwa 82,6 Prozent und identifizierte Ermüdungszustände häufiger als bisherige Algorithmen. Es zeigte auch eine signifikante Verbesserung in der Fähigkeit, jeden Fall von Ermüdung zu erfassen, wodurch die Anzahl der übersehenen Erkennungen reduziert wurde. Im Vergleich zu anderen populären Modellen, die in diesem Bereich eingesetzt werden, lieferte der neue Ansatz konsistent höhere Werte über mehrere Leistungsmaße hinweg.

Die Forscher betonten, dass der Erfolg ihres Modells daraus resultiert, wie diese drei verschiedenen Ansichten des Gehirns miteinander verschmolzen werden. Durch die Integration der zeitbasierten Veränderungen, der stabilen Muster und der räumlich-frequenten Details erzeugt das System ein viel reichhaltigeres Bild des Zustands des Fahrers, als es jede einzelne Methode für sich allein leisten könnte. Dieser mehrschichtige Ansatz ermöglicht es dem Modell, die komplexe, nicht-lineare Natur der Gehirnsignale effektiver zu handhaben, wodurch es weniger wahrscheinlich durch zufälliges Rauschen oder individuelle Unterschiede zwischen den Fahrern getäuscht wird.

Während die Studie einen bedeutenden Schritt nach vorn in der Technologie der Ermüdungserkennung darstellt, merken die Forscher an, dass ihre Arbeit ein Fundament für zukünftige Entwicklungen ist. Das aktuelle Modell wurde in einer kontrollierten Umgebung unter Verwendung von simulierten Fahrdaten getestet. Die nächsten Schritte bestehen darin, das System so zu verfeinern, dass es in Echtzeit unter realen Fahrbedingungen funktioniert, und es klein und effizient genug zu machen, um in alltäglichen Fahrzeugen eingesetzt werden zu können. Das Ziel ist es, von einem leistungsstarken Labortool zu einem praktischen Sicherheitsgerät zu werden, das Unfälle aktiv verhindern kann, indem es die subtilen Zeichen der Erschöpfung erkennt, bevor sie zu einem Unfall führen. Durch diese Arbeit haben die Experten gezeigt, dass wir, indem wir dem Gehirn auf mehrere Arten gleichzeitig zuhören, eine sicherere Zukunft für alle auf der Straße bauen können.