Real-Time Driver Emotion Detection Using Convolutional Neural Network and Computer Vision for Road Safety.

Das Autofahren ist ein Akt ständiger, stiller Verhandlung zwischen einem Menschen und einer Maschine. Seit Jahrzehnten konzentriert sich die Technologie, die uns schützen soll, fast ausschließlich auf die Maschine und die Straße. Sensoren beobachten die Reifen, Kameras scannen die Fahrbahnmarkierungen und Radar verfolgt das Fahrzeug vor einem. Doch die kritischste Variable in jedem Fahrzeug bleibt der Mensch hinter dem Steuer, insbesondere sein innerer Zustand. Wenn ein Fahrer wütend, gestresst oder erschöpft ist, lässt seine Konzentrationsfähigkeit nach und seine Reaktionszeit verlangsamt sich, was einen routinemäßigen Arbeitsweg in eine potenzielle Gefahr verwandelt. Während Systeme existieren, um Müdigkeit durch die Verfolgung von Augenbewegungen oder Gähnen zu erkennen, wächst die Erkenntnis, dass das gesamte Spektrum menschlicher Emotionen eine Rolle für die Sicherheit spielt. Die Frage ist nicht mehr nur, ob ein Fahrer wach ist, sondern ob er emotional in der Lage ist, sicher zu fahren.

Eine aktuelle Studie von Mayuri Salunke untersucht einen neuen Weg, um diese Frage zu beantworten, indem sie einen Prototyp eines Systems entwickelt, das das Gesicht des Fahrers beobachtet, um dessen Stimmung zu erraten. Die Arbeit behauptet nicht, das Problem der Verkehrssicherheit gelöst zu haben, noch präsentiert sie ein fertiges Produkt, das heute in Autos einsatzbereit wäre. Stattdessen bietet sie einen vorläufigen Blick darauf, ob eine einfache Kombination bestehender Werkzeuge in Echtzeit funktionieren kann. Die Forscher konstruierten eine Pipeline, die einen Videostream aufnimmt, das Gesicht des Fahrers findet und dann ein digitales Gehirn, bekannt als ein faltendes neuronales Netzwerk (Convolutional Neural Network), verwendet, um zu klassifizieren, was dieses Gesicht ausdrückt. Dieses digitale Gehirn wurde mit Tausenden von Bildern trainiert, um sieben grundlegende menschliche Gefühle zu erkennen: Wut, Ekel, Angst, Freude, Traurigkeit, Überraschung und einen neutralen Zustand. Das System entscheidet dann, ob die Emotion, die es sieht, sicher oder gefährlich ist. In diesem spezifischen Design werden Freude, Überraschung und ein neutraler Blick als sicher betrachtet, während Wut, Traurigkeit, Angst und Ekel als potenziell unsicher eingestuft werden.

Die Forscher verstanden jedoch, dass ein Computer Fehler machen kann und sich ein menschliches Gesicht in einem Sekundenbruchteil verändern kann. Wenn das System bei jedem flüchtigen Stirnrunzeln oder jedem vorübergehenden Anflug von Wut einen Alarm auslösen würde, wäre es nutzlos. Um dies zu lösen, enthält der Prototyp eine Regel, die einzelne Frames ignoriert. Er wartet ab, ob eine unsichere Emotion über einen festgelegten Zeitraum anhält, bevor er einen Alarm auslöst. Dieser Ansatz behandelt den Alarm nicht als Reaktion auf ein einzelnes Bild, sondern als Reaktion auf einen anhaltenden Zustand. Das gesamte System wurde mit Standardsoftware erstellt und lief auf einem gewöhnlichen Computerprozessor, ohne die Notwendigkeit für spezialisierte, teure Hardware. Das Ziel war es zu sehen, ob ein solch leichtgewichtiges System mit der Geschwindigkeit eines Videostreams mithalten kann, während es gleichzeitig diese komplexen Entscheidungen trifft.

Um ihre Idee zu testen, ließ das Team die Software über einen kurzen Videoclip laufen, der eine Person zeigt, die vor einer Kamera sitzt. Das Video enthielt 115 Frames, und das System lokalisierte das Gesicht in 114 davon erfolgreich. Sobald das Gesicht gefunden wurde, analysierte die Software den Gesichtsausdruck und zeichnete das Ergebnis auf. Das System verarbeitete das Video mit einer Geschwindigkeit von etwa 14,7 Bildern pro Sekunde, was etwas langsamer ist als die ursprüngliche Geschwindigkeit des Videos von 24,7 Bildern pro Sekunde. In diesem spezifischen Test sagte der Computer voraus, dass die Person die meiste Zeit des Clips glücklich war, identifizierte aber auch Momente von Traurigkeit und Wut. Entscheidend war, dass diese „unsicheren“ Vorhersagen nur in sehr kurzen Intervallen auftraten, weshalb die Regel des Systems keinen Alarm auslöste. Der Auslösemechanismus wurde erst während eines separaten, kontrollierten Tests aktiviert, bei dem die Forscher dem System wiederholt dasselbe „traurige“ Bild für zwei Sekunden einspeisten, was bewies, dass die Zeitlogik wie beabsichtigt funktionierte.

Die Ergebnisse dieser Studie sind streng vorläufig. Die Forscher betonten vorsichtig, dass sie nicht wussten, ob die Vermutungen des Computers über die Emotionen der Person tatsächlich korrekt waren, da das verwendete Video keine Labels zur Verifizierung der Wahrheit enthielt. Die Person im Video fuhr kein Auto, und Lichtverhältnisse sowie Blickwinkel entsprachen nicht denen einer echten Straße. Zudem konnte das System keine Müdigkeit oder Erschöpfung direkt erkennen, da das spezifische digitale Gehirn, das sie verwendeten, nicht darauf trainiert war, solche Zustände zu erkennen. Darüber hinaus hatte das System leichte Schwierigkeiten mit der Geschwindigkeit des Videos, was darauf hindeutet, dass es in einem echten Auto möglicherweise einige Frames überspringen müsste, um Schritt zu halten. Der Autor betont, dass diese Arbeit ein Proof of Concept ist, der zeigt, dass die Teile zusammengebaut und auf gewöhnlicher Hardware betrieben werden können, aber noch kein zuverlässiges Werkzeug für das reale Autofahren darstellt.

Trotz dieser Einschränkungen demonstriert das Experiment einen klaren Weg nach vorn. Es zeigt, dass es möglich ist, Gesichtserkennung, Emotionsklassifizierung und eine Logikregel, die auf einen anhaltenden Zustand wartet, in einem einzigen, funktionierenden System zu kombinieren. Die Studie legt nahe, dass die Technologie zwar noch nicht bereit ist, das menschliche Urteilsvermögen oder bestehende Sicherheitsmerkmale zu ersetzen, die grundlegende Architektur jedoch machbar ist. Zukünftige Arbeiten müssen das System an echten Fahrern in echten Fahrzeugen testen, die Genauigkeit der Emotionserkennung verbessern und bessere Wege finden, um die Herausforderungen eines fahrenden Autos zu bewältigen. Für den Moment stellt die Forschung einen leisen Schritt in Richtung einer Zukunft dar, in der Autos eines Tages vielleicht nicht nur die Straße, sondern auch den Menschen verstehen könnten, der sie fährt.