Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber Ihr einziger Hinweis ist ein flackerndes, körniges Überwachungskamera-Bild. Sie suchen nicht nach einem Dieb, sondern nach einem Fahrer, der kurz davor ist, am Steuer einzuschlafen. Das ist die Welt der Fahrerüberwachungssysteme (Driver Monitoring Systems, DMS), ein Bereich der Informatik, der sich darauf konzentriert, uns sicher zu halten, indem er beobachtet, wie wir während der Fahrt aussehen. Jahrelang verließen sich diese Systeme auf einfache Tricks, wie etwa zu zählen, wie lange die Augen geschlossen bleiben, oder zu prüfen, ob man vom Kurs abkommt. Doch die wahre Geschichte wird in den winzigen, unwillkürlichen Zuckungen unserer Gesichtsmuskeln geschrieben. Wissenschaftler nennen diese winzigen Bewegungen „Action Units“ (AUs). Betrachten Sie eine AU als einen einzelnen, atomaren Muskelbefehl – wie das spezifische Zucken, das beim Gähnen auftritt, oder das subtile Anspannen der Augenlider, wenn man gegen den Schlaf ankämpft. Die Herausforderung besteht darin, dass sich die Lichtverhältnisse im Auto ständig ändern – von blendender Sonne bis hin zu völliger Dunkelheit –, der Kopf hin und her wackelt und man manchmal eine Sonnenbrille trägt. Es ist eine chaotische Umgebung, in der ein Computer ein Muskelzucken erkennen muss, das weniger als eine Sekunde dauert und oft hinter Schatten oder Glas verborgen ist.

Dieses Paper stellt eine neue Art von digitalem Detektiv vor: den „Twin Cycle Autoencoder“ (TCA). Anstatt nur eine einzelne Momentaufnahme zu betrachten, um zu erraten, wie sich ein Fahrer fühlt, nutzt dieses System zwei clevere „Schleifen“, um die Geschichte eines Gesichts über die Zeit hinweg zu lernen. Die erste Schleife, der „räumliche“ Zweig (Spatial Branch), lernt, die Muskelbewegungen zu erkennen, während sie die Identität der Person oder deren Kleidung ignoriert. Der zweite Zweig, der „zeitliche“ Zweig (Temporal Branch), fungt wie ein Zeitreise-Editor, der das Video vorwärts und dann rückwärts betrachtet, um sicherzustellen, dass die Geschichte der Bewegung in beide Richtungen Sinn ergibt. Indem das System diese beiden Schleifen dazu zwingt, sich untereinander zu einigen, lernt es, selbst die schwächsten Anzeichen von Müdigkeit, wie ein langsames Blinzeln oder einen halb geöffneten Mund, zu erkennen – selbst wenn die Kamera Schwierigkeiten hat. Die Forscher testeten dies mit Standard-Datensätzen und einem realen Fahrsimulator und fanden heraus, dass ihr „Zwillingssystem“ viel besser darin ist, diese subtilen, flüchtigen Anzeichen von Schläfrigkeit zu erfassen als ältere Methoden, und dass es schnell genug ist, um heute in einem echten Auto eingesetzt zu werden.

Das Problem: Die chaotische Fahrzeugkabine

Die Erkennung von Schläfrigkeit in einem Auto ist notorisch schwierig. In einem ruhigen Labor kann eine Kamera ein Gähnen leicht erkennen. Aber in einem fahrenden Fahrzeug ist die Welt ein Chaos aus Herausforderungen. Die Sonne könnte direkt in das Objektiv blenden, und plötzlich fährt das Auto in einen dunklen Tunnel. Der Fahrer könnte den Kopf drehen, um einen toten Winkel zu prüfen, oder eine Sonnenbrille tragen, die die Augen verbirgt. Darüber hinaus sind die Anzeichen von Erschöpfung oft unglaublich subtil. Ein Fahrer ist vielleicht noch nicht eingeschlafen; er erlebt vielleicht nur einen Mikro-Ausdruck von Müdigkeit – ein winziges Zucken der Brauen oder ein kurzes, fast unsichtbares Blinzeln. Diese Signale sind so schwach und kurzlebig, dass ältere Computermodelle, die meist nur Einzelbilder betrachten, sie oft völlig übersehen. Sie haben auch deshalb Schwierigkeiten, weil es nicht genügend gelabelte Daten gibt; es ist teuer und schwierig, tausende Stunden Videomaterial von Autofahrten zu erhalten, in denen jede einzelne Muskelbewegung von einem Experten manuell markiert wurde.

Die Lösung: Der Twin Cycle Autoencoder

Die Autoren schlagen eine Lösung namens Twin Cycle Autoencoder (TCA) vor. Um zu verstehen, wie es funktioniert, stellen Sie sich vor, Sie versuchen einem Roboter eine bestimmte Tanzbewegung beizubringen, verfügen aber nicht über ein Video des Tanzes, sondern nur über einen Haufen zufälliger Fotos.

1. Die zwei Zweige (Die Zwillinge)
Der TCA ist wie ein Paar Zwillinge aufgebaut, die sich auf unterschiedliche Fähigkeiten spezialisiert haben, aber zusammenarbeiten:

• Der räumliche Zwilling (Der „Ähnlichkeits“-Detektor): Dieser Zweig betrachtet ein einzelnes Videobild. Seine Aufgabe ist es, alles wegzustreifen, was nicht die Muskelbewegung ist. Er ignoriet die Identität des Fahrers, seine Frisur oder ob er einen Hut trägt. Er konzentriert sich rein auf die „Action Unit“ – die spezifische Muskelform. Er nutzt einen „Zyklus“-Trick: Er versucht, das Gesicht aus den Muskeldaten wieder aufzubauen. Wenn er das Gesicht korrekt rekonstruieren kann, weiß er, dass er die richtigen Muskelinformationen erfasst hat.
• Der zeitliche Zwilling (Der „Zeitreise“-Editor): Dieser Zweig betrachtet einen kurzen Clip (etwa 1,6 Sekunden lang). Er beobachtet das Gesicht, wie es sich vorwärts in der Zeit bewegt, und versucht dann, das Video rückwärts abzuspielen. Er nutzt hier ebenfalls einen „Zyklus“-Trick: Wenn die Bewegung vorwärts Sinn ergibt, sollte sie auch rückwärts Sinn ergeben. Dies hilft dem System, den Rhythmus eines Gähnens oder Blinzelns zu verstehen, anstatt nur ein statisches Bild eines Mundes zu sehen.

2. Das Handschlag-Prin Mechanismus (Latent Alignment)
Diese beiden Zwillinge arbeiten nicht isoliert. Sie sind durch einen „Handschlag“-Mechanismus verbunden. Das System zwingt das Verständnis des räumlichen Zwillings über das Gesicht zu einem bestimmten Zeitpunkt dazu, mit dem Verständnis des zeitlichen Zwillings über die Bewegung zum selben Zeitpunkt übereinzustimmen. Dies stellt sicher, dass das „Aussehen“ und die „Bewegung“ dieselbe Geschichte erzählen. Wenn der zeitliche Zwilling ein Gähnen beginnen sieht, muss der räumliche Zwling zustimmen, dass sich der Mund öffnet, selbst wenn die Beleuchtung schlecht ist.

3. Lernen ohne Lehrer (Selbstüberwachtes Lernen)
Einer der leistungsstärksten Aspekte dieses Systems ist die Art und Weise, wie es lernt. Normalerweise benötigt man, um eine KI zu trainieren, einen massiven Datensatz, in dem Menschen jede einzelne Muskelbewegung markiert haben. Aber beim Autofahren sind solche Daten knapp. Der TCA umgeht dies durch „selbstüberwachtes Lernen“ (self-supervised learning). Er kann Stunden ungelabelter Fahrvideos betrachten (in denen niemand die AUs markiert hat) und nutzt seine „Zyklus“-Tricks, um die Regeln der Gesichtsbewegung von selbst zu lernen. Er lernt, wie ein „normales“ Gesicht aussieht und wie es sich bewegt, indem er einfach das Video vorwärts und rückwärts betrachtet. Erst später nutzt er eine kleine Menge gelabelter Daten, um seine Fähigkeit zu verfeinern, spezifische Anzeichen von Erschöpfung zu erkennen.

Was sie herausgefunden haben

Die Forscher haben ihr „Zwillingssystem“ gegen mehrere andere populäre Methoden getestet, darunter Systeme, die nur Einzelbilder betrachten, Systeme, die 3D-Videofilter verwenden, und Systeme, die Graph-Netzwerke nutzen. Sie testeten es auf Standard-Benchmarks (DISFA und BP4D) sowie auf einem natürlichen Fahrdatensatz, der in einem Simulator mit echten Fahrern aufgezeichnet wurde.

• Besser im Erkennen des Subtilen: Der TCA war den anderen Methoden konsistent überlegen. Er war besonders gut darin, niederintensive oder sehr schnelle AUs zu erkennen, wie etwa AU45 (Augenschluss) und AU43 (langsames Schließen der Augen), welche Schlüsselsignale für Schläfrigkeit sind. Er funktionierte auch gut bei AU26 (Kieferöffnung), was auf Gähnen hindeutet.
• Die Macht der Zeit: Als sie den „zeitlichen“ Zweig (den Zeitreise-Editor) entfernten, sank die Leistung des Systems signifikant. Dies bewies, dass das Beobachten der Bewegung über die Zeit entscheidend ist, um Müdigkeit zu erkennen.
• Die Macht des Selbstlernens: Als sie eine Version des TCA verglichen, die ein selbstüberwachtes Pretraining (Lernen aus ungelabelten Videos) nutzte, mit einer, die dies nicht tat, war die vorgetrainierte Version deutlich besser. Dies deutet darauf hin, dass das System erfolgreich nützliche Muster aus den Stunden ungelabelter Fahrvideos gelernt hat und so die Lücke durch den Mangel an gelabelten Daten überbrückt hat.
• Reale Geschwindigkeit: Das System war nicht nur genau, sondern auch schnell. Getestet auf einem eingebetteten Computer (NVIDIA Jetson Xavier NX), der in ein Auto passen könnte, lief das System mit 28,4 Bildern pro Sekunde. Das ist schnell genug, um Echtzeit-Warnungen an einen Fahrer auszugeben, und übertrifft die 10–15 fps, die normalerweise als notwendig für Sicherheitssysteme gelten.

Die Grenzen und zukünftige Schritte

Das System ist nicht perfekt. Die Forscher stellten fest, dass das System Schwierigkeiten hatte, wenn Fahrer Sonnenbrillen trugen, insbesondere bei AUs, die mit der oberen Gesichtshälfte zusammenhängen (wie Augenbrauen oder Augenlider). Die Sonnenbrille blockierte die Sicht, und das System konnte die Bewegung nicht allein aus der unteren Gesichtshälfte „erraten“. Es blieb jedoch robust für Aktionen der unteren Gesichtshälfte wie Gähnen, da der Mund weiterhin sichtbar war.

Das Paper kommt zu dem Schluss, dass dieser „Twin Cycle“-Ansatz ein gangbarer Weg für die Fahrerüberwachung der nächsten Generation ist. Es legt nahe, dass wir durch die Kombination von räumlichen und zeitlichen Zyklen und die Nutzung von selbstüberwachtem Lernen, um das Potenzial ungelabelter Daten auszuschöpfen, Systeme bauen können, die sowohl präzise als auch praktisch für echte Autos sind. Zukünftige Arbeiten werden sich darauf konzentrieren, das System besser im Umgang mit Verdeckungen (wie Sonnenbrillen) zu machen und Gesichtssignale mit anderen Daten, wie etwa Bewegungen am Lenkrad, zu kombinieren, um ein noch klareres Bild der Ermüdung des Fahrers zu erhalten.