Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, zu erkennen, wann ein Mensch am Steuer kurz vor dem Einschlafen ist. Sie geben dem Roboter eine Kamera, eine Smartwatch und einen Sensors im Armaturenbrett, um den Fahrer zu beobachten. Aber hier ist der knifflige Teil: Wenn Sie nicht vorsichtig sind, könnte der Roboter auf Abkürzungen zurückgreifen. Er könnte lernen, das spezifische Gesicht des Fahrers oder die spezifische Straße, auf der er fährt, zu erkennen, anstatt tatsächlich zu lernen, wie „schläfrig“ aussieht. Es ist so, als würde man für eine Mathearbeit lernen, indem man die Antworten auf die Übungsaufgaben auswendig lernt, anstatt die Formeln zu verstehen. Wenn sich die Testfragen auch nur ein wenig ändern, versagt der Roboter. Dies ist das Problem des „Data Leakage“ (Datenleckage) in der Künstlichen Intelligenz.

Um ein wirklich sicheres System zu bauen, müssen wir sicherstellen, dass der Roboter die universellen Anzeichen von Müdigkeit lernt – wie schwere Augenlider, langsame Reaktionen oder Veränderungen der Herzfrequenz –, damit er bei jedem Fahrer auf jeder Straße funktionieren kann, auch auf solchen, die er noch nie gesehen hat. Wir müssen auch sicherstellen, dass der Roboter nicht einfach nur „wach“ oder „schlafend“ rät, sondern uns sagen kann, wie sicher er sich ist. Wenn der Robot zu 99 % sicher ist, dass der Fahrer schläft, wollen wir dieser Zahl vertrauen können. Dieses Paper taucht tief in diese Fragen ein und agiert wie ein strenger Schiedsrichter, um zu prüfen, ob frühere Behauptungen über Detektoren für schläfriges Fahren tatsächlich fair waren oder ob sie nur auf glücklichen Vermutungen basierten, die auf der Nutzung von Abkürzungen beruhten.

---

Das große Audit der Müdigkeits-Detektive

In dieser Studie beschlossen Forscher, die Rolle von „Leakage-Detektiven“ zu übernehmen. Sie nahmen zwei massive Datensammlungen – eine mit 225.000 Beobachtungen von 15 Fahrern auf Autobahnen, in unwegsamem Gelände und in Stadtstraßen, und eine weitere mit über 87.000 Messungen der Hautleitfähigkeit von 20 Personen – und unterzogen sie einem strengen Test, bei dem keine Abkürzungen erlaubt waren. Ihr Ziel war es zu sehen, ob die leistungsstärksten Modelle aus früheren Studien immer noch ihren Job machen könnten, wenn ihnen nicht erlaubt wäre, in die Antworten zu spicken oder die spezifischen Fahrer auswendig zu lernen.

Die Reinigung der „Abkürzungen“
Zuerst säuberten die Forscher die Daten gründlich. Sie erkannten, dass einige Datenspalten wie das Geben des Lösungsschlüssels an den Detektiv wirkten. Wenn die Daten beispielsweise eine Spalte enthielten, die buchstäblich besagte „Plötzliche Bremsung erfolgte“, könnte der Computer einfach immer dann „Schläfrig“ raten, wenn eine Bremsung stattfand, ohne den Zustand des Fahrers tatsächlich zu verstehen. Sie entfernten auch alle Spalten, die lediglich andere Arten waren, das Label „schläfrig“ zu schreiben. Nachdem sie diese „Abkürzungen“ entfernt hatten, blieben ihnen die rohen, ehrlichen Signale: Herzfrequenz, Griffdruck, Fußbewegung und Fahrzeugdaten.

Die vier Arten des Testens
Um zu sehen, ob die Modelle wirklich intelligent oder nur Auswendiglernende waren, nutzte das Team vier verschiedene Teststrategien, vergleichbar mit dem Ändern der Spielregeln, um zu sehen, wer die Regeln wirklich beherrscht:

1. Zufällige Zeilen-Aufteilung (Random Row Split): Das Mischen aller Daten wie ein Kartendeck. Dies ist der „Leichtmodul“ – der Computer sieht Teile desselben Fahrers und derselben Straße sowohl beim Training als auch beim Testen.
2. Zeitblockiert (Time-Blocked): Sicherstellen, dass der Computer nur aus der Vergangenheit lernt, um die Zukunft vorherzusagen, wie beim Anschauen eines Films und dem Versuch, das Ende zu erraten, ohne die letzten 20 Minuten gesehen zu haben.
3. Fahrer-Ausklammerung (Driver-Held-Out): Dies ist der „neuer Fahrer“-Test. Der Computer lernt von 10 Fahrern und wird an 5 getestet, die er noch nie getroffen hat.
4. Route-Ausklammerung (Route-Held-Out): Der ultimative „neue Welt“-Test. Der Computer lernt auf Autobahnen und unwegsamem Gelände, wird aber in dichtem Stadtverkehr getestet, den er noch nie gesehen hat.

Der Gewinner: Das „All-in-One“-Gehirn
Die Forscher testeten drei verschiedene Arten von KI-Gehirnen: ein einfaches lineares Denkmodell (Logistische Regression), einen komplexen Baum-Lerner namens Pooled HGB (Histogramm-basierte Gradienten-Boosting) und ein Team von Spezialisten, die über die Antwort abstimmen (CQMF, oder Calibrated Quality-Weighted Modality Fusion).
Die Überraschung siegte der Pooled HGB. Stellen Sie sich dieses Modell als einen einzelnen, super-intelligenten Detektiv vor, der alles gleichzeitig betrachtet – Herzfrequenz, Fußbewegung und Fahrzeuggeschwindigkeit. Es versuchte nicht, die Hinweise in verschiedene Kategorien zu trennen; es ließ die Daten einfach miteinander interagieren.

• Beim Test auf neuen Fahrern (Driver-Held-Out) war dieses Modell unglaublich genau. Es erreichte einen Wert von 0,9990 (von 1,0) bei der Unterscheidung zwischen wach und schlafend und einen Wert von 0,9819 beim Erkennen der seltenen schläfrigen Momente.
• Es war auch sehr ehrlich in Bezug auf seine Zuversicht. Sein „Brier-Score“ (ein Maß dafür, wie gut die Zuversicht mit der Realität übereinstimmt) war ein winziger Wert von 0,00355, was bedeutet, dass es fast immer richtig lag, wenn es sagte: „Ich bin mir zu 90 % sicher.“

Das „Spezialistenteam“ scheiterte
Die Forscher hatten gehofft, dass das „Spezialistenteam“ (CQMF) besser abschneiden würde. Die Idee war: Ein KI beobachtet das Herz, eine andere die Hände und eine dritte das Auto, und dann stimmen sie ab. Aber dieser Ansatz schnitt tatsächlich schlechter ab. Als das Team versuchte, ihre separaten Meinungen zu kombinieren, gingen die subtilen Verbindungen zwischen den Signalen verloren. Es stellt sich heraus, dass ein einzelner Detektiv, der das Gesamtbild sieht, besser ist als ein Komitee von Spezialisten, die nicht miteinander kommunizieren können. Das „All-in-One“-Gehirn erfasste die Tatsache, dass ein bestimmtes Herzfrequenzmuster je nach Verhalten des Autos etwas anderes bedeuten kann – etwas, was die separaten Spezialisten übersehen haben.

Die „Neue-Straße-Strafe“
Hier wird es ein wenig weniger perfekt. Als die Forscher das Modell auf einer völlig neuen Art von Straße testeten (Route-Held-Out), sank die Leistung.

• Auf Autobahnen war das Modell immer noch großartig.
• Aber im dichten Stadtverkehr sank die Fähigkeit, schläfrige Fahrer zu erkennen. Die „Sensitivität“ (wie viele schläfrige Fahrer es tatsächlich erfasste) fiel auf 0,7216.
  Dies offenbart eine „Routen-Transfer-Strafe“. Das Modell lernte, dass schläfrige Fahrer auf Autobahnen auf eine bestimmte Weise aussehen, aber das Stadtverkehrsgeschehen ist chaotisch und anders. Wenn man ein Modell, das nur für Autobahnen trainiert wurde, in eine belebte Stadt setzt, könnte es die schläfrigen Fahrer übersehen.

Der „Defekter-Sensor“-Stresstest
Das echte Leben ist chaotisch. Sensoren gehen kaputt, Kabel lockern sich, Daten gehen verloren. Die Forscher simulierten dies, indem sie zufällig 10 %, 20 %, 30 % und sogar 50 % der Daten löschten, um zu sehen, was passiert.

• Das „All-in-One“-Modell (Pooled HGB) hielt sich überraschend gut. Selbst mit 50 % fehlenden Daten erreichte es immer noch einen ordentlichen Wert von 0,6630.
• Das „Spezialistenteam“ (CQMF) brach viel schneller zusammen und fiel mit 50 % fehlenden Daten auf 0,5260.
  Dies deutet darauf hin, dass ein robustes, einzelnes Modell, das mit fehlenden Teilen umgehen kann, besser ist als die Abhängigkeit von einem Team von Spezialisten, die alle verstummen könnten, wenn ihr spezifischer Sensor ausfällt.

Das Rätsel der Hautleitfähigkeit
Das Team untersuchte auch einen zweiten Datensatz, der die Hautleitfähigkeit betraf (wie schwitzig die Haut wird, wenn man gestresst oder schläfrig ist). Selbst nachdem die „Abkürzungen“ entfernt wurden, schnitt das Modell immer noch erstaunlich gut ab, mit einem Wert von 0,9994. Die Forscher sind jedoch vorsichtig. Sie merkten an, dass sie, da sie die ursprünglichen Roh-Video- oder Audio-Logs nicht hatten, nicht zu 100 % sicher sein konnten, ob die „schläfrig“-Labels selbst perfekt korrekt waren. Es ist wie das Finden einer perfekten Punktzahl in einem Test, bei dem man aber nicht weiß, ob der Lehrer ihn fair benotet hat. Daher sehen die Zahlen zwar großartig aus, aber sie können nicht behaupten, dass dies beweist, dass das System in der realen Welt funktioniert.

Das Fazit

Dieses Paper sagt uns nicht nur, welches KI-Modell das „beste“ ist. Es lehrt uns, wie wir aufhören können, uns auf Abkürzungen zu verlassen. Die wichtigste Erkenntung ist, dass man einem System zur Erkennung von Müdigkeit beim Fahren nicht vertrauen kann, es sei denn, man testet es an Fahrern und Straßen, die es noch nie gesehen hat.

Die Studie ergab, dass ein einzelnes, leistungsstarkes Modell, das alle Daten zusammen betrachtet (Pooled HGB), am zuverlässigsten ist. Es ist besser als der Versuch, separate Modelle zu kombinieren, und es ist robust genug, um mit fehlenden Daten umzugehen. Dennoch warnt die Studie uns, dass selbst das beste Modell nicht perfekt ist. Wenn man ein System von einer Autobahn in eine belebte Stadt verlegt oder wenn Sensoren ausfallen, könnte das System die Gefahr übersehen.

Die Autoren kommen zu dem Schluss, dass wir zwar ein sehr starkes Werkzeug zum Aufspüren von Müdigkeit jetzt gerade haben, aber noch nicht bereit sind, es in jedes Auto einzubauen. Wir brauchen mehr Tests unter realen Bedingungen, bessere Daten von Rohsensoren und ein System, das weiß, wann es verwirrt ist und um Hilfe bitten sollte. Bis dahin dient diese Forschung als entscheidendes „Leakage-Audit“, um sicherzustellen, dass wir, wenn wir behaupten, ein System sei sicher, uns nicht selbst mit einer glücklichen Vermutung täuschen.