Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

Technische Zusammenfassung: Untersuchung der treiberspezifischen Variabilität in der visionsbasierten Überwachung der Fahrerermüdung

Problemstellung
Visionsbasierte Systeme zur Überwachung der Fahrerermüdung werden typischerweise auf gepoolten Datensätzen validiert, bei denen die Trainings- und Testsets überlappende oder ähnliche Fahrer enthalten. Dieser Ansatz liefert eine einzige aggregierte Genauigkeitsmetrik, die signifikante Leistungsunterschiede zwischen verschiedenen Fahrer-Subgruppen verschleiert. Fahrer variieren in der Augengeometrie, der Verwendung von Sehhilfen (Brillen vs. Sonnenbrillen), der Kopfhaltung und den Beleuchtungsverhältnissen beim Fahren. Eine Regel, die im Durchschnitt gut funktioniert, kann für spezifische Gruppen (z. B. Fahrer mit schmalen Augen oder solche, die Sonnenbrillen tragen) versagen. In der bestehenden Literatur werden diese Faktoren oft als sekundär behandelt oder Ergebnisse werden nach Algorithmen statt nach Fahrercharakteristika aggregiert, wodurch die Generalisierbarkeit von Systemen zur Erkennung von Ermüdung über diverse Populationen hinweg unverifiziert bleibt.

Methodik
Die Arbeit schlägt ein subjekt-disjunktektes, pro-Subgruppe ausgewertetes Design vor und testet dieses mittels einer kontrollierten generativen Simulation anstelle von Realweltdaten. Die Studie zielt nicht darauf ab, die Genauigkeit von Systemen bei echten Fahrern zu schätzen, sondern darauf, Mechanismen offenzulegen und Analyseprotokolle für zukünftige Studien mit Realdaten zu definieren.

• Simulationsdesign: Ein generatives Modell simuliert 24er Fahrer pro Replikate (30 Replikate insgesamt), jeweils mit spezifischen Faktorebenen:
  • Augengeometrie: Definiert durch das offene Augen-Aspektverhältnis (Eye Aspect Ratio, EAR) (schmal, mittel, breit).
  • Sehhilfen: Keine, Brille oder Sonnenbrille (modelliert als „Kompression“ des EAR-Signals in Richtung eines generischen Priors).
  • Kopfhaltung: Frontal, moderat oder groß (beeinflusst Rauschen und Frame-Drop-Raten).
  • Beleuchtung: Normal, niedrig oder Nacht (beeinflusst Rauschen und Frame-Drop-Raten).
  • Physiologie: Simulierte Blinzelraten und ermüdungsbedingte Zustände (langsame Blinzelvorgänge, teilweiser Lidfall) erzeugen synthetische EAR-Trajektorien bei 15 fps.
• Klassifikatoren: Zwei Detektionsregeln werden verglichen:
  • C0 (Fester Schwellenwert): Ein universeller Schwellenwert ($m < 0,20$) für alle Fahrer.
  • C1 (Pro-Fahrer kalibriert): Schätzt das spezifische offene Augen-Niveau ($\hat{E}_{open}$) eines Fahrers aus 60 s wacher Fahrt und setzt einen dynamischen Schwellenwert ($m < 0,6 \cdot \hat{E}_{open}$).
• Evaluationsprotokoll:
  • Subjekt-disjunkte Splits: 50 % der Fahrer für das Training (Kalibrierung), 50 % für den Test. Kein Fahrer erscheint in beiden Sets.
  • Metriken: Genauigkeit (Accuracy), Recall und die Falsch-Positiv-Rate (FPR) werden pro Fahrer berechnet und nach Subgruppen aggregiert.
  • Statistische Prüfungen: Kruskal–Wallis-Tests bewerten Unterschiede zwischen den Subgruppen; Wilcoxon-Vorzeichen-Rang-Tests vergleichen C0 vs. C1.
  • Robustheit: Ein Nullmodell-Check ($s=0$, keine Faktoreffekte) und ein Effektstärken-Sweep ($s=0$ bis $2$) validieren die Sensitivität der Analyse. Eine unabhängige Reimplementierung bestätigt die Ergebnisse.

Wesentliche Beiträge

1. Evaluationsdesign: Ein wiederverwendbares Framework mit vier annotierten Subgruppenfaktoren, subjekt-disjunkten Splits, Metriken pro Subgruppe und einem Nullmodell-Check.
2. Generative Simulation: Eine dokumentierte Simulation, die spezifische Faktoren der Fahrer-Variabilität isoliert, um Detektionsmechanismen ohne das Rauschen der Realdatenerhebung zu testen.
3. Quantitative Erkenntnisse zur Variabilität:
   • Augengeometrie: Beeinflusst feste Schwellenwertregeln (C0) signifikant, was zu hohen Falsch-Positiv-Raten bei schmaläugigen Fahrern und geringem Recall bei weitäugigen Fahrern führt. Die Kalibrierung (C1) eliminiert dieses Ungleichgewicht weitgehend.
   • Sehhilfen: Sonnenbrillen verschlechtern die Leistung kalibrierter Regeln (C1) erheblich. Die Kompression des Signals durch die Sonnenbrille führt dazu, dass der kalibrierte Schwellenwert unter das tatsächliche geschlossene-Augen-Signal fällt, was zu verpassten Detektionen führt. Dies wird als Problem des Design-Parameters (speziell des Kompressionsfaktors $\alpha$) identifiziert und nicht als inhärentes Versagen der Kalibrierung.
   • Beleuchtung: Nachtbedingungen erhöhen die Falsch-Positiv-Raten für feste Regeln (C0), werden aber von kalibrierten Regeln (C1) besser gehandhabt, wobei der Mechanismus in der Interaktion des Rauschens mit dem Modell liegt.
   • Kopfhaltung: Hatte bei den in der Simulation angenommenen Magnituden nur minimalen Effekt.
4. Stichprobengrößen-Leitlinien: Eine Power-Analyse zeigt, dass die Detektion großer Effekte (z. B. Einfluss von Sehhilfen auf C1) etwa 8 Fahrer pro Subgruppe erfordert, moderate Effekte etwa 1–20 und kleine Effekte etwa 30–40. Bestehende öffentliche Datensätze (14–60 Probanden) sind oft unzureichend für eine robuste Subgruppen-Inferenz.
5. Reporting-Checkliste & Tools: Ein Dashboard (Streamlit/Plotly) und eine Checkliste für das Subgruppen-Reporting, die das Bootstrapping auf Subjektebene und die Trennung der Kalibrierungsdaten betonen.

Ergebnisse

• Gesamtleistung: In der Simulation erreichte die feste Regel (C0) eine höhere mittlere Genauigkeit (0,81) als die kalibrierte Regel (C1, 0,78), primär weil C1 Probleme mit Sonnenbrillen hatte.
• Subgruppen-Disparitäten:
  • C0: Schmaläugige Fahrer litten unter einer hohen FPR (0,36) im Vergleich zu mittleren (0,07) und weiten Augen (0,04).
  • C1: Fahrer mit Sonnenbrillen zeigten einen dramatischen Abfall der Genauigkeit (0,62) und des Recalls (0,24) im Vergleich zu Personen ohne Sehhilfen (0,80).
• Kalibrierungseffizienz: Die Kalibrierung reduzierte die durch die Augengeometrie und Nachtbeleuchtung verursachten Disparitäten, führte jedoch eine neue Schwachstelle gegenüber Sonnenbrillen ein. Die Studie legt nahe, dass ein „Zuverlässigkeitstor“ (z. B. Detektion der Signal-Kompression) notwendig ist, um den Ausfallmodus durch Sonnenbrillen abzufangen.
• Unabhängigkeit: Eine unabhängige Reimplementierung bestätigte die qualitativen Muster mit quantitativen Abweichungen innerhalb von 0,05, was die Ergebnisse als Folge der Modellstruktur validiert.

Bedeutung und Ansprüche
Die Arbeit stellt explizit klar, dass ihre Erkenntnisse an die Annahmen der Simulation gebunden sind und keine Beweise hinsichtlich echter Fahrer darstellen. Die Bedeutung liegt in:

• Definition von Hypothesen: Etablierung testbarer Hypothesen darüber, wie spezifische Fahrerfaktoren (Geometrie, Sehhilfen, Haltung, Licht) die Ermüdungserkennung beeinflussen.
• Protokollspezifikation: Bereitstellung eines rigorosen Reporting-Checklisten und Stichprobengrößen-Anforderungen für zukünftige Studien mit Realdaten, um sicherzustellen, dass diese Subgruppen-Disparitäten detektieren können.
• Systemdesign-Leitlinien: Vorschlag, dass praktische Systeme eine pro-Fahrer-Kalibrierung in Kombination mit einem Signalqualitäts-Gate (um das Sonnenbrillen-Problem zu handhaben) verwenden und die Leistung pro Subgruppe anstatt eines einzelnen gepoolten Metrik-Werts melden sollten.
• Ressourcenbewertung: Hervorhebung, dass bestehende öffentliche Datensätze oft zu klein sind oder nicht die notwendigen Annotationen (z. B. standardisierte Hautfarbe oder Kopfhaltung) besitzen, um eine robuste Subgruppen-Analyse ohne Pooling über Datensätze hinweg zu unterstützen.

Der Autor schließt mit der Feststellung, dass die Simulation zwar zeigt, dass Kalibrierung die Art der Fehler verschieben kann (Geometrie-Probleme behebt, aber Brillen-Probleme verschärft), der endgültige Wert dieser Erkenntnisse jedoch durch eine geplante Studie mit Realdaten unter Anwendung des vorgeschlagenen Evaluationsdesigns bestimmt werden muss.