Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

Technische Samenvatting: Onderzoek naar Driver-Specifieke Variabiliteit in Visuele Monitoring van Rijmoeheid

Probleemstelling
Visuele monitoringsystemen voor rijmoeheid worden doorgaans gevalideerd op gepoolde datasets waarbij de trainings- en testsets overlappende of vergelijkbare bestuurders bevatten. Deze aanpak levert één geaggregeerde nauwkeurigheidsmetriek op die significante prestatieverschillen tussen verschillende bestuurderssubgroepen verbergt. Bestuurders variëren in ooggeometrie, het gebruik van brillen (spectakels versus zonnebrillen), hoofdhouding en verlichtingsomstandigheden tijdens het rijden. Een regel die gemiddeld goed presteert, kan falen voor specifieke groepen (bijv. bestuurders met smalle ogen of zij die een zonnebril dragen). De bestaande literatuur behandelt deze factoren vaak als secundair of aggregeert resultaten op basis van algoritme in plaats van op basis van kenmerken van de bestuurder, waardoor de generaliseerbaarheid van detectiesystemen voor vermoeidheid over diverse populaties onverifieerd blijft.

Methodologie
Het artikel stelt een subject-disjoint, per-subgroep evaluatieontwerp voor en test dit met behulp van een gecontroleerde generatieve simulatie in plaats van real-world data. De studie beoogt niet de nauwkeurigheid van systemen op echte bestuurders te schatten, maar heeft tot doel mechanismen bloot te leggen en analyseprotocollen te definiëren voor toekomstige studies met echte data.

• Simulatieontwerp: Een generatief model simuleert 240 bestuurders per replicatie (30 replicaties in totaal), elk met specifieke factorniveaus:
  • Ooggeometrie: Gedefinieerd door open-oog Eye Aspect Ratio (EAR) niveaus (smal, medium, breed).
  • Brillen: Geen, bril (spectacles), of zonnebril (gemodelleerd als een "compressie" van het EAR-signaal richting een generieke prior).
  • Hoofdhouding: Frontaal, gemiddeld, of groot (beïnvloedt ruis en frame-drop rates).
  • Verlichting: Normaal, laag, of nacht (beïnvloedt ruis en frame-drop rates).
  • Fysiologie: Gesimuleerde knipperfrequenties en slaperige staten (langzame knippers en gedeeltelijke ooglid-droop) genereren synthetische EAR-traces op 15 fps.
• Classificaties: Twee detectieregels worden vergeleken:
  • C0 (Vaste Drempelwaarde): Een universele drempel ($m < 0,20$) voor alle bestuurders.
  • C1 (Per-Bestuurder Gecalibreerd): Schat het specifieke open-oog niveau ($\hat{E}_{open}$) van een bestuurder in via 60 seconden alert rijgedrag en stelt een dynamische drempel in ($m < 0,6 \cdot \hat{E}_{open}$).
• Evaluatieprotocol:
  • Subject-Disjoint Splits: 50% van de bestuurders voor training (kalibratie), 50% voor testen. Geen bestuurder komt in beide sets voor.
  • Metrieken: Nauwkeurigheid (Accuracy), Recall, en False Positive Rate (FPR) worden berekend per bestuurder en geaggregeerd per subgroep.
  • Statistische Controles: Kruskal–Wallis tests beoordelen verschillen tussen subgroepen; Wilcoxon signed-rank tests vergelijken C0 vs. C1.
  • Robuustheid: Een null-model check ($s=0$, geen effecten van factoren) en een effect-size sweep ($s=0$ tot $2$) valideren de sensitiviteit van de analyse. Een onafhankelijke re-implementatie bevestigt de resultaten.

Belangrijkste Bijdragen

1. Evaluatieontwerp: Een herbruikbaar framework met vier geannoteerde subgroepfactoren, subject-disjoint splits, per-subgroep metrieken en een null-model check.
2. Generatieve Simulatie: Een gedocumenteerde simulatie die specifieke variabelen van bestuurders isoleert om detectiemechanismen te testen zonder de ruis van real-world dataverzameling.
3. Kwantitatieve Bevindingen over Variabiliteit:
   • Ooggeometrie: Heeft een significante impact op vaste drempelregels (C0), wat leidt tot hoge false positives voor smal-oogde bestuurders en lage recall voor breed-oogde bestuurders. Kalibratie (C1) elimineert deze onbalans grotendeels.
   • Brillen: Zonnebrillen verslechteren de prestaties van gekalibreerde regels (C1) ernstig. De compressie van het signaal door de zonnebril zorgt ervoor dat de gekalibreerde drempel onder het werkelijke gesloten-oog signaal valt, wat leidt tot gemiste detecties. Dit wordt geïdentificeerd als een design-parameter probleem (specifiek de sluitingsfractie $\alpha$) in plaats van een inherent falen van kalibratie.
   • Verlichting: Nachtelijke omstandigheden verhogen de false positives voor vaste regels (C0), maar worden beter afgehandeld door gekalibreerde regels (C1), hoewel het mechanisme een interactie is tussen ruis en het model.
   • Hoofdhouding: Had minimale impact bij de aangenomen groottes in de simulatie.
4. Steekproefgrootte Begeleiding: Power-analyse geeft aan dat het detecteren van grote effecten (bijv. de impact van brillen op C1) ongeveer 8 bestuurders per subgroep vereist, matige effecten ~16–20, en kleine effecten ~30–40. Huidige publieke datasets (14–60 subjecten) zijn vaak onvoldoende voor robuuste subgroep-inferentie.
5. Rapportage Checklist & Tools: Een dashboard (Streamlit/Plotly) en een checklist voor subgroep-rapportage, met de nadruk op subject-level bootstrapping en de scheiding van kalibratiedata.

Resultaten

• Algemene Prestaties: In de simulatie behaalde de vaste regel (C0) een hogere gemiddelde nauwkeurigheid (0,81) dan de gekalibreerde regel (C1, 0,78), voornamelijk omdat C1 moeite had met zonnebrillen.
• Subgroep Dispariteiten:
  • C0: Bestuurders met smalle ogen leden onder een hoge FPR (0,36) vergeleken met medium (0,07) en brede (0,04) ogen.
  • C1: Bestuurders met zonnebrillen zagen een dramatische daling in nauwkeurigheid (0,62) en recall (0,24) vergeleken met bestuurders zonder bril (0,80).
• Effectiviteit van Kalibratie: Kalibratie verminderde de dispariteiten veroorzaakt door ooggeometrie en nachtverlichting, maar introduceerde een nieuwe kwetsbaarheid voor zonnebrillen. De studie suggereert dat een "betrouwbaarheids-gate" (bijv. het detecteren van signaalcompressie) noodzakelijk is om de falende modus van zonnebrillen te mitigeren.
• Onafhankelijkheid: De onafhankelijke re-implementatie bevestigde de kwalitatieve patronen, met kwantitatieve verschillen binnen 0,05, wat valideert dat de bevindingen voortkomen uit de modelstructuur.

Betekenis en Claims
De auteur stelt expliciet dat de bevindingen conditioneel zijn aan de aannames van de simulatie en geen bewijs vormen met betrekking tot echte bestuurders. De betekenis ligt in:

• Definiëren van Hypothesen: Het vaststellen van toetsbare hypothesen over hoe specifieke bestuurdersfactoren (geometrie, brillen, houding, licht) de detectie van vermoeidheid beïnvloeden.
• Protocol Specificatie: Het bieden van een rigoureuze rapportagechecklist en de vereisten voor steekproefgrootte voor toekomstige studies met echte data om subgroep-dispariteiten te kunnen detecteren.
• Systeemontwerp Begeleiding: Suggereren dat praktische systemen per-bestuurder kalibratie moeten gebruiken in combinatie met een signaalkwaliteit-gate (om zonnebrillen te behandelen) en prestaties per subgroep moeten rapporteren in plaats van één enkele gepoolde metriek.
• Resource Assessment: Benadrukken dat bestaande publieke datasets vaak te klein zijn of niet de nodige annotaties missen (bijv. gestandaardiseerde huidskleur of hoofdhouding) om een robuuste subgroep-analyse te ondersteunen zonder datasets te poolen.

De auteur concludeert dat hoewel de simulatie laat zien dat kalibratie het type fouten kan verschuiven (het oplossen van geometrie-problemen maar het verergeren van eyewear-problemen), de uiteindelijke waarde van deze bevindingen bepaald moet worden door een geplande studie met echte data met behulp van het voorgestelde evaluatieontwerp.