Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

Résumé Technique : Étude de la variabilité spécifique aux conducteurs dans la surveillance de la fatigue basée sur la vision

Énoncé du problème
Les systèmes de surveillance de la fatigue des conducteurs basés sur la vision sont généralement validés sur des ensembles de données agrégés où les ensembles d'entraînement et de test contiennent des conducteurs chevauchants ou similaires. Cette approche produit une métrique de précision globale unique qui occulte des disparités de performance significatives entre différents sous-groupes de conducteurs. Les conducteurs varient selon la géométrie de leurs yeux, l'usage de lunettes (lunettes de vue vs lunettes de soleil), la pose de la tête et les conditions d'éclairage de conduite. Une règle qui performe bien en moyenne peut échouer pour des groupes spécifiques (ex: conducteurs aux yeux étroits ou portant des lunettes de soleil). La littérature existante traite souvent ces facteurs comme secondaires ou agrège les résultats par algorithme plutôt que par caractéristiques du conducteur, laissant la généralisabilité des systèmes de détection de la fatigue non vérifiée pour diverses populations.

Méthodologie
Le document propose et teste un protocole d'évaluation par sous-groupes avec sujets disjoints utilisant une simulation générative contrôlée plutôt que des données réelles. L'étude ne vise pas à estimer la précision des systèmes sur de vrais conducteurs, mais cherche à exposer les mécanismes et à définir des protocolaux d'analyse pour de futures études sur données réelles.

• Conception de la simulation : Un modèle génératif simule 240 conducteurs par réplique (30 répliques au total), chacun possédant des niveaux de facteurs spécifiques :
  • Géométrie oculaire : Définie par les niveaux de l'Eye Aspect Ratio (EAR) en œil ouvert (étroit, moyen, large).
  • Lunettes : Aucune, lunettes de vue, ou lunettes de soleil (modélisées comme une « compression » du signal EAR vers une priorité générique).
  • Pose de la tête : Frontale, modérée, ou large (affectant le bruit et les pertes de trames).
  • Éclairage : Normal, faible, ou nuit (affectant le bruit et les pertes de trames).
  • Physiologie : Des taux de clignement simulés et des états de somnolence (clignements lents, affaissement partiel des paupières) génèrent des traces EAR synthétiques à 15 fps.
• Classificateurs : Deux règles de détection sont comparées :
  • C0 (Seuil Fixe) : Un seuil universel ($m < 0,20$) pour tous les conducteurs.
  • C1 (Calibré par Conducteur) : Estime le niveau d'œil ouvert spécifique d'un conducteur ($\hat{E}_{open}$) à partir de 60s de conduite alerte et définit un seuil dynamique ($m < 0,6 \cdot \hat{E}_{open}$).
• Protocole d'évaluation :
  • Séparations de sujets disjoints : 50 % des conducteurs pour l'entraînement (calibration), 50 % pour le test. Aucun conducteur n'apparaît dans les deux ensembles.
  • Métriques : L'exactitude (Accuracy), le Rappel (Recall) et le Taux de Faux Positifs (FPR) sont calculés par conducteur et agrégés par sous-groupe.
  • Tests statistiques : Les tests de Kruskal–Wallis évaluent les différences entre sous-groupes ; les tests de Wilcoxon signés comparent C0 vs C1.
  • Robustesse : Un contrôle de modèle nul ($s=0$, aucun effet de facteur) et un balayage de l'effet ($s=0$ à $2$) valident la sensibilité de l'analyse. Une réimplémentation indépendante confirme les résultats.

Contributions Clés

1. Design d'évaluation : Un cadre réutilisable comprenant quatre facteurs de sous-groupes annotés, des séparations de sujets disjoints, des métriques par sous-groupe et un contrôle de modèle nul.
2. Simulation Générative : Une simulation documentée qui isole des facteurs de variabilité spécifiques des conducteurs pour tester les mécanismes de détection sans le bruit de la collecte de données réelles.
3. Résultats Quantitatifs sur la Variabilité :
   • Géométrie Oculaire : Impacte significativement les règles à seuil fixe (C0), provoquant des faux positifs élevés pour les conducteurs aux yeux étroits et un faible rappel pour les conducturs aux yeux larges. La calibration (C1) élimine largement ce déséquilibre.
   • Lunettes : Les lunettes de soleil dégradent sévèrement les performances des règles calibrées (C1). La compression du signal par les lunettes de soleil fait que le seuil calibré tombe en dessous du signal réel d'œil fermé, entraînant des détections manquées. Cela est identifié comme un problème de paramètre de conception (spécifiquement la fraction de fermeture $\alpha$) plutôt qu'un échec inhérent à la calibration.
   • Éclairage : Les conditions de nuit augmentent les faux positifs pour les règles fixes (C0), mais sont mieux gérées par les règles calibrées (C1), bien que le mécanisme implique des interactions de bruit avec le modèle.
   • Pose de la tête : A eu un effet minimal aux magnitudes supposées dans la simulation.
4. Orientation de la Taille d'Échantillon : L'analyse de puissance indique que détecter des effets importants (ex: impact des lunettes sur C1) nécessite environ 8 conducteurs par sous-groupe, des effets modérés ~16–20, et des effets faibles ~30–40. Les jeux de données publics actuels (14–60 sujets) sont souvent insuffisants pour une inférence robuste par sous-groupe.
5. Liste de Contrôle de Rapport & Outils : Un tableau de bord (Streamlit/Plotly) et une liste de contrôle pour le rapport par sous-groupe, mettant l'accent sur le bootstrapping au niveau du sujet et la séparation des données de calibration.

Résultats

• Performance Globale : Dans la simulation, la règle fixe (C0) a obtenu une précision moyenne plus élevée (0,81) que la règle calibrée (C1, 0,78), principalement parce que C1 a eu des difficultés avec les lunettes de soleil.
• Disparités de Sous-groupes :
  • C0 : Les conducteurs aux yeux étroits ont subi un FPR élevé (0,36) par rapport aux yeux moyens (0,07) et larges (0,04).
  • C1 : Les conducteurs portant des lunettes de soleil ont connu une chute dramatique de l'exactitude (0,62) et du rappel (0,24) par rapport à ceux sans lunettes (0,80).
• Efficacité de la Calibration : La calibration a réduit les disparités causées par la géométrie oculaire et l'éclairage nocturne, mais a introduit une nouvelle vulnérabilité aux lunettes de soleil. La compression du signal par les lunettes de soleil fait que le seuil calibré descend en dessous du signal d'œil fermé réel, ce qui est identifié comme un problème de paramètre de conception (spécifiquement la fraction de fermeture $\alpha$) plutôt qu'un échec inhérent à la calibration.
• Indépendance : La réimplémentation indépendante a confirmé les modèles qualitatifs, avec des différences quantitatives de l'ordre de 0,05, validant que les conclusions découlent de la structure du modèle.

Signification et Revendications
Le document stipule explicitement que ses conclusions sont conditionnelles aux hypothèses de la simulation et ne constituent pas une preuve concernant de vrais conducteurs. La signification réside dans :

• Définition des Hypothèses : Établir des hypothèses testables sur la manière dont des facteurs spécifiques des conducteurs (géométrie, lunettes, pose, lumière) affectent la détection de la fatigue.
• Spécification du Protocole : Fournir une liste de contrôle de rapport rigoureuse et des exigences de taille d'échantillon pour les futures études sur données réelles afin de garantir qu'elles puissent détecter les disparités de sous-groupes.
• Orientation de la Conception de Système : Suggérer que les systèmes pratiques devraient employer une calibration par conducteur combinée à une porte de qualité de signal (pour gérer le cas des lunettes de soleil) et rapporter la performance par sous-groupe plutôt que par une seule métrique agrégée.
• Évaluation des Ressources : Souligner que les jeux de données publics existants sont souvent trop petits ou manquent des annotations nécessaires (ex: teint de peau standardisé ou pose de la tête) pour supporter une analyse robuste par sous-groupe sans agréger les données.

L'auteur conclut que si la simulation montre que la calibration peut déplacer les types d'erreurs (en corrigeant les problèmes de géométrie mais en exacerbant les problèmes de lunettes), la valeur ultime de ces résultats devra être déterminée par une étude planifiée sur données réelles utilisant le protocole d'évaluation proposé.