Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

Sintesi Tecnica: Investigazione della Variabilità Specifica del Conducente nel Monitoraggio della Fatica del Conducente Basato sulla Visione

Problema
I sistemi di monitoraggio della fatica del conducente basati sulla visione vengono tipicamente validati su dataset aggregati in cui i set di addestramento e di test contengono conducenti sovrapponibili o simili. Questo approccio produce una singola metrica di accuratezza aggregata che occulta significativi disparità di prestazione tra diversi sottogruppi di conducenti. I conducenti variano per geometria oculare, uso di occhiali (occhiali da vista vs. occhiali da sole), posa del capo e condizioni di illuminazione durante la guida. Una regola che performa bene in media può fallire per gruppi specifici (ad esempio, conducenti con occhi stretti o che indossano occhiali da sole). La letteratura esistente spesso tratta questi fattori come secondari o aggrega i risultati per algoritmo piuttosto che per caratteristiche del conducente, lasciando non verificata la generalizzabilità dei sistemi di rilevamento della fatica tra popolazioni diverse.

Metodologia
Il documento propone e testa un design di valutazione per sottogruppi subject-disjoint (con soggetti disgiunti) utilizzando una simulazione generativa controllata anziché dati del mondo reale. Lo studio non mira a stimare l'accuratezza dei sistemi su conducenti reali, ma punta a esporre i meccanismi e definire protocolli di analisi per futuri studi su dati reali.

• Design della Simulazione: Un modello generativo simula 240 conducenti per replica (30 repliche totali), ciascuno con specifici livelli di fattori:
  • Geometria Oculare: Definita dai livelli di Eye Aspect Ratio (EAR) a occhio aperto (stretti, medi, larghi).
  • Occhiali: Nessuno, occhiali da vista o occhiali da sole (modellati come una "compressione" del segnale EAR verso un prior generico).
  • Posa del Capo: Frontale, moderata o ampia (che influenza i tassi di rumore e di perdita di frame).
  • Illuminazione: Normale, bassa o notturna (che influenza i tassi di rumore e di perdita di frame).
  • Fisiologia: Tassi di ammiccamento (blink rate) simulati e stati di sonnolenza (ammiccamenti lenti, parziale cedimento delle palpebre) generano tracce EAR sintetiche a 15 fps.
• Classificatori: Vengono confrontate due regole di rilevamento:
  • C0 (Soglia Fissa): Una soglia universale ($m < 0.20$) per tutti i conducenti.
  • C1 (Calibrata per Conducente): Stima il livello specifico di occhio aperto ($\hat{E}_{open}$) di un conducente da 60 secondi di guida vigile e imposta una soglia dinamica ($m < 0.6 \cdot \hat{E}_{open}$).
• Protocollo di Valutazione:
  • Split Subject-Disjoint: 50% dei conducenti per l'addestramento (calibrazione), 50% per il test. Nessun conducente appare in entrambi i set.
  • Metriche: Accuratezza, Recall e Tasso di Falsi Positivi (FPR) sono calcolati per ogni conducente e aggregati per sottogruppo.
  • Controlli Statistici: I test di Kruskal–Wallis valutano le differenze tra i sottogruppi; i test di Wilcoxon signed-rank confrontano C0 vs. C1.
  • Robustezza: Un controllo del modello nullo ($s=0$, nessun effetto dei fattori) e uno sweep dell'effetto ($s=0$ a $2$) validano la sensibilità dell'analisi. Una reimplementazione indipendente conferma i risultati.

Contributi Chiave

1. Design di Valutazione: Un framework riutilizzabile caratterizzato da quattro fattori di sottogruppo annotati, split subject-disjoint, metriche per sottogruppo e un controllo del modello nullo.
2. Simulazione Generativa: Una simulazione documentata che isola specifici fattori di variabilità del conducente per testare i meccanismi di rilevamento senza il rumore della raccolta dati nel mondo reale.
3. Risultati Quantitativi sulla Variabilità:
   • Geometria Oculare: Impatta significativamente le regole a soglia fissa (C0), causando alti falsi positivi per i conducenti con occhi stretti e bassa recall per quelli con occhi larghi. La calibrazione (C1) elimina ampiamente questo squilibrio.
   • Occhiali: Gli occhiali da sole degradano severamente le prestazioni delle regole calibrate (C1). La compressione del segnale causata dagli occhiali da sole fa sì che la soglia calibrata cada al di sotto del segnale effettivo di occhio chiuso, portando a mancati rilevamenti. Questo è identificato come un problema di parametro di design (specificamente il parametro di compressione $\alpha$) piuttosto che un fallimento inerente alla calibrazione.
   • Illuminazione: Le condizioni notturne aumentano i falsi positivi per le regole fisse (C0), ma sono gestite meglio dalle regole calibrate (C1), sebbene il meccanismo riguardi l'interazione del rumore con il modello.
   • Posa del Capo: Ha avuto un effetto minimo alle magnitudo assunte nella simulazione.
4. Guida alla Dimensione del Campione: L'analisi della potenza indica che rilevare effetti grandi (es. l'impatto degli occhiali su C1) richiede circa 8 conducenti per sottogruppo, effetti moderati circa 16–20, ed effetti piccoli circa 30–40. I dataset pubblici attuali (14–60 soggetti) sono spesso insufficienti per un'inferenza robusta sui sottogruppi.
5. Checklist di Reporting e Strumenti: Una dashboard (Streamlit/Plotly) e una checklist per il reporting dei sottogruppi, enfatizzando il bootstrapping a livello di soggetto e la separazione dei dati di calibrazione.

Risultati

• Prestazioni Complessive: Nella simulazione, la regola fissa (C0) ha ottenuto un'accuratezza media superiore (0.81) rispetto alla regola calibrata (C1, 0.78), principalmente perché C1 ha avuto difficoltà con gli occhiali da sole.
• Disparità tra Sottogruppi:
  • C0: I conducenti con occhi stretti hanno subito un alto FPR (0.36) rispetto a quelli con occhi medi (0.07) e larghi (0.04).
  • C1: I conducenti con occhiali da sole hanno visto un drastico calo di accuratezza (0.62) e recall (0.24) rispetto a quelli senza occhiali (0.80).
• Efficacia della Calibrazione: La calibrazione ha ridotto le disparità causate dalla geometria oculare e dall'illuminazione notturna, ma ha introdotto una nuova vulnerabilità agli occhiali da sole. La compressione del segnale da parte degli occhiali da sole causa il fatto che la soglia calibrata scenda al di sotto del segnale di occhio chiuso effettivo; questo è identificato come un problema di parametro di design (specificamente il parametro di compressione $\alpha$) piuttosto che un fallimento inerente alla calibrazione.
• Indipendenza: La reimplementazione indipendente ha confermato i pattern qualitativi, con differenze quantitative entro lo 0.05, validando che i risultati derivino dalla struttura del modello.

Significato e Rivendicazioni
Il documento dichiara esplicitamente che le sue scoperte sono condizionate dalle assunzioni della simulazione e non costituiscono prove riguardanti conducenti reali. La significatività risiede in:

• Definizione di Ipotesi: Stabilire ipotesi testabili su come specifici fattori del conducente (geometria, occhiali, posa, luce) influenzino il rilevamento della fatica.
• Specificazione del Protocollo: Fornire una checklist di reporting rigorosa e i requisiti di dimensione del campione per futuri studi su dati reali, al fine di garantire la capacità di rilevare disparità tra sottogruppi.
• Guida al Design del Sistema: Suggerire che i sistemi pratici dovrebbero impiegare la calibrazione per conducente combinata con un gate di qualità del segnale (per gestire il problema degli occhiali da sole) e riportare le prestazioni per sottogruppo piuttosto che come una singola metrica aggregata.
• Valutazione delle Risorse: Evidenziare che i dataset pubblici esistenti sono spesso troppo piccoli o mancano delle annotazioni necessarie (ad esempio, tono della pelle standardizzato o posa della testa) per supportare una robusta analisi dei sottogruppi senza l'aggregazione di più dataset.

L'autore conclude che, sebbene la simulazione mostri che la calibrazione possa spostare i tipi di errore (corrigendo i problemi di geometria ma esacerbando i problemi di occhiali da sole), il valore ultimo di queste scoperte dovrà essere determinato da uno studio pianificato su dati reali utilizzando il design di valutazione proposto.