Enhancing Fatigue Detection through Heterogeneous Multi-Source Data Integration and Cross-Domain Modality Imputation

Sintesi Tecnica: Miglioramento del Rilevamento della Fatica attraverso l'Integrazione di Dati Eterogenei Multi-Fonte e l'Imputazione di Modalità Cross-Dominio

Definizione del Problema
Il rilevamento affidabile della fatica è fondamentale per la sicurezza nei sistemi uomo-macchina (ad es., aviazione, estrazione mineraria, trasporti). Tuttavia, l'implementazione efficace è ostacolata dal problema dell' "accessibilità dei sensori". I sensori ad alta fedeltà (ad es., EEG, ECG, tracker della pupilla di precisione) forniscono dati accurati in ambienti di laboratorio controllati, ma sono spesso impraticabili per l'uso nel mondo reale a causa di costi, requisiti di calibrazione, sensibilità al rumore ambientale e preoccupazioni relative alla privacy. Al contrario, i sensori impiegabili sul campo (ad es., PPG, HR, accelerometri) sono accessibili ma mancano della fedeltà delle modalità ad alte prestazioni.

I metodi di imputazione dei dati esistenti affrontano tipicamente la mancanza di dati all'interno di un singolo dominio o modalità (ad es., generare più EEG da un EEG parziale). Essi non riescono ad affrontare l' imputazione di modalità cross-dominio: la sfida di stimare una modalità interamente assente in un dominio target (ad es., l'EEG in un contesto sul campo) sfruttando la conoscenza proveniente da un dominio sorgente in cui tale modalità esiste, utilizzando solo modalità condivise e implementabili (ad es., HR, PPG) come ponte.

Metodologia
Gli autori propongono un framework di rilevamento della fatica eterogeneo multi-fonte progettato per trasferire la conoscenza da domini sorgente in ambienti controllati a un dominio target con vincoli sensoriali. Il meccanismo centrale è l' imputazione di modalità cross-dominio.

1. Formulazione del Problema: Il framework definisce un dominio target ($D_T$) con modalità limitate e molteplici domini sorgente ($D_s$) con diverse configurazioni sensoriali, spesso più ricche. L'obiettivo è apprendere una mappatura $g_s: X_{\cap} \to X_{s+}$, dove $X_{\cap}$ rappresenta le modalità condivise (ad es., HR, PPG, GSR) e $X_{s+}$ rappresenta le modalità presenti nella sorgente ma mancanti nel target (ad es., EEG, ECG).
2. Base Teorica: L'approccio si basa sull'analisi del limite di generalizzazione. I risultati teorici (Teoremi 1–3) suggeriscono che l'incorporazione di modalità aggiuntive correlate alle etichette stringe il limite dell'errore di generalizzazione. Inoltre, se la discrepanza distributiva tra la modalità imputata ($\hat{a}$) e la modalità reale ($a$) viene minimizzata, le prestazioni del dominio target possono essere migliorate anche senza l'accesso diretto al sensore ad alta fedeltà.
3. Architettura del Framework:
   • Imputazione della Modalità: Per ogni dominio sorgente, viene addestrato un modello di regressione (specificamente un MLP negli esperimenti) per prevedere la modalità mancante ad alta fedeltà utilizzando le modalità condivise come input.
   • Allineamento dei Domini: Per ridurre gli spostamenti di distribuzione tra i domini sorgente e target, il framework impiega la Batch Normalization e la regolarizzazione della norma di Jacobian. Queste tecniche stabilizzano le rappresentazioni delle caratteristiche e riducono la sensibilità del classificatore alle perturbazioni dell'input.
   • Augmentation e Rilevamento: Le modalità imputate vengono concatenate con le caratteristiche originali del dominio target per formare una rappresentazione aumentata. Un classificatore a valle (ad es., Transformer, LSTM, CNN) viene quindi addestrato su questi dati potenziati per prevedere gli stati di fatica.
   • Strategia di Addestramento: Il processo viene eseguito per fasi anziché in modo end-to-end. Gli imputatori vengono prima addestrati sui dati sorgente, applicati ai dati target per generare caratteristiche sintetiche e, infine, il rilevatore di fatica viene addestrato sul dataset target aumentato.

Contributi Chiave

• Formalizzazione del Problema: L'articolo definisce formalmente un setting di problema pratico ma poco esplorato: operare il rilevamento della fatica con sensori da campo accessibili sfruttando al contempo la conoscenza di modalità sorgente ad alta fedeltà e soggette a vincoli di implementazione.
• Framework Eterogeneo: Propone un framework che utilizza modalità fisiologiche condivise come uno spazio di input comune per apprendere le relazioni del dominio sorgente e trasferirle per stimare le modalità non disponibili nel dominio target.
• Validazione Proof-of-Concept: Lo studio dimostra la fattibilità di questo approccio utilizzando un dataset distribuito sul campo (VPFD) e due dataset di laboratorio pubblici (MEFAR, FatigueSet). Fondamentalmente, gli autori utilizzano intenzionalmente algoritmi ben stabiliti (MLP, LSTM, Transformer) per le componenti principali per isolare il contributo del design del framework stesso, piuttosto che fare affidamento su innovazioni algoritmiche inedite.

Risultati Sperimentali
Gli esperimenti sono stati condotti utilizzando il dataset VPFD (dominio target, privo di EEG/ECG) aumentato con i dati di MEFAR (che fornisce EEG) e FatigueSet (che fornisce EEG ed ECG).

• Efficacia dell'Imputazione: L'imputazione basata sulla regressione (utilizzando MLP) ha recuperato con successo le modalità mancanti con un errore quadratico medio (MSE) inferiore rispetto ad altre architetture come CNN1D, LSTM e TimeMixer.
• Prestazioni di Classificazione:
  • L'imputazione delle modalità mancanti ha migliorato significativamente l'accuratezza del rilevamento della fatica rispetto all'uso dei soli sensori target disponibili.
  • La combinazione di EEG ed ECG imputati ha prodotto i miglioramenti più pronunciati. Ad esempio, l'uso di un classificatore Transformer con l'imputazione basata su TimeMixer sul dataset VPFD aumentato ha raggiunto un'accuratezza del 92,86% e un ROC-AUC del 97,88%, rispetto all'accuratezza dell'82,31% e al ROC-AUC del 91,84% sui dati baseline di VPFD.
  • Gli studi di ablazione hanno confermato che la combinazione di Batch Normalization e regolarizzazione di Jacobian ha fornito la migliore stabilità e prestazioni, in particolare quando erano presenti più modalità imputate.
• Sensibilità al Rumore: Gli esperimenti hanno mostrato che l'iniezione di rumore casuale nelle modalità mancanti degradava le prestazioni, confermando che i guadagni derivavano dalle informazioni strutturate apprese dai domini sorgente, e non semplicemente dall'aggiunta di dimensioni di dati.

Significato e Rivendicazioni
L'articolo si posiziona come una prova di concetto che dimostra come il trasferimento di conoscenza tra domini dotati di strumentazione differente sia fattibile. Gli autori affermano che:

1. La conoscenza ad alta fedeltà proveniente da ambienti controllati può essere trasferita efficacemente in scenari del mondo reale in cui tali sensori non sono disponibili, a condizione che esistano modalità condivise per fare da ponte tra i domini.
2. Questo approccio consente di preservare l'utilità dei sensori ad alta fedeltà senza richiedere la loro diretta, e spesso impraticabile, implementazione sul campo.
3. Il framework affronta con successo il divario tra "affidabilità del sensore" (alta nei laboratori, bassa nei campi) e "accessibilità del sensore" (bassa nei laboratori, alta nei campi).

Gli autori rimangono modesti riguardo alle implicazioni future, osservando che l'attuale implementazione utilizza un semplice potenziamento sequenziale e non modella ancora la ponderazione consapevole dei conflitti qualora le sorgenti forniscano stime incoerenti. Identificano come lavori futuri la scalabilità verso coorti più ampie, lo sviluppo di una ponderazione multi-fonte adattiva e l'ottimizzazione per l'efficienza computazionale in tempo reale.