Enhancing Cognitive Workload Classification Using Integrated LSTM Layers and CNNs for fNIRS Data Analysis

Sintesi Tecnica: Miglioramento della Classificazione del Carico Cognitivo mediante l'Integrazione di Strati LSTM e CNN per l'Analisi dei Dati fNIRS

Definizione del Problema
La spettroscopia funzionale nel vicino infrarosso (fNIRS) è una tecnica di neuroimaging non invasiva utilizzata per monitorare l'attivazione cerebrale misurando le variazioni dell'emoglobina ossigenata (HbO) e deossigenata (HbR). Sebbene l'apprendimento automatico (ML) e l'apprendimento profondo (DL) siano stati applicati ai dati fNIRS per la valutazione del carico cognitivo, persistono limitazioni significative. I metodi ML convenzionali spesso richiedono un complesso processo di ingegneria delle caratteristiche (feature engineering) e pre-elaborazione manuale, il che può portare a una riduzione dell'accuratezza e a problemi di scalabilità. Inoltre, la ricerca esistente nel campo del deep learning si è concentrata prevalentemente sulla classificazione binaria (distinguendo tra solo due livelli di carico mentale, ad esempio, basso vs alto). Inoltre, le reti neurali convoluzionali (CNN) standard, pur essendo efficaci nell'estrazione di caratteristiche spaziali, spesso faticano a catturare le dipendenze temporali intrinseche nei dati fNIRS che sono serie temporali, portando potenzialmente al overfitting spaziale e alla mancanza di contesto temporale.

Metodologia
Lo studio propone un'architettura di deep learning ibrida che integra le Reti Neurali Convoluzionali (CNN) con strati Long Short-Term Memory (LSTM) per affrontare i limiti dei modelli esclusivamente spaziali o esclusivamente temporali.

• Dataset: La ricerca utilizza il dataset fNIRS aperto di Tufts, che include dati di 68 partecipanti che eseguono compiti n-back (0-back, 1-back, 2-back e 3-back). Questo dataset consente la classificazione di quattro distinti livelli di carico cognitivo, andando oltre l'ambito binario degli studi precedenti.
• Pre-elaborazione: I segnali fNIRS grezzi sono stati sottoposti a un filtro passa-banda (0,001–0,2 Hz) per rimuovere gli artefatti. I dati sono stati segmentati in finestre sovrapposte di 30 secondi con un passo (stride) di 0,6 secondi, risultando in vettori di caratteristiche di dimensione 150 × 8 (150 passi temporali × 8 canali). Il dataset è stato suddiviso in 80% per l'addestramento e 20% per il test.
• Architettura:
  • Componente CNN: Il modello inizia con strati 1D-CNN per estrarre le caratteristiche spaziali. Utilizza strati convoluzionali con attivazione Rectified Linear Unit (ReLU) e max pooling per ridurre la dimensionalità e prevenire l'overfitting.
  • Componente LSTM: Le caratteristiche estratte vengono appiattite (flattened) e inviate a due strati LSTM. Questi strati sono progettati per catturare le dipendenze temporali e i pattern sequenziali all'interno dei dati fNIRS, affrontando l'incapacità delle CNN standard di modellare efficacemente le dinamiche delle serie temporali.
  • Classificazione: Strati completamente connessi (Lineari) seguiti da un ultimo strato Softmax classificano i dati nelle quattro categorie di carico.
• Addestramento: Il modello è stato addestrato utilizzando l'ottimizzatore Adam con un tasso di apprendimento di 0,001 e una funzione di perdita cross-entropy su 1.000 epoche.

Contributi Chiave

1. Nuovo Framework per la Classificazione Multi-livello: Il documento introduce un approccio strutturato per classificare quattro distinti livelli di carico cognitivo (da 0-back a 3-back) utilizzando la fNIRS, espandendosi oltre la convenzionale classificazione binaria presente nella maggior parte della letteratura precedente.
2. Architettura Ibrida CNN-LSTM: Lo studio propone un modello ibrido leggero che sfrutta le capacità di estrazione delle caratteristiche spaziali delle CNN e la forza nella modellazione delle dipendenze temporali delle LSTM. Questa integrazione mira a mitigare l'overfitting spaziale e a catturare la natura evolutiva del carico cognitivo.
3. Valutazione Esaustiva: Il framework è valutato rispetto ad algoritmi di ML tradizionali (Naive Bayes, Nearest Centroid, Alberi di Decisione, k-NN) e un modello baseline CNN privo di strati LSTM. Lo studio investiga specificamente l'impatto della rimozione degli strati LSTM per isolare il loro contributo alle prestazioni.

Risultati

• Accuratezza: Il modello proposto CNN-LSTM ha raggiunto un'accuratezza di classificazione del 97,89% (riportato come 97,92% nell'abstract e 97,82% nella conclusione, con la Tabella 2 che mostra il 97,89%). Ciò rappresenta un miglioramento rispetto al modello solo CNN, che ha raggiunto il 97,40%.
• Confronto con il ML Tradizionale: Il modello ibrido ha superato significativamente i classificatori ML tradizionali. Sebbene il k-NN sia stato il performer più forte tra i modelli tradizionali (accuratezza del 97,02%), il modello CNN-LSTM lo ha superato in tutte le metriche, inclusi F1-score, AUC, precisione e recall.
• Impatto dell'Integrazione LSTM: La rimozione degli strati LSTM ha causato una diminuzione marginale dell'accuratezza e ha introdotto fluttuazioni nelle curve di addestramento, indicando che il modello solo CNN faticava a catturare le relazioni sequenziali ed era più sensibile al rumore.
• Efficienza Computazionale: L'inclusione degli strati LSTM ha aumentato il tempo di addestramento da circa 7,79 minuti (CNN) a 9,76 minuti (CNN-LSTM). Anche i tempi di inferenza sono aumentati leggermente (ad esempio, da 0,0891 ms a 0,2153 ms su GPU), ma gli autori sottolineano che il modello rimane leggero e adatto ad applicazioni in tempo reale.

Significato e Rivendicazioni
Il documento afferma che l'integrazione degli strati LSTM nelle CNN fornisce una soluzione completa per l'analisi dei dati fNIRS, affrontando simultaneamente le sfide dell'estrazione delle caratteristiche spaziali e temporali. Gli autori sostengono che il loro modello ibrido leggero offre un'alternativa robusta ad architetture complesse e computazionalmente intensive, mantenendo un'alta accuratezza. Classificando con successo quattro livelli di carico cognitivo, lo studio dimostra il potenziale del deep learning nel gestire stati cognitivi più sfumati rispetto a quanto precedentemente ottenuto con la fNIRS. Gli autori concludono che il loro framework è scalabile e adattabile, rendendolo adatto ad applicazioni del mondo reale come i sistemi di apprendimento adattivo e il monitoraggio del carico di lavoro in tempo reale, data anche la sua capacità di operare efficientemente su dispositivi con risorse limitate.