Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

Sintesi Tecnica: Modellazione Temporale Profonda e Fusione di Ensemble per il Riconoscimento Emotivo Multimodale

Definizione del Problema
Il rilevamento accurato e in tempo reale degli stati emotivi umani e dello stress dai segnali fisiologici è fondamentale per il monitoraggio della salute mentale, l'informatica indossabile (wearable computing) e l'informatica affettiva. Mentre i metodi tradizionali si affidano su auto-report soggettivi, i recenti progressi nei sensori indossabili (ad es. EDA, ECG, respirazione, accelerometria) consentono l'inferenza basata sui dati. Tuttavia, rimangono sfide significative nel modellare efficacemente le dipendenze temporali, gestire modalità sensoriali eterogenee e ottimizzare le strategie di fusione per garantire la generalizzazione tra i diversi utenti. La letteratura esistente spesso valuta singole architetture o specifiche strategie di fusione in isolamento, mancando di un confronto unificato e controllato dei principali modelli di deep learning temporale (LSTM, TCN, Transformer) in contesti unimodali, multimodali ed ensemble.

Metodologia
Gli autori presentano un quadro di valutazione completo utilizzando il dataset WESAD, un benchmark multimodale che coinvolge 15 partecipanti in condizioni di baseline, stress e divertimento (amusement). Lo studio impiega un protocollo di Leave-One-Subject-Out Cross-Validation (LOSO-CV) per garantire la generalizzazione indipendente dal soggetto.

• Pre-elaborazione dei Dati: I segnali provenienti dall'Empatica E4 (polso: EDA, BVP, TEMP, ACC) e dal RespiBAN (torace: RES, ECG, ACC) sono stati ricampionati a 4 Hz, segmentati in finestre non sovrapposte di 10 step e normalizzati per ogni soggetto per prevenire la fuga di dati (data leakage).
• Architetture dei Modelli: Sono state implementate tre distinte architetture di deep learning temporale:
  • LSTM: Una LSTM bi-direzionale a due strati, progettata per catturare dipendenze temporali a lungo raggio e transizioni graduali negli stati affettivi.
  • TCN: Uno stack di convoluzioni causali dilatate 1D con connessioni residue, ottimizzato per l'elaborazione parallela e l'estrazione di caratteristiche temporali multi-scala.
  • Transformer: Un encoder compatto che utilizza l'attenzione multi-testa (multi-head self-attention) per modellare le dipendenze su passi temporali arbitrari senza assumere una struttura locale, capace di concentrarsi su segmenti temporali salienti.
• Strategie di Fusione:
  • Early Fusion (Livello Sensore): Le caratteristiche del polso e del torace sono state concatenate lungo la dimensione dei canali prima dell'input nei modelli.
  • Late Fusion (Livello Ensemble): È stata implementata una strategia di ensemble mediante la media delle uscite di probabilità softmax dei tre modelli indipendentemente addestrati (LSTM, TCN, Transformer) per produrre la previsione finale.
• Studi di Ablazione: Gli autori hanno condotto estesi studi di ablazione addestrando i modelli su input solo del polso e solo del torace per quantificare il contributo individuale di ciascuna modalità.

Risultati Chiave
Gli esperimenti hanno prodotto le seguenti metriche di performance (riportate come media ± deviazione standard attraverso i fold LOSO):

• Performance dell'Ensemble: L'ensemble di late-fusion ha raggiunto la performance complessiva più elevata, raggiungendo un'accuratezza del 98,91 ± 0,13% e un macro-F1 score del 98,56 ± 0,17%. Questo approccio ha dimostrato una stabilità superiore, con una varianza significativamente inferiore tra i soggetti rispetto ai singoli modelli.
• Confronto tra Architetture (Multimodale): Nell'impostazione multimodale, l'architettura Transformer ha costantemente ottenuto l'accuratezza più alta tra i modelli stand-alone (99,02 ± 0,51%), grazie alla sua capacità di modellare complesse dipendenze temporali tramite self-attention.
• Performance Specifiche per Modalità:
  • Solo Polso: Il modello TCN ha ottenuto le migliori prestazioni nella configurazione solo polso (98,20 ± 0,41% di accuratezza), superando sia LSTM che Transformer in questa specifica impostazione di ablazione.
  • Solo Torace: L'LSTM ha ottenuto i risultati più forti per gli input solo torace, sebbene la performance complessiva sia stata inferiore alle configurazioni solo polso.
• Contributo della Modalità: La fusione multimodale ha costantemente superato le configurazioni unimodali in tutte le architetture. Tuttavia, i modelli solo polso hanno dimostrato performance competitive, suggerendo la fattibilità per applicazioni wearable con risorse limitate. La classe "Amusement" ha costantemente prodotto punteggi inferiori in tutti i modelli, evidenziando la difficoltà di classificare questo stato rispetto a stress o baseline.

Contributi Chiave

1. Quadro di Benchmarking Unificato: Il documento stabilisce un confronto sistematico e indipendente dall'architettura di modelli LSTM, TCN e Transformer sotto impostazioni unimodali, multimodali ed ensemble, utilizzando un protocolo LOSO-CV coerente sul dataset WESAD.
2. Strategia di Dual-Fusion: Lo studio dimostra l'efficacia della combinazione di early sensor fusion (concatenazione delle caratteristiche) con la late model ensemble fusion (media delle probabilità), mostrando come questo approccio duale sfrutti sia la sinergia tra i sensori che la riduzione della varianza.
3. Approfondimenti su Modalità e Architettura: Il lavoro chiarisce che, mentre i Transformer eccellono nei contesti multimodali, i TCN e le LSTM rimangono altamente efficaci in scenari con sensori limitati (solo polso), fornendo indicazioni pratiche per la progettazione di sistemi basati sull'hardware disponibile.
4. Analisi della Robustezza: Riportando le deviazioni standard attraverso 15 fold LOSO, lo studio fornisce una stima affidabile della variabilità inter-soggetto, dimostrando che i metodi ensemble riducono significativamente la varianza e migliorano la generalizzazione.

Significato e Rivendicazioni
Gli autori sostengono che le loro scoperte offrono spunti pratici per lo sviluppo di sistemi di riconoscimento delle emozioni robusti e scalabili. Nello specifico, il documento afferma che:

• Gli metodi ensemble sono altamente efficaci per il riconoscimento emotivo fisiologico, fornendo accuratezza e stabilità superiori rispetto agli approcci a modello singolo.
• La fusione dei sensori è critica, ma i segnali del solo polso (comuni negli smartwatch) possono supportare un riconoscimento accurato, rendendo la tecnologia praticabile per un deployment nel mondo reale, non invasivo.
• Non esiste un'unica architettura "migliore" per tutti gli scenari; la scelta ottimale dipende dalla modalità di input (ad es. TCN per il solo polso, Transformer per il multimodale).
• Questo lavoro colma una lacuna nella letteratura fornendo un'analisi comparativa controllata di queste tre principali architetture temporali, isolando gli effetti della scelta dell'architettura, della modalità del sensore e del design della fusione sulle performance di riconoscimento dell'affetto.

Il documento conclude che la combinazione di fusione dei sensori e fusione basata su ensemble è una direzione promettente per la creazione di sistemi affidabili per il rilevamento fisiologico di stress ed emozioni.