Decision-Level Fusion for Robust Wearable Affect Recognition

Riepilogo Tecnico: Fusione a Livello Decisionale per il Riconoscimento Robusto dell'Affettività Indossabile

Enunciato del Problema
Il riconoscimento automatico degli stati affettivi (nello specifico, baseline, stress e divertimento) a partire da segnali fisiologici indossabili incontra sfide significative nel dispiegamento nel mondo reale. Sebbene dataset come WESAD facilitino la valutazione, le pipeline attuali faticano con la natura non stazionaria, rumorosa e dipendente dal soggetto delle serie temporali fisiologiche. Sono state identificate due limitazioni primarie:

1. Estrazione delle Caratteristiche: I metodi comuni che si basano su caratteristiche spettrali a base fissa (ad es., potenza di banda FFT, PSD di Welch) assumono la stazionarietà locale. Questi approcci spesso livellano eccessivamente i pattern transitori discriminativi di breve durata, critici per distinguere gli stati affettivi.
2. Integrazione Multimodale: Il rilevamento nel mondo reale è soggetto ad artefatti, guasti del segnale e modalità mancanti. Gli approcci tradizionali di fusione precoce (a livello di caratteristiche) spesso assumono la disponibilità completa dei sensori, portando a un degrado delle prestazioni quando i sensori sono rumorosi o non disponibili.

Metodologia
Gli autori propongono una pipeline a tre stadi progettata per affrontare la non stazionarietà e l'affidabilità dei sensori:

1. Estrazione di Caratteristiche Non Stazionarie (FBSE-EWT):
   Invece delle trasformate di Fourier a finestra fissa, il documento introduce un metodo ibrido di analisi del segnale che combina l'Espansione in Serie di Fourier-Bessel (FBSE) con la Trasformata Wavelet Empirica (EWT).

   • FBSE: Rappresenta il segnale a finestra utilizzando basi di Bessel, che esibiscono un comportamento simile alla modulazione di ampiezza, adatto per segnali a banda larga e non stazionari.
   • EWT: Esegue una segmentazione spettrale guidata dai dati. A differenza delle banche wavelet fisse, l'EWT impara le bande wavelet direttamente dallo spettro del segnale rilevando minimi significativi in un istogramma dello spettro FBSE.
   • Costruzione delle Caratteristiche: Il metodo ricostruisce i modi da questi filtri adattivi ed estrae descrittori a dimensionalità fissa, inclusi energia del modo, log-energia ed entropia del modo. Questo preserva le strutture spettrali transitorie che i metodi a base fissa potrebbero scartare.

2. Predizione a Sensore Singolo (SSP):
   Ogni modalità (ECG, EDA, BVP, EMG, ACC) viene elaborata indipendentemente da un predittore dedicato. Gli autori utilizzano un Perceptron Multistrato (MLP) con attivazione ReLU e un layer di output softmax.

   • L'MLP restituisce una distribuzione di probabilità ($P_i$) sulle classi affettive e un punteggio di confidenza ($F1_i$) che rappresenta l'affidabilità del predittore.
   • Questo design modulare permette a ogni sensore di apprendere pattern discriminativi dell'affetto indipendentemente, evitando la complessità dei modelli temporali (come CNN/LSTM) mantenendo l'efficienza per dataset più piccoli.

3. Aggregazione a Livello Decisionale Consapevole dell'Incertezza:
   Piuttosto che fondere dati grezzi o caratteristiche, la pipeline aggrega le predizioni indipendenti a livello decisionale. La predizione finale è una media ponderata delle probabilità dei singoli sensori, dove i pesi sono determinati da:

   • Incertezza Predittiva: Misurata tramite l'entropia dell'informazione ($H(P_i)$) della specifica istanza di predizione. Un'entropia inferiore (certezza maggiore) aumenta il peso.
   • Affidabilità della Modalità: Misurata dal punteggio F1 globale ($F1_i$) del predittore a sensore singolo.
   • Regola di Fusione: La probabilità aggregata per una classe $e$ è calcolata come:
     $$P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$$
     dove $\gamma$ è un fattore di normalizzazione. Questo design garantisce che sensori incerti o inaffidabili contribuiscano meno alla decisione finale, permettendo un degrado elegante quando i sensori falliscono o sono rumorosi.

Contributi Chiave

1. Rappresentazione Adattiva: Una rappresentazione non stazionaria (FBSE-EWT) che isola i modi spettrali transitori tramite segmentazione guidata dai dati, preservando meglio la struttura dinamica dei segnali fisiologici rispetto ai metodi a base fissa.
2. Meccanismo di Fusione Robusto: Una regola di fusione decisionale modulare e consapevole dell'incertezza che pesa i contributi dei sensori basandosi sia sull'entropia specifica dell'istanza sia sull'affidabilità globale della modalità, garantendo stabilità in presenza di dati mancanti o rumorosi.
3. Validazione Empirica: Una valutazione sul dataset WESAD che dimostra l'efficacia di questo approccio per il riconoscimento dell'affetto a tre classi.

Risultati
Valutato sul dataset WESAD (15 soggetti, 5 sensori, 3 classi), il framework proposto ha prodotto le seguenti risultanze:

• Fusione Decisionale vs. Fusione delle Caratteristiche: L'aggregazione a livello decisionale è risultata essere ≈84% buona quanto o migliore dell'aggregazione a livello di caratteristiche. In ≈48% dei casi, la fusione a livello decisionale è stata strettamente superiore.
• Robustezza alla Dimensione del Gruppo: L'aggregazione a livello decisionale ha costantemente superato l'aggregazione a livello di caratteristiche attraverso tutte le dimensioni del gruppo (da singoli sensori a quartetti completi).
• Scalabilità: L'accuratezza è migliorata all'aumentare del numero di sensori partecipanti all'aggregazione, confermando il beneficio dell'integrazione multimodale anche quando i singoli sensori variano in qualità.

Significato e Affermazioni
Il documento afferma che la pipeline proposta offre una maggiore robustezza per il riconoscimento dell'affettività indossabile in ambienti di rilevamento eterogenei e parzialmente affidabili. Spostandosi dalla fusione a livello di caratteristiche alla fusione a livello decisionale e impiegando una decomposizione spettrale adattiva, il sistema restituisce stati di credenza calibrati piuttosto che predizioni eccessivamente confidenti. Ciò è particolarmente significativo per il supporto decisionale basato su agenti in contesti sanitari e assistenziali, dove gli interventi devono essere attivati con cautela in condizioni di incertezza. Gli autori posizionano questo lavoro come un passo verso sistemi sanitari consapevoli dell'affetto e dispiegabili, capaci di gestire le realtà della fisiologia non stazionaria e del guasto dei sensori senza richiedere conoscenze esperte di specifiche caratteristiche del segnale per l'integrazione.