Stimulus identity rather than emotion drives EEG classification on the FACED dataset

Sintesi Tecnica: L'identità dello stimolo, piuttosto che l'emozione, guida la classificazione EEG sul dataset FACED

Problematica
I dataset di riferimento affidabili sono fondamentali per far progredire l'elaborazione delle emozioni basata su EEG. Il Finer-grained Affective Computing EEG Dataset (FACED), attualmente il più grande dataset EEG sulle emozioni disponibile pubblicamente, composto da 123 soggetti e nove categorie emotive, è diventato un benchmark ampiamente adottato. Tuttavia, questo articolo identifica un difetto critico nell'utilità del dataset: la performance di classificazione su FACED sembra riflettere l'identità dello stimolo piuttosto che la vera emozione. Lo studio sostiene che gli attuali protocolli di valutazione su FACED siano suscettibili di confondimenti derivanti da specifiche scelte progettuali, portando a metriche di accuratezza gonfiate o fuorvianti che non si generalizzano alla reale decodifica emotiva.

Metodologia
Gli autori hanno impiegato un'analisi comparativa utilizzando due distinti approcci di classificazione: un classificatore lineare (LinearSVC) e un modello di deep learning (CLISA). Per isolare i fattori che guidano la performance di classificazione, lo studio ha condotto tre specifiche manipolazioni sperimentali sui dati FACED:

1. Analisi Feeling vs. Non-Feeling: Gli autori hanno confrontato la performance di classificazione sulle prove in cui i soggetti riferivano esplicitamente di provare l'emozione assegnata rispetto alle prove in cui non la provavano.
2. Sostituzione delle Etichette: Lo studio ha sostituito le etichette originali assegnate allo stimolo (l'emozione che il video intendeva evocare) con le auto-segnalazioni individuali dell'emozione effettivamente provata dal soggetto, valutando poi nuovamente l'accuratezza della classificazione.
3. Riduzione degli Stimoli: Gli autori hanno ridotto il dataset a un singolo video per categoria emotiva, scartando di fatto due terzi dei dati, per testare se l'accuratezza persistesse quando la variabilità dello stimolo veniva minimizzata.

Risultati Chiave
I risultati sperimentali hanno prodotto tre scoperte primarie che mettono in discussione la validità di FACED come benchmark per il riconoscimento delle emozioni:

• Performance Indistinguibile: La performance di classificazione è rimasta paragonabile indipendentemente dal fatto che i soggetti riportassero di provare l'emozione target o meno, suggerendo che il modello non stia apprendendo stati emotivi, ma piuttosto caratteristiche dello stimolo.
• Degradazione della Performance con le Auto-segnalazioni: Quando le etichette assegnate allo stimolo sono state sostituite con le auto-segnalazioni individuali, l'accuratezza della classificazione è scesa significativamente. Ciò indica che i modelli addestrati sulle etichette originali stanno fallendo nel catturare l'esperienza emotiva soggettiva dei partecipanti.
• Aumento dell'Accuratezza tramite Riduzione degli Stimoli: Contrariamente all'aspettativa che meno dati possano penalizzare la performance, l'accuratezza è aumentata quando il dataset è stato ridotto a un solo video per emozione. Questo risultato controintuitivo conferma che i modelli stanno sfruttando l'identità dello stimolo (caratteristiche visive o uditive specifiche uniche per un video) piuttosto che la categoria emotiva stessa.

Analisi della Causa Radice
L'articolo attribuisce questi risultati a tre specifiche scelte progettuali inerenti a FACED:

1. Pochi Stimoli per Categoria: Il numero limitato di video unici per categoria emotiva crea una forte correlazione tra lo stimolo e l'etichetta.
2. Etichette Assegnate allo Stimolo: Il ricorso all'emozione prevista del video, anziché al sentimento effettivamente riportato dal soggetto, introduce un problema di rumore nelle etichette.
3. Split Temporali Intra-Video: L'uso di split temporali per la cross-validazione (suddividendo i dati dello stesso video in set di addestramento e di test) permette al modello di apprendere l'autocorrelazione temporale e le caratteristiche specifiche dello stimolo, che poi si generalizzano perfettamente al set di test senza apprendere l'emozione sottostante.

Significatività e Raccomandazioni
L'articolo conclude che gli attuali benchmark su FACED misurano probabilmente la capacità di riconoscere specifici clip video piuttosto che decodificare stati emotivi. Per guidare la ricerca futura e prevenire questi confondimenti, gli autori propongono cinque raccomandazioni specifiche per i design sperimentali di decodifica delle emozioni:

• Potenziare la diversità degli stimoli per garantire molteplici stimoli unici per ogni categoria emotiva.
• Implementare l'indipendenza temporale nella suddivisione dei dati per prevenire la fuga (leakage) di caratteristiche specifiche dello stimolo.
• Dare priorità alla validazione delle etichette utilizzando le auto-segnalazioni piuttosto che affidarsi esclusivamente alle etichette assegnate allo stimolo.
• (Implicitamente) Progettare esperimenti che testino esplicitamente e mitigano i confondimenti legati all'identità dello stimolo.

La significatività di questo lavoro risiede nella sua chiamata a rivalutare la validità dei benchmark ampiamente utilizzati. Esponendo la suscettibilità di FACED ai confondimenti dell'identità dello stimolo, l'articolo mira a orientare la comunità verso design sperimentali più rigorosi che facciano progredire realmente il campo del riconoscimento delle emozioni basato su EEG.