MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations

Questo lavoro presenta MAD, un nuovo dataset multimodale e multi-perspettivo con annotazioni gerarchiche che sincronizza segnali fisiologici (EEG, ECG, EOG, EMG, PPG, BCG) e video facciali RGB-D per supportare la ricerca sull'elaborazione affettiva e il riconoscimento delle emozioni da prospettive neurali, fisiologiche e comportamentali.

L'essenziale

Immagina di voler capire davvero come si sente una persona quando è felice, arrabbiata o triste. Fino a poco tempo fa, gli scienziati e i computer facevano un po' di "gioco di specchi": guardavano solo il viso (se sorride o fa la faccia cattiva) o ascoltavano la voce. Ma il viso è come una maschera: a volte la sorridiamo anche se siamo tristi, o la stringiamo per non far vedere che abbiamo paura. È come se qualcuno ti chiedesse "Come stai?" e tu rispondessi sempre "Tutto bene", anche se dentro stai male.

Questo articolo presenta MAD, un nuovo "super-dataset" (un enorme archivio di dati) creato per risolvere proprio questo problema. È come se avessimo costruito una macchina del tempo emotiva che guarda dentro di noi da tre angolazioni diverse, tutte allo stesso tempo.

Ecco come funziona, spiegato con delle metafore semplici:

1. Tre Lenti per Vedere l'Emozione

Immagina che un'emozione sia come un'onda che parte dal cuore e arriva alla superficie. MAD registra tre cose contemporaneamente:

• La Lente del Cervello (EEG): È come avere un microfono attaccato direttamente al "centro di comando" del cervello. Registra i pensieri e le reazioni immediate, prima ancora che tu decida di fare una faccia. È la verità nuda e cruda.
• La Lente del Corpo (Cuore e Muscoli): Qui misurano il battito cardiaco (ECG), la pressione sanguigna (PPG) e persino le vibrazioni del corpo sulla sedia (BCG). È come ascoltare il tamburo del cuore che accelera quando hai paura o rallenta quando sei calmo. È la reazione automatica, quella che non puoi fingere.
• La Lente del Viso (Telecamere 3D): Invece di una sola telecamera, ne usano tre (sinistra, fronte, destra) che girano intorno alla persona. È come se avessi tre amici che ti guardano da angolazioni diverse per non farti sfuggire nemmeno un micro-sorriso o un sopracciglio alzato, anche se giri la testa.

2. La "Sinfonia" dei Dati

Il vero trucco di MAD è che tutto è perfettamente sincronizzato. È come se avessi un'orchestra dove il violino (cervello), il tamburo (cuore) e la voce (viso) suonano esattamente nello stesso millisecondo.
Fino ad oggi, molti studi guardavano solo il violino o solo il tamburo, e spesso non erano d'accordo tra loro. Con MAD, possiamo vedere come il cervello pensa "Ho paura", come il cuore inizia a battere forte, e come il viso fa la faccia spaventata, tutto in un unico flusso di dati.

3. Tre Livelli di Verità

Gli scienziati hanno etichettato questi dati in tre modi diversi, come se avessero tre diversi tipi di detective:

1. Il Detective Esterno: Guarda il video che la persona sta vedendo e dice: "Questo è un film triste, quindi l'emozione è Tristezza".
2. Il Detective Interno: Chiede alla persona: "Cosa hai provato davvero?". A volte la persona pensa: "Ho visto un film triste, ma io mi sono sentito arrabbiato".
3. Il Detective Esterno (Visivo): Guarda il viso e dice: "Vedo che stai piangendo, quindi sei Triste".

MAD permette di confrontare questi tre detective. A volte dicono la stessa cosa, a volte no! E proprio in queste differenze (quando il cervello dice una cosa, ma il viso ne mostra un'altra) si nasconde la vera scienza delle emozioni.

4. Perché è Importante?

Fino a ora, i computer per riconoscere le emozioni erano un po' come studenti che hanno studiato solo la teoria ma non hanno mai visto la realtà.

• Per la Salute: Potrebbe aiutare a capire meglio la depressione o l'ansia, vedendo cosa succede nel corpo prima ancora che la persona ne sia consapevole.
• Per la Tecnologia: Immagina un'auto a guida autonoma che non solo vede se guidi, ma "sente" se sei stressato o assonnato grazie al battito cardiaco e al cervello, e decide di rallentare per sicurezza.
• Per la Realtà: Permette di creare sistemi che non si fermano se giri la testa o se provi a nascondere la tua espressione.

In Sintesi

MAD è come un laboratorio di emozioni ultra-preciso. Non si limita a guardare la "facciata" (il viso), ma ascolta il "rumore di fondo" (il corpo) e legge i "pensieri" (il cervello) allo stesso tempo. È uno strumento fondamentale per insegnare alle macchine a capire non solo cosa mostriamo, ma cosa sentiamo davvero.

È un passo gigante verso computer che non sono solo intelligenti, ma anche empatici.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations" in lingua italiana.

Titolo: MAD: Un Dataset Affettivo Multimodale e Multi-perspectiva con Annotazioni Gerarchiche

1. Il Problema

Il riconoscimento delle emozioni è fondamentale per l'informatica affettiva, ma gli approcci esistenti presentano limitazioni significative:

• Dipendenza dai comportamenti osservabili: I metodi basati su testo, voce o espressioni facciali sono facili da acquisire ma possono essere influenzati da abitudini individuali, contesto sociale o mascheramento intenzionale, non riflettendo sempre fedelmente lo stato emotivo interno.
• Limiti dei segnali fisiologici unimodali: I segnali fisiologici (come EEG o ECG) offrono maggiore oggettività, ma un singolo modulo cattura solo una parte del processo emotivo. Ad esempio, l'EEG è sensibile ai movimenti, mentre i segnali cardiaci hanno un potere discriminatorio limitato per categorie fini.
• Carenza dei dataset esistenti: I dataset pubblici attuali (es. DEAP, SEED, FER2013) soffrono di:
  • Copertura modale limitata (spesso solo EEG o pochi segnali periferici).
  • Annotazioni a un solo livello (basate solo sullo stimolo o solo sull'autopercezione), rendendo difficile analizzare la coerenza tra stimolo, cognizione ed espressione.
  • Dati visivi limitati a video 2D monocamera, che ostacolano lo studio della robustezza cross-view e della percezione 3D.

2. Metodologia e Design del Dataset

Gli autori hanno sviluppato MAD (Multimodal Affection Dataset), un dataset progettato per supportare indagini cross-livello e cross-modale.

• Partecipanti e Protocollo: Il dataset include registrazioni sincronizzate da 18 partecipanti (9 maschi, 9 femmine) che hanno visualizzato 16 clip video emotive (durata 1-7 min) in un ambiente controllato.
• Acquisizione Multimodale Sincronizzata:
  • Segnali Fisiologici Centrali e Periferici: EEG (14 canali), EOG, ECG (2 canali), EMG (3 canali), PPG e BCG (sensore a sedia).
  • Dati Visivi: Video RGB-D tri-view (sinistra, frontale, destra) acquisiti con tre telecamere Intel RealSense D455.
  • Sincronizzazione: Tutti i dispositivi sono allineati tramite un sistema di timestamp unificato.
• Framework di Annotazione Gerarchica (Tre Livelli):
  1. Stimolo (Elicitazione): Etichette assegnate da annotatori esterni basate sul contenuto video (7 classi: felice, arrabbiato, triste, ecc., mappabili in 4 o 3 classi).
  2. Cognitivo (Soggettivo): Auto-valutazione dei partecipanti dopo la visione (stato emotivo percepito e intensità).
  3. Espressivo (Comportamentale): Etichette assegnate da osservatori umani basate sulle espressioni facciali visibili (3 classi: positivo, neutro, negativo).
• Preprocessing: Segmentazione in clip di 60 secondi, rimozione degli artefatti EEG (ICA), filtraggio dei segnali, e costruzione di un subset facciale multi-view tramite rilevamento volto e selezione dei frame.

3. Contributi Chiave

1. Dataset Multimodale Cross-Livello: Integrazione unica di segnali neurali centrali, risposte fisiologiche periferiche e comportamenti facciali multi-view in un'unica base dati sincronizzata.
2. Framework di Annotazione Gerarchica: Un sistema di etichettatura a tre livelli che permette di confrontare quantitativamente l'elicitazione dello stimolo, la cognizione soggettiva e l'espressione comportamentale.
3. Protocolli di Benchmark: Definizione di task standardizzati per valutare:
   • Riconoscimento EEG intra-soggetto e cross-soggetto (transfer learning).
   • Analisi di coerenza e sostituibilità dei segnali cardiaci (ECG, PPG, BCG).
   • Fusione fisiologica multimodale.
   • Riconoscimento delle emozioni facciali multi-view.

4. Risultati Sperimentali

Gli esperimenti di benchmark hanno validato il dataset attraverso cinque categorie principali:

• EEG Intra-soggetto: I modelli addestrati con etichette basate sullo stimolo hanno ottenuto prestazioni significativamente superiori (es. 89% di accuratezza) rispetto a quelli addestrati con etichette cognitive (69%). Questo suggerisce che la risposta neurale agli stimoli esterni è più coerente rispetto all'esperienza soggettiva, che varia tra individui. La coerenza tra le due etichette migliora ulteriormente le prestazioni.
• Transfer Learning Cross-soggetto: L'uso di metodi di adattamento di dominio (DAN, DANN, ecc.) ha mostrato prestazioni stabili su MAD, indicando che il dataset cattura una variabilità inter-individuale "realistica ma apprendibile", rendendolo adatto per la ricerca sul transfer learning.
• Segnali Cardiaci (ECG, PPG, BCG): Analisi di coerenza ritmica e riconoscimento delle emozioni hanno dimostrato che PPG e BCG (incluso il BCG non a contatto) mostrano trend di classificazione coerenti con l'ECG, suggerendo la loro potenziale sostituibilità in scenari indossabili o non invasivi.
• Fusione Multimodale: L'EEG rimane il modulo più discriminativo da solo. Tuttavia, la fusione con segnali periferici (ECG, EOG, EMG) migliora la robustezza, confermando la complementarità dei sistemi fisiologici.
• Espressioni Facciali Multi-view: L'uso di dati tri-view con apprendimento contrastivo ha migliorato significativamente la robustezza rispetto alle variazioni di posa, superando i modelli basati su una sola vista e dimostrando l'efficacia dell'approccio multi-view.

5. Significato e Implicazioni

Il dataset MAD rappresenta una risorsa fondamentale per l'avanzamento dell'informatica affettiva:

• Validazione Scientifica: Fornisce prove empiriche sulla discrepanza tra stimolo esterno, esperienza soggettiva ed espressione comportamentale, supportando teorie psicologiche e neuroscientifiche.
• Benchmark Affidabile: Offre un terreno di prova standardizzato per valutare modelli di riconoscimento emotivo, tecniche di fusione multimodale e algoritmi di adattamento di dominio.
• Versatilità Applicativa: La presenza di segnali non invasivi (PPG, BCG) e dati RGB-D apre la strada a sistemi di rilevamento delle emozioni più accessibili, indossabili e robusti in scenari reali.
• Futuro della Ricerca: Abilita lo studio dei meccanismi emotivi a più livelli, facilitando lo sviluppo di modelli interpretabili e generalizzabili che integrano neuroscienze, fisiologia e comportamento.

In sintesi, MAD colma le lacune dei dataset esistenti fornendo una piattaforma unificata per l'analisi completa del processo emotivo, dalla stimolazione neurale all'espressione comportamentale.