egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

Il paper presenta egoEMOTION, il primo dataset che combina segnali visivi egocentrici e fisiologici con autovalutazioni di emozioni e personalità per definire nuovi benchmark di riconoscimento affettivo in scenari reali.

L'essenziale

Immagina di avere un superpotere: la capacità di leggere non solo cosa fanno le persone, ma anche cosa provano e chi sono davvero, semplicemente guardandole attraverso gli occhiali che indossano.

Questo è il cuore del progetto egoEMOTION, presentato da ricercatori dell'ETH Zurigo. Ecco di cosa si tratta, spiegato in modo semplice e con qualche metafora per rendere tutto più chiaro.

1. Il Problema: Gli Occhiali "Ciechi" alle Emozioni

Fino a oggi, i computer che guardano il mondo attraverso gli occhiali intelligenti (come quelli di realtà aumentata) erano molto bravi a dire: "Oh, stai cucinando una pasta" o "Stai guardando quel gatto".
Ma erano come un detective che vede solo le azioni, ma non il movente. Se una persona sta cucinando, il computer sa che sta cucinando, ma non sa se lo sta facendo con gioia, con rabbia o con la tristezza di un divorzio appena subito.
I vecchi sistemi assumevano che tutti fossero "neutrali" e felici, ignorando che le nostre emozioni e la nostra personalità guidano ogni nostra decisione.

2. La Soluzione: Il "Kit di Sopravvivenza" Emotivo

I ricercatori hanno creato un nuovo dataset (una gigantesca raccolta di dati) chiamato egoEMOTION. Immaginalo come un diario di bordo ultra-dettagliato di 43 persone.

Per raccogliere questi dati, hanno equipaggiato i volontari con un vero e proprio "kit di super-sensori":

• Gli Occhiali (Project Aria): Registrano ciò che vedi tu (la telecamera), dove guardi (il movimento degli occhi) e come muovi la testa.
• I Sensori del Corpo: Cinture al petto e sensori alle orecchie che misurano il battito cardiaco, la respirazione e la sudorazione (come se il corpo stesse "parlando" con il computer).
• Il Diario Umano: Dopo ogni attività, le persone dovevano dire esattamente cosa provavano, usando scale di emozioni (tipo "sono felice", "sono arrabbiato") e test sulla loro personalità.

3. Cosa hanno fatto i volontari?

Hanno vissuto due tipi di esperienze, come se fossero in un reality show emotivo:

1. Il Cinema (Sessione Indotta): Hanno guardato 9 video brevi progettati per scatenare emozioni specifiche (uno per far ridere, uno per spaventare, uno per disgustare, ecc.).
2. La Vita Reale (Sessione Naturale): Hanno fatto cose normali ma impegnative emotivamente: dipingere, giocare a Jenga, mangiare fagioli gelatina disgustosi, o cercare di non ridere mentre un amico racconta barzellette.

4. La Scoperta Sorprendente: Gli Occhiali sono più bravi del Cuore?

Il risultato più incredibile è come i computer hanno imparato a leggere queste emozioni.
I ricercatori hanno provato due metodi:

• Metodo A (Il Cuore): Usare solo i dati fisiologici (battito, respiro, sudore). È come cercare di capire se sei arrabbiato solo guardando quanto sudi.
• Metodo B (Gli Occhiali): Usare solo i dati visivi degli occhiali (dove guardi, come si muovono le tue pupille, la tua postura). È come capire se sei arrabbiato guardando come fissi il muro o come stringi i denti.

Il verdetto? Il Metodo B (gli occhiali) ha vinto!
È come se il computer avesse scoperto che il modo in cui guardi il mondo è più rivelatore del tuo battito cardiaco. I dati visivi (specialmente il movimento degli occhi e la dilatazione delle pupille) sono riusciti a indovinare le emozioni e la personalità meglio dei sensori medici tradizionali.

5. Perché è importante?

Fino ad ora, i computer erano come automobili a guida autonoma che vedono la strada ma non capiscono il traffico emotivo.
Con egoEMOTION, stiamo costruendo il primo "manuale di istruzioni" per insegnare alle macchine a capire l'umore umano.

Immagina le applicazioni future:

• Assistenti Virtuali Intelligenti: Un assistente che, se vede che sei stressato (guardi nervosamente in giro e la pupilla si dilata), ti suggerisce di fare una pausa invece di darti altre notizie di lavoro.
• Realtà Virtuale che reagisce: Un gioco che diventa più difficile se vede che sei annoiato, o più rilassante se vede che sei ansioso.
• Salute Mentale: Rilevare precocemente stati di depressione o ansia basandosi su come una persona si muove e guarda il mondo nella vita di tutti i giorni.

In Sintesi

egoEMOTION è come aver dato agli occhi del computer una "terza dimensione": non vedono più solo cosa fai, ma come ti senti mentre lo fai. È un passo enorme per trasformare la tecnologia da uno strumento freddo e meccanico a un compagno che ci capisce davvero, emozioni comprese.

Sommario tecnico

1. Il Problema

I sistemi di visione egocentrica (che catturano il mondo dal punto di vista dell'utente, come gli occhiali intelligenti) hanno fatto grandi progressi nel riconoscimento delle azioni fisiche, delle interazioni mano-oggetto e della modellazione dell'attenzione. Tuttavia, le attuali benchmark e dataset ignorano quasi completamente gli stati interni dell'utente, in particolare le emozioni e la personalità, che sono fattori determinanti nel modellare il comportamento umano, le decisioni e le interazioni sociali.
La maggior parte degli studi esistenti assume partecipanti con affettività neutra e personalità uniforme, limitando la capacità dei sistemi di visione di comprendere le vere motivazioni comportamentali. Inoltre, molti dataset di riconoscimento delle emozioni sono limitati a laboratori controllati o mancano di segnali fisiologici sincronizzati con dati visivi egocentrici di alta qualità.

2. Metodologia e Dataset

Gli autori hanno creato egoEMOTION, il primo dataset multimodale che combina segnali visivi egocentrici e segnali fisiologici con report soggettivi densi su emozioni e personalità, sia in scenari controllati che nel mondo reale.

• Partecipanti e Strumentazione:

  • 43 partecipanti (studenti, età media 26 anni) hanno completato la sessione.
  • Dispositivo principale: Occhiali Meta Project Aria, che forniscono:
    • Video Eye-tracking (640x480 px, 90 fps per occhio).
    • Video Point-of-View (POV) esterno (1408x1408 px, 10 fps).
    • IMU (Unità di misura inerziale) per il movimento della testa.
  • Sensori Fisiologici aggiuntivi:
    • PPG (Fotopletismografia) su naso e orecchio.
    • ECG (Elettrocardiogramma) tramite fascia toracica.
    • EDA (Attività Elettrodermica) su dita.
    • RSP (Respirazione) tramite cintura toracica.
  • Video esterno: Webcam per l'etichettatura delle espressioni facciali.

• Protocollo Sperimentale:
  Il dataset è composto da 50 ore di registrazioni totali, suddivise in due sessioni:

  1. Sessione A (Indotta): 9 clip video progettate per elicitarre emozioni specifiche (es. paura, disgusto, gioia) basate sul modello di Mikels.
  2. Sessione B (Naturalistica): 7 attività spontanee nel mondo reale (es. dipingere, giocare a Jenga, scrivere una lettera triste, giocare a Flappy Bird).
  • Annotazione: Dopo ogni stimolo, i partecipanti hanno compilato due questionari:
    • emoti-SAM: Per Valenza, Arousal e Dominanza (Modello Circumplex).
    • Mikels' Wheel (Ponderata): Distribuzione di pesi (0-100%) su 9 emozioni discrete (incluso "Neutro") per catturare emozioni miste.
    • BFI-2: Questionario Big Five per la personalità (Estroversione, Gradevolezza, Coscienziosità, Nevroticismo, Apertura).

3. Contributi Chiave

1. Primo Dataset Multimodale Egocentrico: Unione di visione egocentrica, eye-tracking e fisiologia per il riconoscimento di emozioni e tratti di personalità in scenari reali.
2. Tre Task di Benchmark:
   • Classificazione continua dell'affetto (Valenza, Arousal, Dominanza).
   • Classificazione discreta delle emozioni (9 classi).
   • Inferenza dei tratti di personalità (Big Five).
3. Scoperta Contrintuitiva: Dimostrazione che i segnali puramente egocentrici (specialmente eye-tracking e movimento della testa) possono superare i tradizionali sensori fisiologici indossabili per la previsione delle emozioni nel mondo reale.
4. Rilascio Open Source: Dataset e implementazioni di base approvati eticamente (ETH Zurich).

4. Risultati Sperimentali

Gli autori hanno confrontato metodi di apprendimento automatico classici (SVM, Random Forest) con approcci Deep Learning (CNN, Transformer) utilizzando diverse combinazioni di modalità.

• Riconoscimento dell'Affetto Continuo (Valenza/Arousal/Dominanza):

  • I segnali degli occhiali egocentrici (soprattutto le caratteristiche della pupilla e l'eye-tracking) hanno ottenuto un F1-score medio di 0.74.
  • I soli sensori fisiologici tradizionali (ECG, EDA, RSP) hanno ottenuto 0.70.
  • La fusione di tutte le modalità ha raggiunto 0.75.
  • Conclusione: La visione egocentrica da sola è sufficiente e competitiva rispetto ai sensori fisiologici complessi.

• Riconoscimento di Emozioni Discrete:

  • I segnali degli occhiali hanno ottenuto un F1-score di 0.46, significativamente superiore alla linea di base casuale (0.11) e ai sensori indossabili (0.22 per EDA, 0.13 per ECG).
  • L'accelerazione della testa (IMU) e l'intensità della pupilla sono state le caratteristiche più informative.

• Predizione della Personalità:

  • Gli occhiali egocentrici hanno ottenuto un F1-score di 0.57, superando i sensori indossabili (0.50).
  • L'eye-tracking è risultato la singola modalità migliore per questo compito.

• Metodi Classici vs Deep Learning:

  • In tutti i task, i metodi classici (SVM/Random Forest) con feature engineering manuale hanno superato le architetture Deep Learning (CNN e Transformer) su questo dataset, suggerendo che per dati fisiologici e visivi brevi, l'ingegneria delle feature è ancora cruciale.

5. Significato e Implicazioni

Il paper egoEMOTION segna un punto di svolta nella ricerca sull'interazione uomo-computer (HCI) e sulla visione artificiale:

• Superamento del "Neutral Bias": Introduce la necessità di modellare lo stato affettivo e i tratti di personalità per comprendere appieno il comportamento umano in sistemi egocentrici.
• Praticità dei Dispositivi Indossabili: Dimostra che occhiali intelligenti commerciali (come Project Aria) possono catturare segnali emotivi ricchi (pupilla, micro-movimenti oculari, movimento della testa) senza bisogno di sensori fisiologici invasivi o complessi, rendendo il monitoraggio delle emozioni più scalabile e discreto.
• Applicazioni Future: Apre la strada a sistemi di IA adattivi, monitoraggio della salute mentale, interfacce più intuitive e robotica sociale che reagiscono non solo a cosa fa l'utente, ma a come si sente e chi è.

In sintesi, egoEMOTION fornisce le basi per passare da sistemi che "vedono" le azioni a sistemi che "comprendono" le emozioni e la personalità degli utenti nel mondo reale.