egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

Dit paper introduceert egoEMOTION, het eerste dataset dat egocentrische visuele en fysiologische signalen koppelt aan zelfgerapporteerde emoties en persoonlijkheid, waarmee nieuwe richtingen worden geopend voor affectgedreven gedragsmodellering in real-world scenario's.

De kern

De Kern: Een Emotie-Spiegel voor Brillen

Stel je voor dat je een slimme bril draagt (zoals de Meta Project Aria-bril in dit onderzoek). Tot nu toe konden deze brillen vooral goed zien wat je deed: "Ah, je bent een kopje koffie aan het maken" of "Je loopt naar de deur". Maar ze wisten niet hoe je je voelde. Was je blij? Nervous? Boos?

De onderzoekers van de ETH Zürich zeggen: "Dat is een gemiste kans!" Om echt te begrijpen waarom mensen doen wat ze doen, moeten we hun gevoelens en persoonlijkheid meenemen. Daarom hebben ze egoEMOTION gemaakt: een gigantische database die een brug slaat tussen wat je ziet (via de bril) en wat er in je lijf gebeurt (via sensoren).

Hoe hebben ze dit gedaan? (Het Experiment)

Stel je voor dat je op een feestje bent, maar dan met wetenschappers die alles opslaan. Ze hebben 43 mensen uitgenodigd voor een dagje "gevoels-trips".

1. De Uitrusting: De deelnemers kregen een bril op met camera's die keken waar ze naar keken (oogvolging) en wat ze zagen. Daarnaast hadden ze een "medisch pak" aan: riemen om hun borst (voor het hart), een band om hun buik (voor ademhaling) en sensoren op hun vingers en oren (voor stress en huidgevoel).
2. De Acties:
   • De Filmavond (Gesimuleerd): Ze keken naar korte filmpjes die speciaal waren gemaakt om bepaalde gevoelens op te wekken. Denk aan een grappige scène uit When Harry Met Sally (voor humor) of een eng moment uit Psycho (voor angst).
   • Het Dagelijkse Leven: Daarna deden ze echte dingen: ze speelden Jenga (een spelletje met houtblokjes), schilderden een schilderij, of probeerden lachen terwijl ze grapjes vertelden.
3. De Check-in: Na elke activiteit moesten ze eerlijk zeggen: "Hoe voel ik me nu?" Ze gebruikten een soort "emotie-wiel" om precies aan te geven of ze blij, boos, angstig of saai waren.

Wat hebben ze ontdekt? (De verrassende resultaten)

Hier wordt het echt interessant. De onderzoekers dachten misschien: "Oké, de hartslag en ademhaling vertellen ons het meest over iemands gevoel."

Maar wat bleek? De camera in de bril was vaak slimmer dan de sensoren op het lichaam.

• De Analogie: Stel je voor dat je probeert te raden of iemand verliefd is. Je kunt kijken naar hun hartslag (die gaat sneller), maar je kunt ook gewoon in hun ogen kijken. Soms zegt een snelle hartslag alleen maar "ik heb net hard gelopen", maar een specifieke blik in de ogen zegt "ik ben verliefd".
• De Bevinding: De bril zag kleine details die de sensoren misten: hoe groot de pupillen werden, waar ze naar keken, en hoe snel ze knipperden. Deze "oog-signalen" waren vaak een betere voorspeller van emotie dan de traditionele meetapparatuur.

Waarom is dit belangrijk? (De Toekomst)

Voorheen dachten computersystemen dat iedereen hetzelfde reageerde op situaties. "Als iemand een deur opent, is dat omdat ze naar buiten willen."
Met egoEMOTION kunnen we systemen maken die begrijpen: "Oh, deze persoon opent de deur, maar hun ogen zijn wijd en hun hartslag is hoog. Ze zijn waarschijnlijk bang of opgewonden, niet gewoon op weg naar buiten."

Dit opent de deur voor:

• Slimmere robots: Die weten wanneer je gefrustreerd bent en je helpen in plaats van je te irriteren.
• Gezondheidszorg: Systemen die vroegtijdig stress of burnout signaleren voordat je het zelf merkt.
• Betere games en VR: Werelden die reageren op je angst of opwinding, zodat de ervaring persoonlijker wordt.

Samenvattend

egoEMOTION is als een nieuwe taal die we leren spreken met onze computers. In plaats van alleen te kijken naar wat we doen, kijken we nu ook naar wie we zijn en hoe we ons voelen. En het beste nieuws? Je hoeft daarvoor geen medisch pak aan; je eigen bril (of telefoon) kan dat werk al doen, zolang we maar weten hoe we naar de data moeten kijken.

Het onderzoek laat zien dat onze ogen en hoe we kijken, vaak meer vertellen over onze ziel dan onze hartslag.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor egocentrisch zicht (eerste-persoon perspectief) richten zich voornamelijk op fysieke activiteiten, hand-object interacties en aandachtmodelleren. Deze systemen gaan er vaak onbewust van uit dat deelnemers een neutrale affectieve toestand hebben en een uniforme persoonlijkheid. Hierdoor missen deze systemen cruciale interne drijfveren van menselijk gedrag, zoals emotie en persoonlijkheid, die beslissingen en interacties in de echte wereld sterk beïnvloeden. Er is een gebrek aan datasets die egocentrische visuele data koppelen aan fysiologische signalen en gedetailleerde zelfrapportages over affectieve toestanden in zowel gecontroleerde als natuurlijke omgevingen.

Methodologie en Dataset (egoEMOTION)

Het paper introduceert egoEMOTION, het eerste multimodale dataset dat egocentrisch zicht combineert met fysiologische signalen voor de herkenning van emotie en persoonlijkheid.

1. Datacollectie en Opzet:

• Deelnemers: 43 gezonde proefpersonen (voornamelijk studenten, leeftijd 19-29).
• Duur: In totaal meer dan 50 uur aan opnames.
• Hardware:
  • Egocentrisch Zicht: Meta Project Aria bril. Dit registreert oogbewegingen (eye-tracking, 90 fps), een POV-camera (10 fps) en hoofd-IMU data.
  • Fysiologische Sensoren: Een reeks draagbare sensoren, waaronder ECG (borstband), EDA (huidgeleidbaarheid), PPG (oor en neus), ademhalingsband (RSP) en een extra neus-pads PPG-sensor.
  • Referentie: Een externe webcam (60 fps) voor gezichtsuitdrukkingen.
• Experimentele Protocol: De sessie bestond uit twee delen:
  • Sessie A (Geïnduceerd): 9 videoclips die specifieke emoties opwekken (gebaseerd op Mikels' Wheel), voorafgegaan door een fixatiekruis en gevolgd door een "washout" (neutrale wolkenvideo).
  • Sessie B (Natuurlijk): 7 spontane dagelijkse activiteiten (bijv. Jenga, schilderen, Flappy Bird, een verdrietige brief schrijven, een horror-game spelen).
• Annotatie: Na elke taak rapporteerden deelnemers hun toestand via:
  • Circumplex Model: Waarden voor Arousal, Valence en Dominance (V-A-D) via emoti-SAM.
  • Discrete Emoties: Een gewogen versie van Mikels' Wheel (9 emoties: amusement, content, excitatie, awe, neutraal, angst, verdriet, walging, woede).
  • Persoonlijkheid: Big Five Inventory-2 (BFI-2) voor Extraversie, Vriendelijkheid, Consciëntieusheid, Negatieve Emotiviteit en Openheid.

2. Feature Extractie:
Er werden in totaal 612 features geëxtraheerd uit de tijdreeksdata, waaronder:

• Visueel/Eye-tracking: Pupilgrootte, oogbeweging (yaw/pitch), pixelintensiteit, Fisherface-features (PCA+LDA), knipperfrequentie en micro-expressies (via LBP-TOP).
• Fysiologisch: Statistische descriptors (gemiddelde, variantie, spectrale power, etc.) van ECG, EDA, RSP en PPG.
• IMU: Magnitude van versnellingsdata.

3. Benchmark Taken:
De auteurs definiëren drie voorspellende taken:

1. Continue Affect Classificatie: Voorspellen van V-A-D niveaus (binair: laag/hoog).
2. Discrete Emotie Classificatie: 9-klassen classificatie van de dominante emotie.
3. Persoonlijkheidsinferentie: Voorspellen van de 5 Big Five traits (binair: laag/hoog).

4. Baseline Modellen:
Er werden klassieke machine learning-methoden (SVM met RBF-kernel, Random Forest) vergeleken met diepe leermodellen (CNN en Transformer-based WER). De evaluatie gebruikte "Leave-One-Subject-Out" (LOSO) cross-validatie om generalisatie tussen personen te garanderen.

Belangrijkste Resultaten

De experimentele resultaten tonen verrassende inzichten over de effectiviteit van egocentrische signalen ten opzichte van traditionele fysiologische sensoren:

• Egocentrisch Zicht vs. Fysiologie: Voor alle drie de taken presteerden modellen die alleen gebruikmaakten van de Meta Aria-bril data (voornamelijk eye-tracking en IMU) beter dan of gelijk aan modellen die alleen traditionele fysiologische sensoren (ECG, EDA, RSP) gebruikten.
  • Continue Affect: All-modality F1-score = 0.75; Alleen Egocentrisch = 0.74; Alleen Wearables = 0.70.
  • Discrete Emoties: All-modality F1-score = 0.46; Alleen Egocentrisch = 0.46; Alleen Wearables = 0.24. (De random baseline was slechts 0.11).
  • Persoonlijkheid: All-modality F1-score = 0.59; Alleen Egocentrisch = 0.57; Alleen Wearables = 0.50.
• Belangrijkste Features: Pupilgrootte, oogbeweging (gaze) en hoofdversnelling (IMU) bleken de meest informatieve features voor emotie- en persoonlijkheidsvoorspelling.
• Klassiek vs. Deep Learning: In dit specifieke scenario presteerden klassieke methoden (SVM, Random Forest) consistent beter dan de geteste diepe leermodellen (CNN, Transformer), wat suggereert dat voor deze dataset en taakstelling geoptimaliseerde handmatige features effectiever zijn dan end-to-end deep learning.

Bijdragen

1. Eerste Multimodale Dataset: egoEMOTION is het eerste publiek beschikbare dataset dat egocentrisch zicht koppelt aan fysiologische signalen en gedetailleerde zelfrapportages voor zowel geïnduceerde als natuurlijke emotie-elicitering.
2. Nieuwe Benchmarks: Definities van drie nieuwe benchmark-taken (continue affect, discrete emotie, persoonlijkheid) met bijbehorende baselines.
3. Inzicht in Modale Effectiviteit: Het bewijs dat egocentrische signalen (vooral oogvolging) in real-world scenario's superieur kunnen zijn aan traditionele fysiologische sensoren voor affectieve modellering.
4. Open Source: De dataset en baselines zijn open-source beschikbaar gesteld (onder ethische voorwaarden) voor de onderzoekscommunity.

Significantie en Toekomstperspectief

De studie toont aan dat egocentrische vision-systemen (zoals slimme brillen) niet alleen gedrag kunnen observeren, maar ook onderliggende affectieve en dispositieve toestanden kunnen vastleggen. Dit opent nieuwe wegen voor:

• Affect-aware Human-Computer Interaction (HCI): Systemen die zich aanpassen aan de emotionele toestand van de gebruiker in real-time.
• Toepassingen: Verbeterde mentale gezondheidsmonitoring, adaptieve educatieve tools en meer intuïtieve interacties in Mixed Reality en AR.
• Onderzoek: Het dataset vormt een fundament voor toekomstig onderzoek naar het modelleren van intentie en interactie, waarbij emotie en persoonlijkheid als kernvariabelen worden behandeld in plaats van als ruis.

Het paper benadrukt echter ook beperkingen, zoals de afhankelijkheid van retrospectieve zelfrapportage (recall bias), de beperkte demografische diversiteit (jonge volwassenen) en de uitdaging om dynamische emotionele veranderingen binnen een taak te modelleren. Desalniettemin markeert egoEMOTION een belangrijke stap in het integreren van affectieve modellering in egocentrische perceptiesystemen.