egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

Das Paper stellt egoEMOTION vor, den ersten Datensatz, der egozentrische visuelle und physiologische Signale mit detaillierten Selbstauskünften über Emotionen und Persönlichkeit verbindet, um neue Benchmarks für die affektbasierte Verhaltensmodellierung in realen Szenarien zu ermöglichen.

Matthias Jammot, Björn Braun, Paul Streli, Rafael Wampfler, Christian Holz

Veröffentlicht 2026-02-25
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, du trägst eine supermoderne Brille, die nicht nur sieht, was du siehst, sondern auch spürt, wie du dich fühlst. Bisher haben Computer diese Brillen (wie Meta Project Aria) nur benutzt, um zu verstehen, was Menschen tun: „Ah, er greift nach einer Tasse" oder „Sie schaut auf das Handy".

Aber das ist wie ein Film, bei dem man nur die Handlung sieht, aber nicht die Gefühle der Schauspieler. egoEMOTION ändert das. Es ist wie ein riesiges Tagebuch, das nicht nur aufzeichnet, was passiert, sondern auch, wie sich die Person innerlich fühlt.

Was ist das eigentlich?

Die Forscher von der ETH Zürich haben einen neuen Datensatz (eine riesige Sammlung von Daten) erstellt. Sie haben 43 Menschen gebeten, verschiedene Aufgaben zu erledigen – von langweiligen bis zu sehr emotionalen Dingen.

Die „Werkzeuge" des Experiments:
Stell dir die Teilnehmer als Detektive vor, die mit einem ganzen Arsenal an Sensoren ausgestattet waren:

  1. Die Brille (Egocentric Vision): Sie filmt alles aus der Ich-Perspektive. Sie sieht, wohin die Augen schauen, wie die Pupillen reagieren und wie der Kopf sich bewegt.
  2. Der „Körper-Scanner" (Physiologische Sensoren): Die Teilnehmer trugen Riemen und Sensoren, die messen, wie schnell das Herz schlägt, wie stark sie schwitzen (Stress), wie sie atmen und wie sich ihre Haut verändert.
  3. Das „Gefühls-Tagebuch" (Selbstberichte): Nach jeder Aufgabe mussten die Teilnehmer sagen: „Ich fühle mich gerade so und so." Sie nutzten dafür spezielle Diagramme, um ihre Gefühle genau zu beschreiben (z. B. „Ich bin sehr aufgeregt, aber nicht wütend").

Was haben die Teilnehmer gemacht?

Das Experiment bestand aus zwei Teilen, wie zwei verschiedene Kapitel in einem Buch:

  • Kapitel 1: Der Kinosaal (Ausgelöste Emotionen):
    Die Teilnehmer sahen kurze Videos. Manche waren lustig (wie eine Komödie), manche gruselig (wie ein Horrorfilm), manche traurig. Das Ziel war, gezielt bestimmte Gefühle zu wecken, wie ein Regisseur, der die Stimmung im Kino steuert.
  • Kapitel 2: Der Alltag (Natürliche Aktivitäten):
    Hier ging es um echte Situationen. Sie spielten ein Videospiel, malten ein Bild, bauten einen Turm aus Holzklötzen (Jenga) oder versuchten, nicht zu lachen, während sie Witze hörten. Hier kamen die Gefühle ganz natürlich, nicht durch einen Film erzwungen.

Was haben die Forscher herausgefunden? (Die große Überraschung)

Das ist der spannendste Teil! Normalerweise denken wir: „Um zu wissen, ob jemand Angst hat, muss man den Herzschlag messen."

Aber die Forscher sagten: „Nein, schau dir lieber die Augen an!"

Sie haben Computerprogramme trainiert, um die Gefühle vorherzusagen. Das Ergebnis war verblüffend:

  • Die Daten von der Brille (wohin die Augen schauen, wie die Pupillen sich weiten oder verengen, wie der Kopf nickt) waren besser darin, die Gefühle zu erraten, als die klassischen medizinischen Sensoren am Körper.
  • Die Metapher: Stell dir vor, du versuchst, die Stimmung eines Freundes zu erraten. Du könntest seinen Puls messen (schwierig und invasiv), aber viel besser ist es, wenn du in seine Augen schaust und siehst, ob er nervös hin- und herblickt oder ob seine Pupillen vor Aufregung groß werden. Die Brille macht genau das – sie liest die „Augen-Sprache" der Gefühle.

Warum ist das wichtig?

Bisher waren Computer bei der Emotionserkennung oft wie blinde Passagiere. Sie wussten, dass jemand eine Tasse hebt, aber nicht, ob er sie aus Wut oder aus Freude hebt.

Mit egoEMOTION können wir in Zukunft:

  • Intelligentere Brillen bauen: Die Brille merkt, dass du gestresst bist, und schlägt dir vor, eine Pause zu machen, bevor du einen Fehler machst.
  • Bessere Spiele und Filme: Ein Spiel könnte sich anpassen, wenn es merkt, dass du gelangweilt bist, und wird dann spannender.
  • Gesundheitsmonitoring: Ärzte könnten früher erkennen, wenn jemand deprimiert ist, basierend auf seinem Blickverhalten im Alltag.

Zusammenfassung

egoEMOTION ist wie ein neuer Schlüssel, der uns erlaubt, nicht nur zu sehen, was Menschen tun, sondern zu verstehen, warum sie es tun. Die Forscher haben gezeigt, dass unsere Augen und unser Blickverhalten (was wir durch eine Brille sehen) viel mehr über unsere Gefühle verraten als ein Herzschlag-Monitor. Es ist ein großer Schritt hin zu Computern, die uns wirklich „fühlen" können.

Erhalten Sie solche Paper in Ihrem Posteingang

Personalisierte tägliche oder wöchentliche Digests passend zu Ihren Interessen. Gists oder technische Zusammenfassungen, in Ihrer Sprache.

Digest testen →