Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals

Diese Studie zeigt, dass die Kombination von fNIRS-Daten mit peripheren physiologischen Signalen wie EDA und PPG die klassifikatorische Genauigkeit für die affektiven Dimensionen Erregung und Valenz bei subjektabhängigen Emotionserkennungssystemen signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, die Stimmung eines Freundes zu erraten, ohne dass er ein Wort sagt. Er könnte lächeln, aber innerlich wütend sein, oder er könnte ruhig sitzen, aber innerlich aufgeregt. Wie können wir das herausfinden?

Dieser wissenschaftliche Artikel ist wie ein Rezept für eine „Gefühls-Detektiv-App", die versucht, genau das zu tun. Die Forscher haben untersucht, ob es besser funktioniert, wenn man nicht nur auf das Gehirn schaut, sondern auch auf den Körper.

Hier ist die Geschichte dahinter, einfach erklärt:

1. Das Problem: Das Gehirn ist laut, aber der Körper flüstert auch

Stellen Sie sich das Gehirn als einen lauten Orchesterdirigenten vor, der die Musik (unsere Gefühle) dirigiert. Um zu hören, was er tut, gibt es zwei Methoden:

• Methode A (fNIRS): Man schaut sich den Dirigenten direkt an. Das ist wie eine spezielle Kamera, die durch die Kopfhaut schaut und misst, wie viel Blut in bestimmten Hirnregionen fließt. Das ist sehr genau, aber manchmal stören Bewegungen (wie wenn der Dirigent den Kopf wackelt) oder elektrische Störungen.
• Methode B (Körper-Signale): Man hört auf das Orchester selbst. Wenn der Dirigent aufregt, werden die Geiger schneller spielen (Herzschlag) und sie schwitzen mehr (Hautleitfähigkeit). Das sind unsere EDA (Hautleitfähigkeit) und PPG (Puls).

Die Frage der Forscher war: Ist es besser, nur den Dirigenten zu beobachten, oder sollten wir ihm zuhören und auf das Orchester achten?

2. Das Experiment: Musikvideos als Gefühls-Trigger

Um die Stimmung der Teilnehmer zu testen, gaben ihnen die Forscher 12 kurze japanische Musikvideos zu sehen.

• Manche Videos waren wie ein wilder Rocksong (hohe Aufregung).
• Manche waren wie ein trauriges Klavierstück (niedrige Aufregung).
• Manche waren fröhlich (positive Stimmung), manche eher neutral oder traurig (negative Stimmung).

Während die Leute die Videos sahen, hatten sie Sensoren am Kopf (für das Gehirn) und an den Fingern (für den Puls und das Schwitzen).

3. Die Entdeckung: Die perfekte Kombination

Die Forscher bauten einen Computer-Algorithmus (eine Art digitaler Detektiv), der lernen sollte: „Wenn das Gehirn so reagiert UND die Haut so schwitzt, dann ist die Person aufgeregt!"

Das Ergebnis war überraschend klar:

• Alleiniges Gehirn-Messen: Hat gut funktioniert, aber nicht perfekt.
• Alleiniges Körper-Messen: Hatte Schwierigkeiten, besonders bei der Unterscheidung zwischen „Freude" und „Trauer".
• Die Kombination (Gehirn + Haut): Das war der Gewinner!

Die Analogie: Stellen Sie sich vor, Sie versuchen, zu erraten, ob jemand lügt.

• Wenn Sie nur auf sein Gesicht schauen (Gehirn), sehen Sie vielleicht, dass er ruhig bleibt.
• Wenn Sie nur auf seine Hände schauen (Körper), sehen Sie vielleicht, dass er zittert.
• Aber wenn Sie beides kombinieren – das ruhige Gesicht und das zitternde Zittern –, dann wissen Sie mit fast 100-prozentiger Sicherheit: Er lügt!

In diesem Fall war die Kombination aus Gehirn-Sensoren (fNIRS) und Hautleitfähigkeit (EDA) die beste Methode, um zu erkennen, ob jemand aufgeregt oder ruhig ist. Für die Unterscheidung zwischen „positiv" und „negativ" (Valenz) half die Kombination ebenfalls, wobei das Gehirn hier die Hauptrolle spielte und die Haut-Signale als Unterstützung dienten.

4. Warum ist das wichtig?

Bisher waren viele dieser Systeme sehr störanfällig oder brauchten riesige Computer. Die Forscher haben hier einen cleveren Weg gewählt: Sie haben einfache, leicht zu berechnende Signale genutzt.

Das ist wie beim Kochen: Man braucht nicht unbedingt die teuersten Zutaten oder einen Michelin-Stern-Koch, um ein leckeres Essen zu machen. Manchmal reicht es, die richtigen, einfachen Zutaten (Gehirn + Haut) zu mischen, um ein hervorragendes Ergebnis zu erzielen.

Fazit

Die Studie zeigt uns, dass wir Gefühle am besten verstehen, wenn wir sowohl den Kopf als auch den Körper im Blick haben.

• Das Gehirn sagt uns oft, was wir fühlen (die Art der Emotion).
• Der Körper (besonders das Schwitzen) sagt uns oft, wie stark wir es fühlen (die Intensität).

Wenn man diese beiden Informationen kombiniert, kann man Emotionen viel genauer erkennen – und das sogar bei fremden Personen, ohne dass man sie vorher kennen muss. Das ist ein großer Schritt hin zu Computern, die unsere Gefühle wirklich verstehen können, ohne dass wir sie ständig fragen müssen.

Technische Zusammenfassung

Technische Zusammenfassung: Verbesserung der Emotionsklassifikation durch Kombination von fNIRS und peripheren physiologischen Signalen

1. Problemstellung

Das Ziel der Emotionserkennung im Bereich des Affective Computing besteht darin, menschliche Affekte quantitativ und automatisch zu inferieren, um adaptive Schnittstellen und Anwendungen zur Unterstützung des menschlichen Wohlbefindens zu ermöglichen. Während Selbstauskünfte (z. B. Fragebögen) als Referenzstandard gelten, sind sie für kontinuierliche oder häufige Bewertungen im Alltag unpraktisch.

Bisherige Ansätze nutzen oft EEG (Elektroenzephalographie) zur Messung der zentralen Nervensystem-Aktivität. Allerdings ist EEG anfällig für Artefakte durch Körperbewegungen, Augenblinzeln und elektromagnetische Störungen, was den Einsatz in natürlichen Umgebungen erschwert.

• fNIRS (funktionelle Nahinfrarotspektroskopie) bietet eine robustere Alternative, da es weniger anfällig für Bewegungsartefakte und elektromagnetisches Rauschen ist, jedoch eine geringere zeitliche Auflösung als EEG aufweist.
• Die Forschungslücke: Es ist unklar, inwieweit die Kombination von fNIRS mit peripheren autonomen Messungen (wie EDA und PPG) die Klassifikationsleistung für die grundlegenden affektiven Dimensionen Erregung (Arousal) und Valenz verbessert, insbesondere bei subjektunabhängigen Modellen (Cross-Subject), die auf neue Personen verallgemeinern müssen.

2. Methodik

A. Versuchsaufbau und Probanden

• Probanden: 35 japanische, gesunde, rechtshändige Studenten (24 Männer, 11 Frauen; Durchschnittsalter 20,7 Jahre). Nach Ausschluss von Daten aufgrund technischer Fehler wurden Daten von 30 Probanden analysiert.
• Stimuli: Es wurden 12 japanische Musikvideos (je 60 Sekunden) ausgewählt, die starke und zuverlässige emotionale Reaktionen hervorrufen. Die Auswahl basierte auf Ratings von 9 Probanden mittels der Self-Assessment Manikin (SAM)-Skala (9-Punkte-Skala für Erregung und Valenz). Die Stimuli deckten vier Kategorien ab: hohe/niedrige Erregung und hohe/niedrige Valenz.
• Protokoll: Die Probanden sahen die Videos mit Kopfhörern. Vor und nach jedem Video gab es eine 20-Sekunden-Ruhephase. Nach jedem Video erfolgte eine subjektive Bewertung.

B. Datenerfassung (Multimodale Sensoren)

1. fNIRS (Zentrales Nervensystem):
   • Gerät: 34-Kanal-Wearablesystem (Hitachi WOT-HS).
   • Messung: Änderungen der Konzentration von oxygeniertem (O2Hb) und desoxygeniertem Hämoglobin (HHb).
   • Abdeckung: Frontale und temporale Kortexregionen (aufgeteilt in 5 anatomische Regionen: medialer präfrontaler, linker/rechter lateraler präfrontaler, linker/rechter temporaler Bereich).
   • Abtastrate: 10 Hz.
2. EDA (Elektrodermale Aktivität):
   • Gemessen an den Fingerspitzen der linken Hand (Shimmer3 GSR+).
   • Abtastrate: 51,2 Hz.
3. PPG (Photoplethysmographie):
   • Gemessen am linken Zeigefinger (Shimmer3 GSR+).
   • Abtastrate: 51,2 Hz.
   • Synchronisation: Hardware-Level-Synchronisation zwischen EDA und PPG.

C. Vorverarbeitung und Merkmalsextraktion
Um Reproduzierbarkeit und Transparenz zu priorisieren, wurden einfache, leicht berechenbare Merkmale verwendet (keine Deep-Learning-Modelle):

• fNIRS: Wavelet-basierte Artefaktkorrektur, Tiefpassfilterung (0,5 Hz), Trendentfernung und Z-Score-Normalisierung. Extraktion von Mittelwert, Standardabweichung und zeitlicher Steigung für O2Hb und HHb in den 5 Regionen (insgesamt 30 Merkmale pro Video).
• EDA: Hochfrequente Abtastung (256 Hz), Zerlegung in tonische und phasische Komponenten. Merkmale: Autokorrelation, Standardabweichung, Schiefe, Kurtosis, Anzahl der Peaks und mittlere Peak-Amplitude (insgesamt 9 Merkmale).
• PPG: Hochfrequente Abtastung (256 Hz). Extraktion von 27 Merkmalen (19 zeitdomänenbasierte und 8 frequenzdomänenbasierte HRV-Metriken) mittels NeuroKit2.

D. Klassifikationsverfahren

• Ziel: Binäre Klassifikation (Hoch vs. Niedrig) für Erregung und Valenz.
• Modell: Support Vector Machine (SVM) mit RBF-Kernel.
• Validierung: Gruppenweise 5-fache Kreuzvalidierung (Grouped 5-fold CV), wobei die Probandenidentität als Gruppe diente, um Datenlecks zwischen Trainings- und Testset zu vermeiden (subjektunabhängig).
• Auswertung: Macro-averaged F1-Score, Precision, Recall und Accuracy. Statistische Signifikanz wurde durch Permutationstests und Wilcoxon-Vorzeichen-Rang-Tests geprüft.

3. Wichtige Beiträge

• Multimodale Integration: Demonstration, dass die Kombination von fNIRS mit peripheren Signalen (insbesondere EDA) die Leistung bei der subjektunabhängigen Emotionsklassifikation signifikant verbessert.
• Reproduzierbarkeit: Der Ansatz verzichtet auf komplexe Deep-Learning-Architekturen oder aufwendiges Feature-Engineering. Stattdessen werden etablierte, einfache Merkmale und klassische ML-Verfahren verwendet, was die Nachvollziehbarkeit und Reproduzierbarkeit erhöht.
• Differenzierung der Dimensionen: Die Studie zeigt auf, dass Erregung und Valenz unterschiedliche sensorische Anforderungen haben: Erregung lässt sich stark durch periphere Signale (EDA) vorhersagen, während Valenz die Integration zentraler (fNIRS) und peripherer Signale benötigt.

4. Ergebnisse

• Beste Leistung: Die Kombination fNIRS + EDA erzielte die höchsten Ergebnisse für beide Dimensionen.
  • Erregung (Arousal): Macro-averaged F1-Score von 0,73 (fNIRS allein: 0,65; EDA allein: 0,69).
  • Valenz: Macro-averaged F1-Score von 0,64 (fNIRS allein: 0,58; EDA allein: 0,51).
• Vergleich der Kombinationen:
  • fNIRS + EDA war der beste Ansatz.
  • Die Kombination aller drei Modalitäten (fNIRS + EDA + PPG) erzielte ähnliche, aber nicht signifikant bessere Ergebnisse als fNIRS + EDA allein.
  • Die Kombination von EDA + PPG ohne fNIRS war weniger effektiv als die einzelnen Modalitäten oder fNIRS allein, was auf Redundanz zwischen diesen peripheren Signalen hindeutet.
• Merkmalswichtigkeit (Permutation Importance):
  • Für Erregung dominierten EDA-Merkmale die Wichtigkeit, wenn sie mit fNIRS kombiniert wurden.
  • Für Valenz waren sowohl fNIRS- als auch EDA-Merkmale von hoher Bedeutung, was bestätigt, dass Valenz eine Kombination aus zentralen und peripheren Informationen benötigt.
• Statistische Signifikanz: Alle multimodalen Kombinationen sowie fNIRS allein zeigten eine signifikant bessere Leistung als Zufallsraten (p < 0,05).

5. Bedeutung und Fazit

Die Studie liefert empirische Belege dafür, dass multimodale Ansätze, die fNIRS mit peripheren physiologischen Signalen kombinieren, für die subjektunabhängige Emotionserkennung überlegen sind.

• Robustheit: fNIRS erweist sich als robuste zentrale Messgröße, die weniger anfällig für Umgebungsstörungen ist als EEG.
• Komplementarität: Periphere Signale (EDA) liefern komplementäre Informationen, die für die Valenz-Diskriminierung entscheidend sind, aber allein nicht ausreichen.
• Anwendbarkeit: Da fNIRS weniger anfällig für Bewegungsartefakte ist, eignet sich dieser multimodale Ansatz besonders gut für Anwendungen in natürlichen, alltäglichen Umgebungen (Naturalistic Settings).

Die Autoren betonen, dass zukünftige Arbeiten prüfen sollten, ob tiefere neuronale Netze oder fortschrittlichere Fusionsmethoden die Leistung weiter steigern können, ohne dabei die Interpretierbarkeit zu opfern. Zudem sollte die Generalisierbarkeit auf diverse Bevölkerungsgruppen (unterschiedliches Alter, ausgeglichene Geschlechterverteilung) untersucht werden.