Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals

Dit onderzoek toont aan dat het combineren van fNIRS-metingen van de hersenen met perifere fysiologische signalen, zoals elektrodermale activiteit, de subjectonafhankelijke classificatie van emoties (opwinding en waardering) significant verbetert.

De kern

🧠 De Emotie-Detectie: Een Teamwerk van Hersenen en Lichaam

Stel je voor dat je wilt weten hoe iemand zich voelt zonder dat ze het hoeven te zeggen. Soms lachen mensen als ze verdrietig zijn, of ze blijven stil als ze boos zijn. Het is alsof je probeert een film te bekijken met de geluidsdemping aan: je ziet de beelden, maar mist de echte sfeer.

De onderzoekers uit dit artikel (Shigeyuki Ikeda en zijn team) wilden een betere manier vinden om deze "stille film" te decoderen. Ze keken of ze twee verschillende soorten signalen konden combineren om de emoties van mensen beter te voorspellen.

1. De Twee Spionnen: Het Brein en het Lichaam

De onderzoekers gebruikten twee soorten "spionnen" om de emoties te bespioneren:

• Spion A: De Hersenactiviteit (fNIRS)
  Dit is een hoofdband met lampjes die kijkt naar wat er in je hersenen gebeurt. Het meet hoe het bloed in je voorhoofd en slapen stroomt.

  • De analogie: Denk hieraan als een thermometer voor je gedachten. Als je iets spannends of emotioneels ziet, wordt je brein warmer en stroomt er meer bloed naar bepaalde gebieden. Het is goed, maar soms kan het een beetje "ruis" hebben als je beweegt.

• Spion B: De Lichaamssignalen (EDA en PPG)
  Dit zijn sensoren op je vingers die meten hoe je lichaam reageert.

  • EDA (Huidgeleiding): Meet hoe zweet je huid maakt. Als je nerveus of opgewonden bent, wordt je huid een beetje "nat" (elektrisch geleidend).
  • PPG (Pols): Meet je hartslag en bloedcirculatie.
  • De analogie: Dit is als de motor van een auto. Als je op de gaspedaal trapt (opwinding), draait de motor harder en wordt hij warmer. Dit geeft direct aan hoe "energiek" iemand is, maar vertelt minder over of je blij of verdrietig bent.

2. Het Experiment: Muziek en Video's

De onderzoekers lieten 30 studenten naar 12 korte muziekvideo's kijken. Ze hadden de video's zo gekozen dat ze specifieke gevoelens opriepen:

• Veel energie of weinig energie (Arousal).
• Geluk of verdriet (Valence).

Terwijl de studenten keken, hielden de sensoren hun hersenen en hun lichaam in de gaten. Daarna vroegen ze: "Hoe voel je je nu?" om te zien of de sensoren gelijk hadden.

3. Het Grote Geheim: Samenwerking werkt het beste

De onderzoekers wilden weten: Is het beter om alleen naar het brein te kijken, alleen naar het lichaam, of naar beide?

• Alleen het brein (fNIRS): Werkt goed, maar niet perfect.
• Alleen het lichaam (EDA/PPG): Werkt goed voor "opwinding" (bijv. "Ik ben erg opgewonden!"), maar minder goed om te zeggen of iemand "blij" of "verdrietig" is.
• De combinatie (fNIRS + EDA): Dit was de winnaar.

De creatieve vergelijking:
Stel je voor dat je een detective bent die een moord moet oplossen.

• Als je alleen naar de vingerafdrukken kijkt (het brein), heb je een goede aanwijzing, maar misschien niet genoeg.
• Als je alleen naar de getuigenverklaringen kijkt (het lichaam), weet je dat er iets gebeurd is, maar niet precies wie.
• Maar als je beide combineert, krijg je het volledige plaatje. Het brein vertelt je wat er gebeurt in je hoofd, en de huid (EDA) vertelt je hoe intens het voelt. Samen vormen ze een onverslaanbaar team.

4. Wat hebben ze ontdekt?

1. Voor "Opwinding" (Arousal): De huidgeleiding (EDA) was de ster. Het vertelde heel goed of iemand rustig of opgewonden was. Maar als je dit combineerde met de hersenscans, werd het nog nauwkeuriger.
2. Voor "Gemoedstoestand" (Valence - blij vs. verdrietig): Dit was moeilijker. Het lichaam alleen kon dit niet goed voorspellen. Maar toen ze de hersenscans toevoegden, werd het plotseling veel beter. Het lijkt erop dat je voor het onderscheiden van blij en verdrietig beide signalen nodig hebt.
3. Geen ingewikkelde AI nodig: Het mooie aan dit onderzoek is dat ze geen super-complexe computerprogramma's (zoals diep leren) gebruikten. Ze gebruikten simpele, duidelijke maten (gemiddelden en pieken). Dit betekent dat hun methode makkelijk te kopiëren is door anderen en transparant is.

5. Waarom is dit belangrijk?

Vroeger was het moeilijk om emoties te meten in de echte wereld, omdat sensoren vaak storingen kregen door beweging of ruis.

• fNIRS is robuust (sterk tegen ruis).
• EDA is gevoelig voor emotie.

Door deze twee te combineren, kunnen we in de toekomst misschien apparaten bouwen die echt begrijpen hoe mensen zich voelen, zelfs als ze bewegen of in een drukke omgeving zijn. Denk aan een robot die merkt dat een patiënt stress heeft en rustig wordt, of een auto die merkt dat de bestuurder te boos is om veilig te rijden.

Samenvatting in één zin

Het onderzoek toont aan dat je de beste "emotie-detectie" krijgt door niet alleen naar het brein te kijken, maar ook naar hoe het lichaam reageert; samen vertellen ze een veel completer verhaal dan apart.

Technische samenvatting

Titel: Verbetering van Emotieclassificatie door Combinatie van fNIRS-afgeleide Hemodynamische Responsen met Perifere Fysiologische Signalen

1. Het Probleem

Het nauwkeurig en kwantitatief afleiden van menselijke affectie (emotie) is essentieel voor affectief computing, met toepassingen in adaptieve gebruikersinterfaces en welzijnsstudies. Hoewel zelfrapportage (vragenlijsten) de gouden standaard blijft, is dit onpraktisch voor continue monitoring.

• Huidige uitdagingen: Bestaande methoden gebruiken vaak EEG (hersengolven), maar deze zijn gevoelig voor bewegingsartefacten en elektromagnetische interferentie, wat de robuustheid in natuurlijke omgevingen beperkt.
• Gaten in de literatuur: Hoewel functional near-infrared spectroscopy (fNIRS) robuuster is tegen beweging dan EEG, is het onduidelijk in welke mate het combineren van fNIRS met perifere autonome signalen (zoals huidgeleidingsvermogen en hartslag) leidt tot betere, subject-onafhankelijke classificatie van de fundamentele affectieve dimensies: arousal (opwinding) en valence (aard van de emotie: positief/negatief).

2. Methodologie

De studie is ontworpen om reproducibiliteit en methodologische transparantie te maximaliseren door eenvoudige features en klassieke machine learning te gebruiken.

• Deelnemers: 35 gezonde Japanse studenten (gemiddelde leeftijd 20,7 jaar). Na uitsluiting van data door opnamefouten werden 30 deelnemers gebruikt voor de analyse.
• Stimuli: 12 geselecteerde Japanse muziekvideo's (60 seconden elk), gekozen uit een pool van 40 op basis van hun vermogen om sterke en consistente affectieve reacties op te wekken. De stimuli dekten vier categorieën: hoog/laag arousal en hoog/laag valence.
• Dataverzameling:
  • fNIRS (Centraal): Gemeten met een draagbaar systeem (34 kanalen) dat oxy- en deoxy-hemoglobine-concentraties registreerde in frontale en temporale gebieden.
  • EDA (Perifeer): Elektrodermale activiteit (huidgeleidingsvermogen) gemeten aan de vingers.
  • PPG (Perifeer): Fotoplethysmografie (hartslagvariabiliteit) gemeten aan de vinger.
• Preprocessing & Feature Extractie:
  • fNIRS: Motion-artefactcorrectie (wavelet-methode), filtering, en normalisatie. Features: gemiddelde, standaardafwijking en helling (slope) voor oxy- en deoxy-Hb in 5 hersengebieden.
  • EDA: Ontleding in tonische en fasische componenten. Features: autocorrelatie, standaardafwijking, scheefheid, kurtosis, aantal pieken en piekamplitude.
  • PPG: 27 features (tijd- en frequentiedomein) via NeuroKit2.
• Classificatie:
  • Doel: Binair classificeren (hoog vs. laag) voor arousal en valence.
  • Model: Support Vector Machine (SVM) met RBF-kern.
  • Validatie: Grouped 5-fold cross-validation waarbij de groep de deelnemer is. Dit garandeert dat data van dezelfde persoon nooit in zowel de train- als testset voorkomt (subject-onafhankelijkheid).
  • Vergelijkingen: Unimodaal (alleen fNIRS, alleen EDA, alleen PPG) versus multimodaal (combinaties).

3. Belangrijkste Resultaten

• Beste Prestatie: De combinatie van fNIRS en EDA leverde de hoogste prestaties op voor zowel arousal als valence.
  • Arousal: Macro-averaged F1-score van 0,73 (fNIRS + EDA). Dit was significant beter dan fNIRS alleen (0,65) en EDA alleen (0,69).
  • Valence: Macro-averaged F1-score van 0,64 (fNIRS + EDA). Dit was significant beter dan fNIRS alleen (0,58) en EDA alleen (0,51, niet significant boven kans).
• Rol van PPG: Het toevoegen van PPG aan fNIRS verbeterde de prestaties licht, maar de combinatie fNIRS + EDA bleef superieur. De combinatie van alleen perifere signalen (EDA + PPG) presteerde slechter dan fNIRS alleen en leverde geen significante winst op.
• Feature Importance (Permutatie-analyse):
  • Voor arousal waren EDA-features het meest informatief, wat aangeeft dat arousal sterk gekoppeld is aan het autonome zenuwstelsel.
  • Voor valence waren zowel fNIRS- als EDA-features belangrijk. Dit suggereert dat valence classificatie complementaire informatie vereist van zowel centrale (hersenen) als perifere signalen.
• Statistiek: Alle multimodale combinaties presteerden significant beter dan willekeur (permutatietest, p < 0,05).

4. Bijdragen

1. Empirisch Bewijs: Het biedt sterk bewijs dat het combineren van fNIRS met perifere signalen (met name EDA) de subject-onafhankelijke emotieclassificatie verbetert ten opzichte van unimodale benaderingen.
2. Methodologische Transparantie: In tegenstelling tot veel recente studies die complexe deep learning-modellen gebruiken, toont deze studie aan dat robuuste resultaten behaald kunnen worden met eenvoudige, interpreteerbare features en klassieke classifiers. Dit verhoogt de reproduceerbaarheid.
3. Inzicht in Complementariteit: Het onthult dat arousal voornamelijk uit perifere signalen kan worden afgeleid, terwijl valence classificatie baat heeft bij de integratie van centrale hemodynamische signalen (fNIRS) met perifere signalen.
4. Praktische Toepasbaarheid: Het benadrukt de waarde van fNIRS voor toepassingen in natuurlijke omgevingen vanwege de weerstand tegen bewegingsartefacten en elektromagnetische ruis.

5. Betekenis en Toekomstperspectief

De studie concludeert dat multimodale sensoren die centraal (fNIRS) en perifeer (EDA) meten, een veelbelovende richting zijn voor affectief computing in real-world settings. Hoewel de huidige pipeline bewust eenvoudig is gehouden, suggereert het resultaat dat toekomstig onderzoek gericht kan zijn op geavanceerde sensorfusie en deep learning om de prestaties verder te verbeteren, zonder de interpretatiebaarheid volledig te verliezen. De bevindingen onderstrepen dat fNIRS een cruciale rol speelt in het creëren van robuuste, subject-onafhankelijke emotionele AI-systemen.