Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

Technische Samenvatting: Diepe Temporele Modellering en Ensemble-fusie voor Multimodale Emotieherkenning

Probleemstelling
De nauwkeurige, realtime detectie van menselijke emotionele toestanden en stress vanuit fysiologische signalen is cruciaal voor mentale gezondheidsmonitoring, wearable computing en affectieve computing. Hoewel traditionele methoden vertrouwen op subjectieve zelfrapportage, maken recente ontwikkelingen in wearables (bijv. EDA, ECG, ademhaling, accelerometrie) datagestuurde inferentie mogelijk. Er blijven echter aanzienlijke uitdagingen bestaan bij het effectief modelleren van temporele afhankelijkheden, het omgaan met heterogene sensormodaliteiten en het optimaliseren van fusiestrategieën om generalisatie over verschillende gebruikers te waarborgen. De bestaande literatuur evalueert vaak specifieke architecturen of fusiestrategieën in isolatie, waarbij een verenigde, gecontroleerde vergelijking van leidende temporele deep learning-modellen (LSTM, TCN, Transformer) over unimodale, multimodale en ensemble-settings heen ontbreekt.

Methodologie
De auteurs presenteren een uitgebreid evaluatiekader gebruikmakend van de WESAD-dataset, een multimodale benchmark bestaande uit 15 deelnemers onder baseline-, stress- en amusementcondities. De studie maakt gebruik van een Leave-One-Subject-Out Cross-Validation (LOSO-CV) protocol om subject-onafhankelijke generalisatie te waarborgen.

• Data Preprocessing: Signalen van de Empatica E4 (pols: EDA, BVP, TEMP, ACC) en RespiBAN (borst: RES, ECG, ACC) werden gehersampled naar 4 Hz, gesegmenteerd in niet-overlappende 10-staps vensters, en per subject genormaliseerd om data-lekkage te voorkomen.
• Modelarchitecturen: Drie verschillende temporele deep learning-architecturen werden geïmplementeerd:
  • LSTM: Een twee-laags bi-directioneel LSTM ontworpen om langetermijn-temporele afhankelijkheden en geleidelijke transities in affectieve toestanden te vangen.
  • TCN: Een stapel van 1D gedilateerde causale convoluties met residuele verbindingen, geoptimaliseerd voor parallelle verwerking en multi-schaal temporele kenmerkextractie.
  • Transformer: Een compacte encoder die gebruikmaakt van multi-head self-attention om afhankelijkheden over willekeurige tijdstappen te modelleren zonder een lokale structuur aan te nemen, in staat zich te concentreren op saillante temporele segmenten.
• Fusiestrategieën:
  • Early Fusion (Sensorniveau): Kenmerken van de pols en de borst werden geconcateneerd langs de kanaaldimensie vóór invoer in de modellen.
  • Late Fusion (Ensemble-niveau): Een ensemble-strategie werd geïmplementeerd door de gemiddelde softmax-waarschijnlijkheidsoutputs van de drie onafhankelijk getrainde modellen (LSTM, TCN, Transformer) te middelen om een uiteindelijke voorspelling te produceren.
• Ablatiestudies: De auteurs voerden uitgebreide ablatiestudies uit door modellen te trainen op uitsluitend pols- of borst-inputs om de individuele bijdrage van elke modaliteit te kwantificeren.

Belangrijkste Resultaten
De experimenten leverden de volgende prestatie-indicatoren op (gerapporteerd als gemiddelde ± standaarddeviatie over de LOSO-folds):

• Ensemble Performance: De late-fusie ensemble bereikte de hoogste algehele prestatie, met een 98,91 ± 0,13% nauwkeurigheid en een 98,56 ± 0,17% macro-F1 score. Deze aanpak vertoonde een superieure stabiliteit, met een significant lagere variantie tussen subjecten vergeleken met individuele modellen.
• Architectuurvergelijking (Multimodaal): In de multimodale setting behaalde de Transformer architectuur consequent de hoogste nauwkeurigheid onder de standalone modellen (99,02 ± 0,51%), toegeschreven aan het vermogen om complexe temporele afhankelijkheden te modelleren via self-attention.
• Modaliteit-specifieke Prestaties:
  • Alleen Pols: Het TCN model presteerde het best in de pols-alleen configuratie (98,20 ± 0,41% nauwkeurigheid), waarmee het zowel LSTM als Transformer overtrof in deze specifieke ablatie-setting.
  • Alleen Borst: De LSTM behaalde de sterkste resultaten voor borst-alleen inputs, hoewel de algehele prestatie lager was dan bij de pols-alleen configuraties.
• Modaliteitsbijdrage: Multimodale fusie presteerde consequent beter dan unimodale configuraties over alle architecturen heen. Echter, pols-alleen modellen vertoonden competitieve prestaties, wat wijst op de haalbaarheid voor hulpbron-beperkte wearable toepassingen. De "Amusement" klasse leverde consequent lagere scores op bij alle modellen, wat de moeilijkheid van het classificeren van deze staat benadrukt vergeleken met stress of baseline.

Kernbijdragen

1. Verenigd Benchmarking-kader: Het artikel stelt een systematische, architectuur-agnostische vergelijking vast van LSTM, TCN en Transformer modellen onder unimodale, multimodale en ensemble-settings met behulp van een consistent LOSO-CV protocol op de WESAD-dataset.
2. Dual-Fusion Strategie: De studie toont de effectiviteit aan van het combineren van vroege sensor-fusie (kenmerk-concatenatie) met late model-ensemble-fusie (waarschijnlijkheidsmiddeling), waarbij wordt aangetoond dat deze dubbele aanpak zowel cross-sensor synergie als variantiereductie benut.
3. Inzichten in Modaliteit en Architectuur: Het werk verheldert dat hoewel Transformers excelleren in multimodale contexten, TCN's en LSTMs nog steeds zeer effectief blijven in scenario's met beperkte sensoren (pols-alleen), wat praktische richtlijnen biedt voor systeemontwerp op basis van beschikbare hardware.
4. Robuustheidsanalyse: Door standaarddeviaties over 15 LOSO-folds te rapporteren, biedt de studie een betrouwbare schatting van de inter-subject variabiliteit, waarbij wordt aangetoond dat ensemble-methoden de variantie aanzienlijk verminderen en de generalisatie verbeteren.

Betekenis en Claims
De auteurs beweren dat hun bevindingen praktische inzichten bieden voor het ontwikkelen van robuuste, schaalbare emotieherkenningssystemen. Specifiek beargumenteren zij dat:

• Ensemble-methoden zeer effectief zijn voor fysiologische emotieherkenning, waarbij ze een superieure nauwkeurigheid en stabiliteit bieden vergeleken met single-model benaderingen.
• Sensor-fusie cruciaal is, maar dat pols-alleen signalen (gangbaar in smartwatches) eveneens nauwkeurige herkenning ondersteunen, wat de technologie levensvatbaar maakt voor real-world, niet-invasieve implementatie.
• Er niet één enkele "beste" architectuur is voor alle scenario's; de optimale keuze hangt af van de input-modaliteit (bijv. TCN voor pols-alleen, Transformer voor multimodale input).
• Dit werk vult een gat in de literatuur door een gecontroleerde, vergelijkende analyse te bieden van deze drie belangrijke temporele architecturen, waarbij de effecten van architectuurkeuze, sensormodaliteit en fusieontwerp op affect-herkenning worden geïsoleerd.

Het artikel concludeert dat de combinatie van sensor-fusie en ensemble-gebaseerde fusie een veelbelovende richting is voor het creëren van betrouwbare systemen voor fysiologische stress- en emotiedetectie.