Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

技術要約：マルチモーダル感情認識のための深層時系列モデリングとアンサンブル融合

問題提起
生理学的信号から人間の感情状態やストレスを正確かつリアルタイムに検出することは、メンタルヘルスモニタリング、ウェアラブルコンピューティング、およびアフェクティブコンピューティングにとって極めて重要である。従来の手法は主観的な自己報告に依存することが多かったが、近年のウェアラブルセンサー（例：EDA、ECG、呼吸、加速度計）の進歩により、データ駆動型の推論が可能となっている。しかし、時系列依存性の効果的なモデリング、異種センサー・モダリティの処理、および異なるユーザー間での汎化性能を確保するための融合戦略の最適化において、依然として大きな課題が残されている。既存の文献では、単一のアーキテクチャや特定の融合戦略を個別に評価することが多く、主要な時系列ディープラーニングモデル（LSTM、TCN、Transformer）を、単一モーダル、マルチモーダル、およびアンサンブル設定において統一的かつ制御された比較を行っている研究は不足している。

手法
著者らは、ベースライン、ストレス、およびアミューズメント（愉悦）条件下の15名の参加者を含むマルチモーダル・ベンチマークであるWESADデータセットを用いた、包括的な評価フレームワークを提示する。本研究では、被験者独立の汎化を保証するために、Leave-One-Subject-Out Cross-Validation (LOSO-CV) プロトコルを採用している。

• データ前処理: Empatica E4（手首：EDA、BVP、TEMP、ACC）およびRespiBAN（胸部：RES、ECG、ACC）からの信号を4 Hzにリサンプリングし、重複のない10ステップのウィンドウにセグメント化し、データリークを防ぐために被験者ごとに正規化した。
• モデルアーキテクチャ: 以下の3つの異なる時系列ディープラーニング・アーキテクチャを実装した：
  • LSTM: 長期的な時系列依存性と感情状態の緩やかな遷移を捉えるために設計された、2層の双方向LSTM。
  • TCN: 並列処理とマルチスケールな時系列特徴抽出のために最適化された、残差接続を持つ1D拡張因果畳み込み（dilated causal convolutions）のスタック。
  • Transformer: 局所的な構造を仮定することなく、任意のタイムステップ間の依存関係をモデル化できる、マルチヘッド自己注意機構（multi-head self-attention）を利用したコンパクトなエンコーダーであり、顕著な時系列セグメントに焦点を当てることが可能である。
• 融合戦略:
  • 早期融合 (センサーレベル): 手首と胸部の特徴量をチャンネル次元に沿って結合し、モデルへの入力前に行う。
  • 後期融合 (アンサンブルレベル): 最終的な予測を行うために、独立して訓練された3つのモデル（LSTM、TCN、Transformer）のソフトマックス確率出力を平均化するアンサンブル戦略を実装した。
• アブレーション研究: 各モダリティの個別の貢献を定量化するために、手首のみ、および胸部のみの入力を用いてモデルを訓練する広範なアブレーション研究を実施した。

主な結果
実験の結果、以下のパフォーマンス指標が得られた（LOSOフォールドにおける平均 ± 標準偏差として報告）：

• アンサンブル性能: 後期融合アンサンブルが最高の全体性能を達成し、精度 98.91 ± 0.13% および マクロF1スコア 98.56 ± 0.17% に達した。この手法は優れた安定性を示し、個々のモデルと比較して被験者間の分散が有意に低かった。
• アーキテクチャ比較 (マルチモーダル): マルチモーダル設定において、Transformer アーキテクチャは、スタンドアロンのモデルの中で一貫して最高の精度（99.02 ± 0.51%）を達成した。これは、自己注意機構を通じて複雑な時系列依存性をモデル化する能力に起因する。
• モダリティ別性能:
  • 手首のみ: TCN モデルが手首のみの構成において最高の性能（精度 98.20 ± 0.41%）を発揮し、この特定のアブレーション設定においてLSTMおよびTransformerを上回った。
  • 胸部のみ: LSTM が胸部のみの入力に対して最も強力な結果を得たが、全体的な性能は手首のみの構成よりも低かった。
• モダリティの貢献: マルチモーダル融合は、すべてのアーキテクチャにおいて単一モーダル構成を一貫して上回った。しかし、手首のみのモデルも競争力のある性能を示しており、リソース制約のあるウェアラブルアプリケーションへの実現可能性を示唆している。「アミューズメント」クラスは、すべてのモデルにおいて一貫して低いスコアを示し、ストレスやベースラインと比較して、この状態の分類の難しさを浮き彫りにした。

主な貢献

1. 統一ベンチマークフレームーキ: 本論文は、WESADデータセットを用い、一貫したLOSO-CVプロトコルの下で、単一モーダル、マルチモーダル、およびアンサンブル設定におけるLSTM、TCN、およびTransformerモデルの、アーキテクチャに依存しない体系的な比較を確立した。
2. デュアル融合戦略: センサーの早期融合（特徴量結合）と、モデルの後期融合（確率平均化）を組み合わせる有効性を実証し、このデュアルアプローチがクロスセンサーの相乗効果と分散減少の両方を活用することを示した。
3. モダリティとアーキテクチャに関する洞察: Transformerはマルチモーダルな文脈で優れている一方で、TCNやLSTMはセンサー限定のシナリオ（手首のみ）においても非常に効果的であることを明らかにし、利用可能なハードウェアに基づいたシステム設計への実用的な指針を提供した。
4. 堅牢性分析: 15のLOSOフォールドにおける標準偏差を報告することで、本研究は被験者間の変動に関する信頼できる推定を提供し、アンサンブル手法が分散を大幅に減少させ、汎化性能を向上させることを示した。

意義と主張
著者らは、その知見が堅牢でスケーラブルな感情認識システムの開発に実用的な洞察を与えることを主張している。具体的には、以下の通りである：

• アンサンブル手法は、生理学的感情認識において非常に効果的であり、単一モデルのアプローチと比較して優れた精度と安定性を提供する。
• センサー融合は極めて重要であるが、手首のみの信号（スマートウォッチに一般的）でも正確な認識が可能であり、これにより、技術の現実世界での非侵襲的な展開が可能になる。
• すべてのシナリオにおいて「最良」の単一アーキテクチャが存在するわけではなく、最適な選択は入力モダリティ（例：手首のみの場合はTCN、マルチモーダルな場合はTransformer）に依存する。
• 本研究は、これら3つの主要な時系列アーキテクチャの制御された比較分析を提供することで、文献における空白を埋めるものである。これにより、アーキテクチャの選択、センサーのモダリティ、および融合設計が感情認識の性能に与える影響を分離して示している。

本論文は、センサー融合とアンサンブルベースの融合の組み合わせが、生理学的なストレスおよび感情検出のための信頼性の高いシステムを作成するための有望な方向性であると結論付けている。