Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

기술 요약: 다중 모달 감정 인식을 위한 심층 시간적 모델링 및 앙상블 퓨전

문제 정의
생체 신호로부터 인간의 정서적 상태와 스트레스를 정확하고 실시간으로 탐지하는 것은 정신 건강 모니터링, 웨어러블 컴퓨팅 및 감성 컴퓨팅 분야에서 매우 중요하다. 전통적인 방식은 주관적인 자기 보고에 의존하지만, 최근 웨어러블 센서(예: EDA, ECG, 호흡, 가속도계)의 발전은 데이터 기반 추론을 가능하게 한다. 그러나 효과적인 시간적 의존성 모델링, 이질적인 센서 모달리티 처리, 그리고 다양한 사용자 간의 일반화를 보장하기 위한 퓨전 전략 최적화 측면에서 상당한 과제가 남아 있다. 기존 문헌은 종종 단일 아키텍처나 특정 퓨전 전략을 고립된 상태로 평가하며, LSTM, TCN, Transformer와 같은 주요 시간적 딥러닝 모델들을 단일 모달, 다중 모달, 그리고 앙상블 설정에 걸쳐 통합적이고 통제된 방식으로 비교하는 작업이 부족하다.

방법론
저자들은 베이스라인, 스트레스, 즐거움 조건 하의 15명 참가자를 포함하는 다중 모달 벤치마크인 WESAD 데이터셋을 사용하여 포괄적인 평가 프레임워크를 제시한다. 본 연구는 피험자 독립적 일반화를 보장하기 위해 Leave-One-Subject-Out 교차 검증(LOSO-CV) 프로토콜을 채택한다.

• 데이터 전처리: Empatica E4(손목: EDA, BVP, TEMP, ACC) 및 RespiBAN(가슴: RES, ECG, ACC)의 신호를 4Hz로 리샘플링하고, 중첩되지 않는 10단계 윈도우로 분할하였으며, 데이터 누수를 방지하기 위해 피험자별로 정규화하였다.
• 모델 아키텍처: 세 가지 뚜렷한 시간적 딥러닝 아키텍처를 구현하였다:
  • LSTM: 정서적 상태의 장기적 시간 의존성과 점진적 변화를 포착하기 위해 설계된 2층 양방향(bi-directional) LSTM.
  • TCN: 병렬 처리와 다중 스케일 시간 특징 추출에 최적화된, 잔차 연결(residual connections)을 포함한 1D 팽창 인과적 컨볼루션(dilated causal convolutions)의 스택.
  • Transformer: 국소적 구조를 가정하지 않고 임의의 타임 스텝에 대한 의존성을 모델링하기 위해 멀티 헤드 셀프 어텐션을 사용하는 컴팩트한 인코더로, 핵심적인 시간적 세그먼트에 집중할 수 있다.
• 퓨전 전략:
  • 초기 퓨전 (센서 레벨): 손목과 가슴의 특징을 채널 차원을 따라 결합하여 모델의 입력값으로 사용하였다.
  • 후기 퓨전 (앙상블 레벨): 세 가지 독립적으로 학습된 모델(LSTM, TCN, Transformer)의 소프트맥스 확률 출력을 평균화하여 최종 예측을 생성하는 앙상블 전략을 구현하였다.
• 절제 연구(Ablation Studies): 저자들은 각 모달리티의 개별적 기여도를 정량화하기 위해 손목 전용 및 가슴 전용 입력으로 모델을 학습시키는 광범위한 절제 연구를 수행하였다.

주요 결과
실험 결과는 다음과 같은 성능 지표를 나타낸다 (LOSO 폴드에 따른 평균 ± 표준 편차로 보고됨):

• 앙상블 성능: 후기 퓨전 앙상블이 가장 높은 전체 성능을 달뮬하며, 98.91 ± 0.13%의 정확도와 98.56 ± 0.17%의 매크로-F1 점수를 달성하였다. 이 접근 방식은 개별 모델에 비해 현저히 낮은 분산을 보이며 우수한 안정성을 입증하였다.
• 아키텍처 비교 (다중 모달): 다중 모달 설정에서 Transformer 아키텍처가 단독 모델 중 가장 높은 정확도(99.02 ± 0.51%)를 지속적으로 기록하였는데, 이는 셀프 어텐션을 통해 복잡한 시간적 의존성을 모델링하는 능력 덕분이다.
• 모달리티별 성능:
  • 손목 전용: TCN 모델이 손목 전용 구성에서 가장 좋은 성능(98.20 ± 0.41% 정확도)을 보였으며, 이 특정 절제 설정에서는 LSTM과 Transformer를 능가하였다.
  • 가슴 전용: LSTM이 가슴 전용 입력에 대해 가장 강력한 결과를 얻었으나, 전반적인 성능은 손목 전용 구성보다 낮았다.
• 모달리티 기여도: 다중 모달 퓨전은 모든 아키텍처에서 단일 모달 구성을 지속적으로 상회하였다. 그러나 손목 전용 모델이 경쟁력 있는 성능을 보여, 자원이 제한된 웨어러블 애플리케이션에서의 활용 가능성을 시사하였다. "즐거움(Amusement)" 클래스는 모든 모델에서 일관되게 낮은 점수를 기록하였으며, 이는 스트레스나 베이스라인 상태에 비해 해당 상태를 분류하는 것이 더 어렵다는 점을 강조한다.

주요 기여

1. 통합 벤치마킹 프레임워크: 본 논문은 WESAD 데이터셋을 사용하여 일관된 LOSO-CV 프로토콜 하에서 LSTM, TCN, Transformer 모델을 단일 모달, 다중 모달, 앙상블 설정에 걸쳐 체계적이고 아키텍처 불가지론적인 비교를 수행하는 프레임워크를 구축하였다.
2. 이중 퓨전 전략: 초기 센서 퓨전(특징 결합)과 후기 모델 앙상블 퓨전(확률 평균화)을 결함하는 것의 효용성을 입증하였으며, 이 이중 접근 방식이 교차 센서 시너지와 분산 감소를 모두 활용함을 보여주었다.
3. 모달리티 및 아키텍처 통찰: Transformer가 다중 모달 맥락에서 탁월한 반면, TCN과 LSTM은 센서가 제한된 시나리오(손목 전용)에서 여전히 매우 효과적임을 명시하여, 가용 하드웨어에 따른 시스템 설계에 대한 실질적인 지침을 제공한다.
4. 강건성 분석: 15개의 LOSO 폴드에 걸친 표준 편차를 보고함으로써, 본 연구는 피험자 간 변동성에 대한 신뢰할 수 있는 추정치를 제공하며, 앙상블 방법이 분산을 줄이고 일반화 성능을 향적으로 개선함을 입증한다.

의의 및 주장
저자들은 그들의 연구 결과가 견고하고 확장 가능한 감정 인식 시스템을 개발하는 데 실질적인 통찰을 제공한다고 주장한다. 구체적으로, 본 논문은 다음과 같이 논한다:

• 앙상블 방법은 생체 신호 기반 감정 인식에 매우 효과적이며, 단일 모델 접근 방식보다 우수한 정확도와 안정성을 제공한다.
• 센서 퓨전은 중요하지만, 손목 전용 신호(스마트워치에서 흔함)도 정확한 인식을 지원할 수 있어, 기술의 실제적이고 비침습적인 배포를 가능하게 한다.
• 모든 시나리오에 적용되는 단 하나의 "최적" 아키텍처는 없으며, 최적의 선택은 입력 모달리티(예: 손목 전용의 경우 TCN)에 따라 달라진다.
• 본 연구는 이 세 가지 주요 시간적 아키텍처에 대한 통제된 비교 분석을 통해 아키텍처 선택, 센서 모달리티, 퓨전 설계가 감정 인식 성능에 미치는 영향을 격리함으로써 기존 문헌의 공백을 메운다.

본 논문은 센서 퓨전과 앙상블 기반 퓨전의 결합이 생체 신호를 통한 신뢰할 수 있는 스트레스 및 감정 탐지 시스템을 만들기 위한 유망한 방향이라고 결론짓는다.