Adaptive Temporal Dynamics for Personalized Emotion Recognition: A Liquid Neural Network Approach

[기술 요약] 개인화된 감정 인식을 위한 적응형 시간 역학: 액체 신경망(LNN) 접근 방식

1. 문제 정의 (Problem Statement)

생체 신호(Physiological signals)를 이용한 감정 인식은 다음과 같은 고질적인 문제로 인해 매우 어렵습니다.

• 비정상성 및 노이즈(Non-stationarity & Noise): EEG(뇌파)와 같은 신호는 시간에 따라 특성이 변하며 노이즈가 많습니다.
• 이질적 시간 척도(Heterogeneous Time Scales): EEG는 매우 빠른 변화를 보이는 반면, EDA(전기 피부 활동)나 체온 같은 말초 생체 신호는 매우 느리게 변화합니다. 기존의 LSTM이나 GRU 같은 순환 신경망(RNN)은 이러한 서로 다른 시간적 흐름을 효과적으로 모델링하는 데 한계가 있습니다.
• 개인차(Subject-dependency): 개인의 성격(Personality)과 생리적 반응 사이의 관계가 복잡하여, 범용적인 모델을 만들기 어렵습니다.
• 모달리티 지배 현상(Modality Dominance): 다중 모달(Multimodal) 학습 시, 신호가 강한 EEG가 다른 보조 신호들의 정보를 압도하여 정보 손실이 발생할 수 있습니다.

2. 연구 방법론 (Methodology)

본 논문은 **액체 신경망(Liquid Neural Network, LNN)**을 활용하여 시간적 역학을 적응적으로 학습하는 다중 모달 프레임워크를 제안합니다.

• 데이터셋: PhyMER 데이터셋을 사용하며, EEG, EDA, BVP(혈류량), 체온 및 피험자의 'Big Five' 성격 특성을 포함합니다.
• 전처리 파이프라인:
  • EEG: 필터링, ICA(독립 성분 분석)를 통한 아티팩트 제거, PSD(전력 스펙트럼 밀도), DE(미분 엔트로피), FAA(전두엽 알파 비대칭) 특징 추출.
  • 말초 신호: HRV(심박 변이도), EDA의 성분 분해(Tonic/Phasic), 체온 변화율 등을 추출.
• 핵심 아키텍처:
  1. CNN-LNN-Attention (Raw EEG 처리): CNN으로 공간적 특징을 추출한 후, **학습 가능한 시간 상수(Learnable Time Constants, $\tau$)**를 가진 LNN을 적용합니다. 이를 통해 신경망이 스스로 빠른 변화(Fast neurons)와 느린 변화(Slow neurons)를 포착하도록 합니다. 이후 Self-attention을 통해 감정적으로 중요한 시간 구간에 집중합니다.
  2. 특징 인코더(Feature Encoders): 추출된 다양한 특징들을 각각의 MLP(다층 퍼셉트론)를 통해 저차원 벡터로 변환합니다.
  3. 오토인코더 기반 융합(Autoencoder-based Fusion): 모든 모달리티의 특징을 결합한 후, 오토인코더의 병목(Bottleneck) 구조를 통해 상호 보완적인 잠재 표현(Latent representation)을 학습합니다. 재구성 손실(Reconstruction loss)을 사용하여 모달리티 간의 정보 균형을 맞춥니다.
  4. 분류기(Classifier): 학습된 잠재 벡터를 바탕으로 7가지 감정 클래스를 분류합니다.

3. 주요 기여 (Key Contributions)

• 최초의 LNN 적용: EEG 기반 감정 인식 분야에서 액체 신경망(LNN)을 종합적으로 적용한 첫 번째 연구입니다.
• 적응형 시간 역학 모델링: 고정된 시간 척도가 아닌, 학습 가능한 시간 상수를 통해 생체 신호의 이질적인 시간 흐름을 스스로 최적화합니다.
• 성격 인지 모델링(Personality-aware): 성격 특성을 모델에 통합하여 개인별 감정 반응의 차이를 효과적으로 반영했습니다.
• 해석 가능성(Interpretability) 제공: Temporal Attention 분석을 통해 감정별로 어떤 시간대 정보가 중요한지, 그리고 LNN 내부의 뉴런들이 어떻게 기능적으로 분화(Fast/Slow)되는지를 통계적으로 증명했습니다.

4. 연구 결과 (Results)

• 높은 정확도: PhyMER 데이터셋의 7개 감정 클래스에 대한 피험자 의존적(Subject-dependent) 실험에서 95.45%의 정확도를 달성하여 기존 연구들을 상회했습니다.
• 클러스터 분리도 향상: t-SNE 시각화 결과, 학습 후 감정 클래스들이 잠재 공간에서 매우 명확하고 조밀하게 구분됨을 확인했습니다 (Calinski-Harabasz 지수 대폭 상승).
• 효율성: 기존 RNN 구조에 비해 파라미터 효율성이 높으며, 낮은 지연 시간(Latency)을 보여 실시간 에지(Edge) 기기 적용 가능성을 입증했습니다.
• 성격 특성의 중요성: 성격 데이터를 추가했을 때 정확도가 크게 향상됨을 확인하여, 개인화된 모델의 핵심 요소임을 증명했습니다.

5. 의의 (Significance)

본 연구는 생체 신호의 복잡한 시간적 특성을 수학적으로 모델링할 수 있는 **연속 시간 신경망(Continuous-time neural models)**의 강력함을 보여주었습니다. 특히, 모델이 별도의 감독 없이도 스스로 뉴런의 역할을 분담(Fast/Slow)하는 '자기 조직화(Self-organization)' 능력을 보였다는 점은 생체 신호 기반의 차세대 개인화 웨어러블 기기 및 뇌-컴퓨터 인터페이스(BCI) 개발에 중요한 기술적 토대를 제공합니다.