Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals

이 논문은 fNIRS 와 말초 생리 신호 (EDA, PPG) 를 결합한 멀티모달 센싱이 Russell 의 각성 및 정서 차원 분류 성능을 향상시켜 주체 독립적 감정 인식에 효과적임을 입증했습니다.

핵심

🕵️‍♂️ 감정을 찾아라: 뇌와 몸의 '팀워크' 실험

1. 문제: 감정은 왜 알아채기 어려울까?

우리가 감정을 표현할 때, 얼굴 표정이나 목소리만으로는 알 수 없는 경우가 많습니다. 속으로 감정을 꾹 참거나, 표정을 바꾸는 사람도 있죠. 그래서 연구자들은 **"감정의 핵심은 뇌와 몸속에 숨어있다"**고 생각했습니다.

기존에는 뇌파 (EEG) 를 많이 썼는데, 이는 머리에 전극을 많이 붙여야 하고, 눈이 깜빡이거나 몸이 조금만 움직여도 신호가 흐려져서 '날씨 좋은 야외'에서 쓰기엔 너무 까다로웠습니다.

2. 새로운 도구: fNIRS (뇌의 '산소 측정기')

이 연구에서는 fNIRS라는 장비를 사용했습니다.

• 비유: 마치 **헤드폰처럼 가볍게 머리에 쓰는 '산소 측정기'**입니다.
• 원리: 뇌가 활발하게 활동하면 그 부분으로 혈액 (산소) 이 더 많이 흐릅니다. fNIRS 는 이 혈액의 흐름을 빛으로 쏘아 측정합니다.
• 장점: 뇌파 (EEG) 보다 덜 민감해서, 사람이 조금 움직이거나 주변에 전자기기가 있어도 잘 작동합니다. 마치 **"비 오는 날에도 우산을 쓰고도 잘 걷는 신발"**과 같습니다.

3. 실험 방법: 감정을 자극하는 '뮤직비디오' 파티

연구진은 35 명의 대학생들을 모아 12 개의 짧은 뮤직비디오를 보여줬습니다.

• 목표: 이 비디오들을 보고 participants(참가자) 가 느끼는 두 가지 감정을 측정했습니다.
  1. 각성 (Arousal): 얼마나 흥분했는가? (예: 시끄러운 록 음악 vs 잔잔한 재즈)
  2. 가치 (Valence): 얼마나 기쁜가/슬픈가? (예: 행복한 노래 vs 슬픈 발라드)

이때 참가자들의 **뇌 (fNIRS)**와 **몸의 반응 (EDA, PPG)**을 동시에 기록했습니다.

• EDA (손바람 땀): 손끝의 땀이 얼마나 찔끔찔끔 나는지 측정 (흥분할 때 잘 나옴).
• PPG (손가락 맥박): 손가락의 맥박을 측정 (심장 박동 변화).

4. 핵심 발견: 혼자보다 함께가 더 강력하다!

연구진은 컴퓨터 (머신러닝) 에게 이 데이터를 주고 "이 사람은 지금 흥분했는지, 슬픈지 맞춰봐!"라고 시켰습니다. 결과는 다음과 같았습니다.

• 뇌만 보면? (fNIRS 단독) 어느 정도는 맞췄지만, 완벽하지는 않았습니다.
• 몸만 보면? (손땀이나 맥박만) 흥분 정도는 잘 맞췄지만, '기쁨/슬픔' 같은 복잡한 감정은 헷갈렸습니다.
• 뇌 + 몸 (특히 손땀) 을 합치면? 🏆 가장 높은 점수를 받았습니다!

창의적인 비유:

감정을 추리하는 것은 마치 미스터리 소설을 읽는 것과 같습니다.

• **fNIRS(뇌)**는 '범인의 심리'를 알려주는 심리 분석가입니다.
• **EDA(손땀)**는 '범인의 긴장감'을 보여주는 경보 시스템입니다.

심리 분석가 혼자서는 범인의 마음을 완전히 읽기 어렵고, 경보 시스템만으로는 범인이 누구인지 알 수 없습니다. 하지만 두 명이 팀을 이루면, "범인이 긴장하고 있구나 (손땀) + 그리고 지금 이 상황을 어떻게 느끼고 있나 (뇌)"를 함께 분석해 범인 (감정) 을 정확히 찾아낼 수 있습니다.

5. 중요한 결론: "간단한 도구로도 충분하다"

이 연구의 가장 큰 특징은 복잡한 인공지능 (딥러닝) 을 쓰지 않았다는 점입니다.

• 연구진은 아주 단순하고 계산하기 쉬운 숫자들 (평균, 표준편차 등) 만을 사용했습니다.
• 의미: 복잡한 AI 모델이 아니더라도, 올바른 센서 (뇌 + 몸) 를 잘 조합하기만 하면 누구에게나 적용 가능한 감정 판별이 가능하다는 것을 보여준 것입니다. 이는 실제 일상생활 (예: 스트레스 관리 앱, 맞춤형 광고 등) 에 적용하기 훨씬 쉽다는 뜻입니다.

📝 한 줄 요약

"머리 (뇌) 와 몸 (손땀) 의 신호를 함께 읽으면, 컴퓨터도 사람의 감정을 훨씬 더 정확하게 알아챌 수 있다!"

이 연구는 앞으로 우리가 일상에서 감정을 이해하고 도와주는 기술들이 더 자연스럽고 정확하게 발전할 수 있는 길을 열어주었습니다.

기술 요약

논문 요약: fNIRS 와 말초 생리 신호를 결합한 감정 분류 성능 향상 연구

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 감성 컴퓨팅 (Affective Computing) 분야에서 인간의 감정 (각성도 Arousal, 가치 Valence) 을 정확하게 추론하는 것은 적응형 인터페이스 및 인간 복지 지원에 필수적입니다. 기존에는 자기 보고식 설문 (SAM, PANAS 등) 이 주류였으나, 이는 사용자의 부담이 크고 연속적인 측정이 어렵다는 한계가 있습니다.
• 기존 방법의 한계:
  • EEG(뇌전도): 뇌 활동을 직접 측정하지만, 움직임, 눈깜빡임, 전자기 간섭에 매우 취약하여 일상 환경에서의 적용이 어렵습니다.
  • fNIRS(기능적 근적외선 분광법): EEG 보다 움직임과 전자기 간섭에 강건하여 자연스러운 환경 측정에 유리하지만, 말초 생리 신호와의 결합이 감정 분류 (특히 대상자 독립적 분류) 에 얼마나 기여하는지는 명확하지 않았습니다.
  • 기존 연구: fNIRS 와 말초 신호 (EDA 등) 를 결합한 연구가 일부 존재하지만, fNIRS 단독 대비 성능 향상 여부와 대상자 독립 (Subject-independent) 모델 학습 가능성에 대한 체계적인 검증이 부족했습니다.
• 연구 목적: fNIRS(중추 신경계) 와 말초 생리 신호 (EDA, PPG) 를 결합하여, **대상자 독립적 (Subject-independent)**으로 Russell 의 감정 원형 모델에 기반한 **각성도 (Arousal) 와 가치 (Valence)**를 이진 분류 (High/Low) 하는 성능이 향상되는지 규명하는 것.

2. 연구 방법론 (Methodology)

• 실험 대상 및 데이터 수집:

  • 대상: 35 명의 건강한 일본인 대학생 (남 24 명, 여 11 명, 평균 연령 20.7 세). 최종 분석에는 30 명의 데이터가 사용됨 (5 명은 실험/수집 오류로 제외).
  • 자극: 유튜브의 일본 대중 음악 비디오 중 60 초 구간 12 개를 선정. 각성도와 가치에 따라 고/저 (High/Low) 4 가지 카테고리로 구성.
  • 측정 장비:
    • fNIRS: 34 채널 웨어러블 시스템 (Hitachi). 전두엽 및 측두엽 영역 측정.
    • EDA (피부 전도도) & PPG (광용적맥파): Shimmer3 GSR+ 유닛을 통해 동시 측정.
  • 프로토콜: 20 초 휴식 후 60 초 비디오 시청, 9 점 SAM 척도로 주관적 감정 평가, 20 초 휴식 순서 반복.

• 데이터 전처리 및 특징 추출:

  • 재현성 및 투명성 강조: 복잡한 딥러닝 모델 대신, 널리 사용되는 도구 (Homer3, NeuroKit2, scikit-learn) 를 활용한 **간단하고 계산 용이한 특징 (Mean, Std, Slope 등)**을 추출.
  • fNIRS: 모션 아티팩트 제거 (Wavelet 기반), 저역통과필터링, 5 개 뇌 영역 (중간 전두엽, 좌/우 측 전두엽, 좌/우 측두엽) 으로 평균화. 산소화/탈산소화 헤모글로빈 신호 각각에서 평균, 표준편차, 기울기 추출 (총 30 개 특징).
  • EDA: 톤 (Tonic) 과 프라식 (Phasic) 성분 분해. 표준편차, 왜도, 첨도, 피크 수, 평균 진폭 등 9 개 특징 추출.
  • PPG: 시간/주파수 도메인 심박변이도 (HRV) 특징 27 개 추출.

• 분류 및 평가:

  • 모델: 서포트 벡터 머신 (SVM, RBF 커널).
  • 검증 방식: 그룹화된 5 폴드 교차 검증 (Grouped 5-fold Cross-validation). 동일한 대상자의 데이터가 학습 세트와 테스트 세트로 나뉘지 않도록 하여 대상자 독립적 성능을 평가.
  • 평가 지표: Macro-averaged F1 점수, 정밀도, 재현율, 정확도. 20 회 반복 실험의 중앙값 사용.
  • 통계적 검증: 치환 검정 (Permutation test) 을 통한 유의성 확인 및 특징 중요도 (Permutation Importance) 분석.

3. 주요 결과 (Key Results)

• 분류 성능:

  • 각성도 (Arousal): 모든 특징 집합이 우연 수준보다 유의하게 높은 성능을 보임.
    • 최고 성능: fNIRS + EDA 결합 (Macro-averaged F1 = 0.73).
    • 단일 모달리티 비교: fNIRS (0.65), EDA (0.69), PPG (0.59).
  • 가치 (Valence): 각성도보다 분류가 어려웠으나, 결합 모델이 우세함.
    • 최고 성능: fNIRS + EDA 결합 (Macro-averaged F1 = 0.64).
    • 단일 모달리티 비교: fNIRS (0.58), EDA (0.51), PPG (0.55).
  • 세 가지 모달리티 결합 (fNIRS + EDA + PPG): fNIRS + EDA 와 유사하거나 약간 낮은 성능을 보여, PPG 추가가 큰 이득을 주지 않음.

• 통계적 유의성:

  • fNIRS + EDA 조합은 다른 모든 특징 집합 (단일 모달리티 포함) 보다 통계적으로 유의하게 높은 성능을 보임 (fNIRS + EDA + PPG 제외).
  • fNIRS 단독으로도 각성도와 가치 모두 통계적으로 유의한 분류가 가능했으나, 말초 신호 (특히 EDA) 를 추가하면 성능이 향상됨.

• 특징 중요도 분석 (Permutation Importance):

  • 각성도: fNIRS + EDA 모델에서 EDA 특징이 가장 중요한 기여를 함 (각성도 추정에 EDA 가 강력함).
  • 가치: fNIRS 특징과 말초 신호 특징이 모두 중요한 역할을 함. EDA 나 PPG 단독으로는 가치가 유의하게 분류되지 않았으나, fNIRS 와 결합될 때 성능이 향상됨 (중추 및 말초 신호의 상호 보완적 정보 필요).

4. 주요 기여 및 의의 (Contributions & Significance)

1. 다중 모달리티의 유효성 입증: fNIRS(중추) 와 EDA(말초) 를 결합한 것이 단일 모달리티나 다른 결합 방식보다 대상자 독립적 감정 분류 성능을 가장 크게 향상시킴을 실증적으로 증명함.
2. 재현성 및 투명성 우선 접근: 복잡한 딥러닝이나 과도한 특징 공학 없이, 표준 도구와 간단한 특징을 사용하여 재현 가능한 (Reproducible) 벤치마크를 제시함. 이는 향후 연구의 기준이 될 수 있음.
3. 감정 차원별 정보원 차이 규명:
   • 각성도 (Arousal): EDA 와 같은 말초 신호가 강력한 예측 인자 역할을 함.
   • 가치 (Valence): 중추 신경계 (fNIRS) 와 말초 신호의 상호 보완적 정보가 필수적임을 보여줌.
4. 실용적 적용 가능성: fNIRS 는 전자기 간섭과 움직임 아티팩트에 강건하므로, 이를 중심으로 한 다중 모달리티 접근법은 **실제 자연스러운 환경 (Naturalistic settings)**에서의 감성 컴퓨팅 응용에 매우 유망한 방향임을 시사함.

5. 결론 (Conclusion)

본 연구는 fNIRS 기반의 뇌 혈역학 반응에 말초 생리 신호 (특히 EDA) 를 결합함으로써, 대상자 독립적인 감정 (각성도 및 가치) 분류 성능을 유의미하게 향상시킬 수 있음을 보여주었습니다. 특히 복잡한 모델 없이도 간단한 특징과 고전적인 머신러닝을 통해 이러한 성능 향상을 달성했다는 점은 방법론적 투명성과 실용성 측면에서 중요한 의의를 가집니다. 향후 더 다양한 인구 집단과 추가적인 말초 신호 (심전도, 근전도 등) 를 포함한 연구가 필요하지만, fNIRS 중심의 다중 모달리티 프레임워크는 일상적인 환경에서의 정서 인식 기술 발전에 중요한 기여를 할 것으로 기대됩니다.