MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations

이 논문은 뇌파, 심전도 등 다양한 생리학적 신호와 3 차원 얼굴 영상을 동기화하여 수집하고, 자극 유발, 주관적 인지, 행동 표현이라는 3 단계 계층적 감정 주석을 적용한 다중 모달 감정 데이터셋 'MAD'를 제안하며, 이를 통해 감정 인식 및 교차 모달 감정 분석을 위한 신뢰할 수 있는 벤치마크를 확립합니다.

핵심

이 논문은 **'MAD(다중 모달 감정 데이터셋)'**이라는 새로운 연구 자료를 소개합니다. 어렵게 들릴 수 있는 이 개념을 일상적인 비유로 쉽게 설명해 드릴게요.

🎬 영화 한 편을 보는 경험으로 생각해보세요

감정을 연구하는 기존 방법들은 마치 영화의 마지막 장면 (배우의 표정) 만 보고 "이 영화가 슬펐나?"라고 추측하는 것과 비슷합니다. 하지만 배우는 연기 중일 수도 있고, 슬픈 표정을 짓고 있지만 속으로는 웃고 있을 수도 있죠.

이 논문은 "그 영화의 전체 과정을, 배우의 마음속까지 들여다보며" 기록한 새로운 자료를 만들었습니다.

---

1. MAD 는 무엇인가요? (세 가지 카메라와 생체 신호)

연구진은 18 명의 지원자에게 감정을 유발하는 짧은 영화 클립을 보여주고, 그 순간을 세 가지 다른 렌즈로 동시에 촬영했습니다.

1. 뇌의 카메라 (EEG 등): "머릿속에서 무슨 일이 일어나고 있을까?" (중추 신경 활동)
2. 몸의 심박수 카메라 (ECG, PPG 등): "심장이 어떻게 뛰고, 혈관은 어떻게 변하고 있을까?" (자율 신경 반응)
3. 얼굴의 3D 카메라 (RGB-D): "얼굴 표정이 어떻게 변하고 있을까?" (행동적 표현)

비유하자면:
마치 한 사람을 감싸는 투명한 껍질을 여러 층으로 나누어 관찰하는 것입니다.

• 바깥층 (얼굴): 우리가 눈에 보이는 표정입니다. (예: 웃음, 눈물)
• 중간층 (몸): 숨이 가빠지거나 심장이 두근거리는 상태입니다.
• 안쪽층 (뇌): 실제로 감정을 느끼고 처리하는 뇌의 전기 신호입니다.

기존 연구는 주로 '바깥층'만 봤다면, MAD 는 이 세 층을 완벽하게 동기화하여 한 번에 기록했습니다.

2. 이 자료의 특별한 점: "세 가지 버전의 감정"

이 자료의 가장 큰 특징은 감정을 세 가지 관점으로 나누어 기록했다는 것입니다.

• ① 자극 (Stimulus): "이 영화 장면은 원래 어떤 감정을 표현했나요?" (예: 이 장면은 '슬픔'을 의도함)
• ② 인지 (Cognitive): "당신은 지금 어떤 기분이 들었나요?" (참가자가 직접 보고 느낀 감정)
• ③ 표현 (Expression): "당신의 얼굴은 지금 어떤 표정을 하고 있나요?" (관찰자가 본 표정)

일상적인 비유:
친구가 슬픈 영화를 보고 울고 있다고 칩시다.

• 자극: 영화 속 주인공이 죽어서 슬픈 상황입니다.
• 인지: 친구는 "나는 슬퍼서 울고 있어"라고 말합니다.
• 표현: 친구의 눈물이 흐르고 입술이 떨립니다.

하지만 가끔은 친구가 영화는 슬픈데 (자극), 자신은 슬프지 않고 오히려 감동받았다고 (인지) 말하면서, 눈물은 흘리지만 (표현) 상황이 복잡해지기도 합니다. MAD 는 이런 불일치 (차이) 까지 정확히 기록해서, "왜 뇌는 슬픈데 몸은 반응이 다를까?" 같은 복잡한 질문을 연구할 수 있게 해줍니다.

3. 왜 이 연구가 중요한가요? (실생활 적용)

이 논문은 이 데이터를 이용해 여러 실험을 해보았는데, 다음과 같은 놀라운 결과를 얻었습니다.

• 뇌 vs 몸: 뇌 신호 (EEG) 가 감정을 가장 정확하게 예측했지만, 심박수 (ECG) 나 혈류 (PPG) 같은 '몸의 신호'도 뇌와 매우 잘 맞았습니다.
  • 비유: 뇌가 "우리는 슬퍼!"라고 외치면, 몸도 "맞아, 심장이 덜컥거려!"라고 반응한다는 뜻입니다. 심지어 **비접촉식 센서 (BCG)**로도 심박수를 재면 감정을 알아낼 수 있어, 앞으로 의자에 앉는 것만으로도 감정을 읽는 기술이 가능해질 수 있습니다.
• 얼굴의 3D 효과: 얼굴을 한쪽에서만 보면 (정면) 표정을 잘 못 읽을 때가 많지만, 세 방향 (정면, 좌우) 에서 동시에 보면 머리를 돌리더라도 감정을 훨씬 잘 알아맞힐 수 있었습니다.
  • 비유: 조각상을 한쪽 면만 보면 코만 보이는데, 360 도 돌리면 얼굴 전체를 이해하는 것과 같습니다.

4. 결론: 감정 연구의 새로운 지도

기존의 감정 연구는 "얼굴 표정"이라는 지도만 가지고 길을 찾았다면, MAD 는 뇌, 몸, 표정까지 모두 포함된 3D 내비게이션을 제공한다고 볼 수 있습니다.

이 자료는 다음과 같은 미래 기술의 기초가 될 것입니다:

• 더 정확한 AI: 사람의 진짜 감정을 더 잘 이해하는 인공지능.
• 비접촉 건강 관리: 의자에 앉거나 카메라만으로도 스트레스나 우울증을 감지하는 시스템.
• 심리 치료: 왜 내가 슬픈지, 몸이 어떻게 반응하는지 과학적으로 분석하여 더 나은 치료법 개발.

한 줄 요약:

"MAD 는 사람의 감정을 '머리 (뇌)', '몸 (심장)', '얼굴 (표정)' 세 가지 렌즈로 동시에 찍어, 우리가 몰랐던 감정의 비밀을 풀 수 있는 거대한 데이터 보물창고입니다."

기술 요약

논문 요약: MAD (다중 모달 및 다중 관점 정서 데이터셋)

1. 문제 정의 (Problem)

기존의 정서 인식 (Emotion Recognition) 연구 및 데이터셋은 다음과 같은 한계를 가지고 있습니다:

• 단일 모달리티 의존성: 대부분의 연구가 텍스트, 음성, 얼굴 표정 등 관찰 가능한 행동 모달리티에 의존하거나, EEG 와 같은 단일 생리 신호에 국한되어 있습니다. 이는 의식적인 통제나 사회적 상황에 의해 왜곡될 수 있는 표층적 특징에 머무릅니다.
• 생리 신호의 불완전성: 단일 생리 신호 (예: EEG 는 신경 활동은 반영하지만 운동 아티팩트에 취약, ECG 는 각성 수준은 반영하지만 미세한 감정 분류 능력은 낮음) 만으로는 복잡한 정서 상태를 포괄적으로 모델링하기 어렵습니다.
• 계층적 주석 (Annotation) 의 부재: 기존 데이터셋 (DEAP, SEED 등) 은 자극 기반 (stimulus-based) 이나 자기 보고 (self-reported) 중 하나의 수준에서만 라벨링되어, '자극 유발 - 인지 평가 - 행동 표현'이라는 정서의 전체 과정을 통합적으로 분석하는 데 한계가 있습니다.
• 시각 데이터의 제한: 대부분 2D 단일 뷰 RGB 비디오에 국한되어 있어, 3D 구조 인식이나 다양한 각도에서의 강건성 (Robustness) 연구가 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 해결하기 위해 **MAD (Multimodal Affection Dataset)**를 설계 및 구축했습니다.

• 데이터 수집 프로토콜:
  • 참가자: 18 명 (남녀 각 9 명, 23~25 세) 의 건강한 참가자.
  • 자극: 16 개의 정서 유발 영상 (기쁨, 분노, 슬픔, 공포, 불안, 혐오, 중립) 을 시청하게 함.
  • 동시 수집: 영상 시청 동안 다양한 생리 신호와 얼굴 영상을 동기화하여 수집.
• 다중 모달 데이터 (6 가지 생리 신호 + 3 뷰 영상):
  • 중추 신경: EEG (14 채널, Emotiv Epoc+).
  • 말초 생리 신호: ECG (심전도), EOG (안구 운동), EMG (근전도), PPG (광용적맥파), BCG (심진동도).
  • 시각 데이터: 3 개의 Intel RealSense D455 카메라를 이용한 Tri-view RGB-D 영상 (정면, 좌측, 우측).
• 계층적 정서 주석 프레임워크 (3 레벨):
  1. 자극 기반 (Stimulus): 외부 영상 콘텐츠에 기반한 50 명의 어노테이터가 부여한 라벨.
  2. 인지 기반 (Cognitive): 참가자가 시청 후 보고한 주관적 정서 상태 (7 클래스, 4 클래스, 3 클래스).
  3. 표현 기반 (Expression): 10 명의 관찰자가 3 뷰 얼굴 프레임에 기반하여 부여한 행동적 표현 라벨.
• 벤치마크 실험 설계:
  • 단일/다중 참가자 EEG 정서 인식.
  • 도메인 적응 (Domain Adaptation) 을 통한 교차 참가자 (Cross-subject) 전이 학습.
  • 심혈관 관련 신호 (ECG, PPG, BCG) 간의 일관성 및 대체 가능성 분석.
  • 다중 생리 신호 융합 (Fusion) 실험.
  • 다중 뷰 (Multi-view) 얼굴 정서 인식 및 대비 학습 (Contrastive Learning) 적용.

3. 주요 기여 (Key Contributions)

1. 계층적 다중 모달 데이터셋: 뇌 활동 (EEG), 말초 생리 반응 (ECG, PPG, BCG 등), 그리고 행동적 표현 (3 뷰 RGB-D) 을 동기화하여 제공함으로써, 정서 과정의 '자극 - 인지 - 표현' 전 단계를 통합적으로 연구할 수 있는 기반을 마련했습니다.
2. 3 레벨 정서 주석 체계: 자극 유발, 주관적 인지, 행동 표현을 모두 아우르는 주석 체계를 도입하여, 서로 다른 개념적 층위 간의 정서 정보 일치성 및 불일치를 정량적으로 비교 분석할 수 있게 했습니다.
3. 포괄적인 벤치마크 프로토콜: 단일/교차 참가자 EEG 인식, 심혈관 신호 분석, 다중 모달 융합, 다중 뷰 얼굴 인식 등 5 가지 핵심 과학적 질문에 답할 수 있는 표준 벤치마크를 확립했습니다.

4. 실험 결과 (Results)

• EEG 인식 및 라벨 일관성:
  • 자극 기반 라벨로 학습한 모델이 자기 보고 (인지) 라벨로 학습한 모델보다 훨씬 높은 정확도를 보였습니다 (3 클래스 기준: 88.8% vs 69.3%). 이는 외부 자극에 대한 신경 반응이 개인의 주관적 경험보다 더 일관적임을 시사합니다.
  • 두 라벨이 일치하는 샘플 subset 에서만 학습 시 정확도가 크게 향상되어, 라벨 일관성이 신경 활동의 안정성을 반영함을 확인했습니다.
• 교차 참가자 (Cross-subject) 전이 학습:
  • MAD 는 도메인 적응 (DAN, DANN 등) 알고리즘에 대해 "현실적이지만 학습 가능한" 교차 참가자 변이 구조를 보여주어, 개인별 차이를 유지하면서도 안정적인 전이 학습이 가능함을 입증했습니다.
• 심혈관 신호의 일관성:
  • ECG, PPG, BCG 세 가지 신호는 시간적 리듬 (심박수 변동) 에서 높은 일관성을 보였습니다. 특히 비접촉식인 BCG 가 접촉식 ECG/PPG 와 유사한 정서 인식 성능을 보여, 웨어러블/비접촉 환경에서의 활용 가능성을 입증했습니다.
• 다중 모달 융합:
  • 단일 모달리티 중 EEG 가 가장 우수한 성능을 보였으며, 말초 신호 (ECG, EOG, EMG) 를 EEG 와 융합하면 추가적인 성능 향상을 얻을 수 있었습니다. 이는 정서 처리가 중추 신경과 말초 신경 시스템의 조응적 반응임을 시사합니다.
• 다중 뷰 얼굴 인식:
  • 단일 뷰 (정면) 모델은 측면 뷰에서 성능이 급격히 떨어졌으나, 다중 뷰 미세 조정 (Fine-tuning) 과 대비 학습 (Contrastive Learning) 을 적용한 모델은 모든 뷰에서 강건한 성능을 보였습니다 (정면 84.5%, 측면 81.8%).

5. 의의 및 결론 (Significance)

• 연구 플랫폼의 표준화: MAD 는 정서 연구에 있어 신경, 생리, 행동 수준을 아우르는 통일된 실험 플랫폼을 제공합니다.
• 정서 메커니즘 규명: 자극, 주관적 경험, 행동 표현 간의 불일치와 일관성을 분석함으로써 정서의 심리학적 및 신경학적 메커니즘을 깊이 있게 이해할 수 있는 기회를 제공합니다.
• 실용적 응용: 비접촉식 생리 신호 (BCG, rPPG) 와 다중 뷰 영상 분석을 통해 웨어러블 기기 및 실제 환경에서의 강건한 정서 인식 시스템 개발에 기여할 수 있습니다.
• 미래 방향: 향후 데이터셋 규모 확대, 자연스러운 환경 (Real-world) 데이터 수집, 그리고 대규모 기초 모델 (Foundation Models) 과의 결합을 통해 해석 가능하고 일반화 가능한 정서 컴퓨팅 시스템 개발을 목표로 합니다.

이 논문은 단순한 데이터셋 제공을 넘어, 정서 인식의 다층적 특성을 체계적으로 분석할 수 있는 방법론적 기반을 마련했다는 점에서 의의가 큽니다.