egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

이 논문은 메타 프로젝트 아리아 안경을 통해 수집된 시계열 생체 신호와 자아 중심 시각 데이터를 결합하여 감정과 성격을 인식하는 최초의 데이터셋 'egoEMOTION'을 제안하고, 이를 기반으로 한 새로운 행동 예측 모델링의 방향성을 제시합니다.

핵심

이 논문은 **"egoEMOTION"**이라는 새로운 데이터셋을 소개하는 연구입니다. 아주 쉽게 비유와 예시를 들어 설명해 드릴게요.

🕶️ 1. 문제: 안경이 보는 것만으로는 부족해요

지금까지 컴퓨터가 사람의 행동을 이해하려고 할 때, 주로 "무엇을 하고 있는지" (예: 컵을 들다, 걷다, 물건 잡다) 에만 집중했습니다. 마치 친구가 "커피를 마시고 있다"는 사실만 보고, 그 친구가 **"기분 좋은지, 화가 난지, 지루한지"**는 전혀 모른 채 상황을 파악하려는 것과 비슷합니다.

하지만 우리는 감정과 성격이 행동의 진짜 원동력입니다. 화가 나면 컵을 던질 수도 있고, 기분이 좋으면 천천히 마실 수도 있죠. 기존 연구들은 이 **'내면의 감정'**을 무시하고 있었기 때문에, 컴퓨터가 사람을 완전히 이해하는 데 한계가 있었습니다.

🧪 2. 해결책: '감정 안경'과 '심장 모니터'를 동시에 착용하다

연구진은 이 문제를 해결하기 위해 43 명의 참가자에게 특수한 장비를 착용하게 했습니다.

• 메타의 '프로젝트 아리아' 안경: 이건 단순히 앞을 보는 안경이 아니라, 눈동자가 어디를 보는지 (시선), 얼굴 표정, 머리 움직임까지 실시간으로 기록하는 '스마트 안경'입니다.
• 생체 센서: 참가자들은 가슴과 귀, 코에 심박수, 호흡, 피부 전도도 (긴장도) 를 측정하는 센서를 달았습니다.

이들은 두 가지 상황에서 실험을 했습니다.

1. 감정 유도 (Session A): 슬픈 영화, 무서운 영상, 웃긴 영상을 보며 감정을 자극했습니다.
2. 일상 활동 (Session B): 그림 그리기, 조그마한 장난감 (재enga) 쌓기, 웃으려 노력하기 등 자연스러운 활동을 했습니다.

그리고 매번 **"지금 내 기분은 어때?"**라고 스스로에게 물어보고 답하게 했습니다. (기쁨, 슬픔, 분노 등 9 가지 감정과 성격 테스트까지!)

🔍 3. 놀라운 발견: "심장 소리"보다 "눈빛"이 더 솔직해요?

연구진은 이렇게 모은 방대한 데이터 (50 시간 분량) 를 이용해 컴퓨터에게 감정을 예측하는 훈련을 시켰습니다. 결과는 매우 흥미로웠습니다.

• 기존 방식: 심박수나 호흡 같은 생체 신호만 분석하면 감정을 예측하는 데 한계가 있었습니다.
• 새로운 발견: 스마트 안경으로 찍은 '눈빛'과 '시선' 데이터만으로도, 생체 신호보다 훨씬 정확하게 감정을 알아맞혔습니다.

비유하자면:

누군가 거짓말을 할 때, 심박수가 빨라지는 것 (생체 신호) 을 재는 것도 중요하지만, **그 사람의 눈동자가 어디를 피하는지, 눈이 어떻게 움직이는지 (시선)**를 보면 훨씬 더 솔직한 심리를 읽을 수 있다는 뜻입니다. 이 연구는 "안경이 보는 것"이 사람의 내면 감정을 읽는 가장 강력한 열쇠가 될 수 있음을 증명했습니다.

🎯 4. 이 연구가 왜 중요한가요?

이 데이터셋은 앞으로 다음과 같은 세상을 바꿀 수 있습니다.

1. 진짜 인간적인 AI: 로봇이나 AI 가 사용자의 기분을 읽고, 화가 났을 때는 진정시켜 주고, 지루할 때는 재미있는 걸 추천해 주는 등 감정 지능 (EQ) 을 갖춘 AI를 만들 수 있습니다.
2. 개인 맞춤형 서비스: 교육, 의료, 엔터테인먼트 분야에서 사용자의 현재 감정 상태에 맞춰 콘텐츠나 치료를 최적화할 수 있습니다.
3. 행동 예측의 완성: "왜 그 사람이 그런 행동을 했을까?"라는 질문에 감정과 성격이라는 답을 더할 수 있게 되었습니다.

💡 요약

이 논문은 **"사람의 행동을 이해하려면, 그들이 무엇을 하는지뿐만 아니라, 그들이 어떻게 느끼는지도 봐야 한다"**고 말합니다. 그리고 그 감정을 읽는 가장 좋은 방법은 심장 박동을 재는 것보다, 그들이 무엇을 보고 있는지 (눈빛) 를 분석하는 것일 수 있다는 놀라운 사실을 발견했습니다.

이제 컴퓨터는 단순히 '행동'을 보는 것을 넘어, 사람의 '마음'까지 읽을 수 있는 첫걸음을 내디뎠습니다.

기술 요약

egoEMOTION: 실제 세계 작업에서의 자아 중심 비전 및 생리학적 신호를 활용한 감정 및 성격 인식

이 논문은 egoEMOTION이라는 새로운 멀티모달 데이터셋과 이를 기반으로 한 벤치마크를 소개합니다. 기존 자아 중심 비전 (Egocentric Vision) 연구가 주로 물리적 행동, 손 - 물체 상호작용, 주의 집중 모델링에 집중하여 중립적인 감정 상태를 가정해 왔다면, egoEMOTION은 인간의 행동과 결정을 형성하는 내부 감정 상태와 성격 특성을 자아 중심 비전 시스템과 생리학적 신호를 통해 포착하는 데 초점을 맞춥니다.

1. 문제 정의 (Problem)

현재 자아 중심 비전 벤치마크 (예: Ego4D, EPIC-KITCHENS 등) 는 사용자의 외부 행동 (무엇을 하는지, 어디를 보는지) 을 모델링하는 데는 탁월하지만, 그 행동을 이끄는 **내적 동기 (감정, 성격, 기분)**를 무시합니다. 이는 다음과 같은 한계를 초래합니다.

• 감정 중립 가정: 대부분의 기존 데이터셋이 사용자의 감정 상태를 중립적이라고 가정하여, 실제 인간 행동의 핵심 동인인 감정과 성격의 영향을 간과합니다.
• 맥락 부재: 의사결정, 사회적 상호작용, 기억과 같은 복잡한 작업은 감정적 맥락에 기반하므로, 이를 이해하지 못하면 인간 행동 예측의 정확도가 떨어집니다.
• 데이터 부족: 실제 세계 (Real-world) 환경에서 자아 중심 비전 시스템과 생리학적 신호를 동기화하여 수집된 감정 및 성격 인식용 공개 데이터셋이 부재했습니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 실험 프로토콜

• 참가자: 43 명의 건강한 성인 (대학생 중심) 이 참여했습니다.
• 장비:
  • 자아 중심 비전: Meta 의 Project Aria 안경 (눈 추적 카메라, POV 카메라, IMU).
  • 생리학적 센서: Shimmer3 (귀 및 손가락의 PPG, EDA), Movisens ECGMove 4 (가슴 스트랩 ECG), Plux respiBAN (호흡 벨트), 자체 개발 코 PPG 센서.
  • 외부 카메라: 얼굴 표정 라벨링을 위한 웹캠.
• 실험 구성: 총 16 가지 작업으로 구성된 두 세션 (A, B) 으로 구성되었습니다.
  • Session A (유도된 감정): 9 개의 감정 유발 비디오 클립 (Mikels' Wheel 의 8 가지 감정 + 중립) 시청.
  • Session B (자연주의적 활동): 7 가지 일상 활동 (Jenga, 페인팅, Flappy Bird, 슬렌더맨 게임 등) 수행.
• 주석 (Annotation):
  • 감정: 각 작업 후 **Circumplex Model (Valence, Arousal, Dominance - VAD)**과 **Mikels' Wheel (9 가지 감정)**을 기반으로 한 자기 보고 (Self-report) 를 수행. 특히 Mikels' Wheel 은 9 가지 감정에 가중치 (100% 분배) 를 부여하여 복합 감정을 정량화했습니다.
  • 성격: Big Five Inventory-2 (BFI-2) 를 통해 5 가지 성격 특성 (외향성, 친화성, 성실성, 부정적 정서성, 개방성) 을 평가.

2.2 특징 추출 및 벤치마크 태스크

• 특징 추출: 612 개의 특징을 추출했습니다.
  • 생리학적 신호: ECG, EDA, RSP, PPG 에서 심박 변이성 (HRV), 피부 전도도 등 통계적 특징.
  • 자아 중심 비전: 눈동자 크기, 시선 (Gaze), 깜빡임, Fisherface 특징, 미세 표정 (LBP-TOP), 픽셀 강도, 가속도 등.
• 벤치마크 태스크:
  1. 연속적 감정 인식 (Continuous Affect): VAD (Valence, Arousal, Dominance) 수준 예측.
  2. 이산적 감정 분류 (Discrete Emotion): 9 가지 기본 감정 분류.
  3. 성격 추론 (Personality Inference): Big Five 성격 특성 예측.

2.3 모델 평가

• 기저선 (Baseline): SVM, Random Forest 등 전통적인 기계 학습 방법과 CNN, Transformer 기반의 딥러닝 모델을 비교 평가했습니다.
• 검증 방식: 참가자 간 일반화를 위해 Leave-One-Subject-Out (LOSO) 교차 검증을 사용했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 멀티모달 자아 중심 감정 데이터셋: Project Aria 안경과 다양한 생리학적 센서를 동기화하여 수집된, 유도된 감정과 자연스러운 일상 활동 모두를 포함하는 최초의 공개 데이터셋입니다.
2. 새로운 벤치마크 태스크: 연속적 감정, 이산적 감정, 성격 인식을 위한 3 가지 표준 평가 태스크를 정의하고 기저선 모델을 제공합니다.
3. 자아 중심 신호의 우월성 입증: 기존 생리학적 센서만 사용하는 방법보다, 자아 중심 비전 시스템 (특히 눈 추적 및 시선 특징) 에서 추출된 신호가 실제 세계 감정 예측에서 더 높은 성능을 보임을 실험적으로 증명했습니다.
4. 윤리적 데이터 공개: ETH Zurich 의 윤리 위원회 승인을 받았으며, 연구자만 접근 가능한 안전한 방식으로 데이터와 코드 (오픈소스) 를 공개합니다.

4. 실험 결과 (Results)

• 연속적 감정 인식 (VAD):
  • 모든 모달리티를 융합했을 때 SVM 기반 모델의 평균 F1 점수는 0.75였습니다.
  • 생리학적 센서만 사용한 경우 F1 점수는 0.70이었으나, 자아 중심 안경 (비전 + IMU + PPG) 만 사용한 경우 0.74로 생리학적 센서보다 약간 더 높은 성능을 보였습니다. 특히 동공 크기 (Pupil size) 특징이 큰 기여를 했습니다.
• 이산적 감정 분류:
  • 무작위 베이스라인 (F1=0.11) 대비 자아 중심 신호만 사용한 경우 0.46의 F1 점수를 기록하여 유의미한 성능을 보였습니다.
  • 반면, 생리학적 센서만 사용한 경우 (ECG, EDA 등) 평균 F1 점수는 0.24에 그쳤습니다.
  • 특정 감정 (슬픔, 분노 등) 에서는 자아 중심 비전 기반 특징이 매우 높은 예측 정확도 (F1 > 0.6) 를 보였습니다.
• 성격 예측:
  • 모든 모달리티 융합 시 F1 점수 0.59, 자아 중심 안경만 사용 시 0.57로, 생리학적 센서만 사용 시 (0.50) 보다 우수한 성능을 보였습니다. **시선 (Eye gaze)**이 가장 효과적인 단일 모달리티였습니다.
• 딥러닝 vs 전통적 방법:
  • 이 연구에서 제안된 **전통적인 기계 학습 방법 (SVM, Random Forest)**이 CNN 이나 Transformer 기반의 최신 딥러닝 모델보다 더 좋은 성능을 보였습니다. 이는 특징 추출의 중요성과 데이터의 특성에 기인한 것으로 해석됩니다.

5. 의의 및 결론 (Significance)

egoEMOTION 은 자아 중심 비전 시스템이 단순히 '무엇을 하는가 (What)'를 인식하는 것을 넘어, **'왜 하는가 (Why)'**를 이해하는 데 필수적인 감정과 성격 정보를 포착할 수 있음을 보여줍니다.

• 기술적 파급효과: 스마트 글래스 및 AR/VR 기기의 발전과 함께, 사용자의 내적 상태 (감정, 성격) 를 실시간으로 추론하여 맞춤형 인간 - 컴퓨터 상호작용 (HCI), 적응형 AI, 정신 건강 모니터링 등에 적용할 수 있는 새로운 길을 열었습니다.
• 연구 방향 제시: 생리학적 센서만 의존하던 기존 접근법의 한계를 극복하고, 자아 중심 비전 신호 (특히 눈 추적) 가 실제 세계 환경에서 더 강력하고 실용적인 감정 인식 수단임을 입증했습니다.
• 향후 과제: 데이터셋의 인구통계학적 편향 (젊은 성인 중심) 과 장기적 데이터 부재 등의 한계를 인정하며, 향후 더 다양한 인구집단과 장기적인 감정 변화를 연구하기 위한 기초 자료로 활용될 것으로 기대됩니다.

요약하자면, 이 논문은 감정과 성격이 인간 행동의 핵심 동인임을 강조하며, 이를 인식하기 위한 새로운 표준 데이터셋과 방법론을 제시하여 자아 중심 비전 연구의 지평을 넓혔습니다.