GAViD: A Large-Scale Multimodal Dataset for Context-Aware Group Affect Recognition from Videos

1. 문제 정의 (Problem)

• 배경: 기존의 감정 컴퓨팅 (Affective Computing) 은 주로 개인 수준의 감정 인식에 집중해 왔으나, 복잡한 사회적 상호작용을 이해하기 위해서는 집단 감정 (Group Affect) 분석이 필수적입니다.
• 주요 과제:
  1. 데이터 부재: 자연 환경 (In-the-wild) 에서의 집단 감정을 분석할 수 있는 대규모, 다중 모달 (Multimodal), 그리고 문맥 (Context) 정보가 풍부한 주석 (Annotation) 데이터셋이 부족합니다. 기존 데이터셋은 정적 이미지 위주이거나, 비디오라도 문맥 정보나 이산적 감정 (Discrete Emotion) 라벨이 누락된 경우가 많습니다.
  2. 분석의 복잡성: 집단 감정은 개인 간 상호작용, 다양한 장면의 문맥, 그리고 비언어적/언어적 단서가 얽혀 있어 매우 복잡합니다. 특히 시각적 특징만으로는 이러한 미묘한 상호작용을 포착하기 어렵습니다.
  3. 문맥 정보의 활용 부족: 최근 대규모 언어 모델 (LLM) 의 발전으로 비디오 캡셔닝 등에서 문맥의 중요성이 부각되었으나, 집단 감정 인식 (GAR) 분야에서는 문맥 모델링이 충분히 연구되지 않았습니다.

2. 제안된 방법론 (Methodology)

가. GAViD 데이터셋 구축

저자들은 이러한 격차를 해소하기 위해 GAViD (Group Affect from ViDeos) 라는 대규모 다중 모달 데이터셋을 제안했습니다.

• 규모 및 구성: YouTube 의 크리에이티브 커먼즈 (CC BY) 라이선스 비디오에서 수집된 5,091 개의 비디오 클립 (평균 5 초) 으로 구성됩니다.
• 다중 모달 데이터:
  • 비디오: 시각적 정보.
  • 오디오: 음성 및 환경음.
  • 문맥 (Context): VideoGPT(멀티모달 LLM) 를 생성하여 생성된 장면 설명 및 이벤트 메타데이터를 인간 어노테이터가 검증.
• 주석 (Annotations):
  • 3 단계 정서 (Ternary Valence): 긍정 (Positive), 중립 (Neutral), 부정 (Negative).
  • 이산적 감정 (Discrete Emotion): 행복, 슬픔, 두려움, 분노, 중립 (5 클래스).
  • 추가 정보: 감정 강도 (High/Medium/Low), 상호작용 유형 (협력적, 적대적, 중립), 행동 단서 (미소, 박수, 외침 등).
• 품질 관리: 108 명의 어노테이터를 투입하여 3 인이 독립적으로 라벨링하고 다수결 원칙을 적용, 불일치 시 4 인이 추가하여 신뢰성을 확보했습니다 (Cohen's Kappa: Valence 0.72, Emotion 0.65).

나. CAGNet (Context-Aware Group Affect Recognition Network)

GAViD 데이터셋을 기반으로 한 새로운 모델로, 시각, 오디오, 문맥 정보를 융합하여 집단 감정을 인식합니다.

• 아키텍처:
  1. 모달리티별 인코딩: DINOv2(시각), Wav2Vec 2.0(오디오), XLM-RoBERTa(텍스트) 를 사용하여 고정된 백본으로 특징을 추출합니다.
  2. 교차 모달 정렬 (Cross-Modal Alignment): 시각 - 오디오, 시각 - 텍스트, 오디오 - 텍스트 쌍마다 마스크된 멀티헤드 크로스 어텐션 (Cross-Attention) 블록을 적용하여 각 모달리티가 다른 모달리티의 결손을 보완하도록 합니다.
  3. 게이트드 퓨전 (Gated Fusion): 정렬된 특징을 연결한 후, Squeeze-and-Excitation 게이트를 통해 채널별 중요도 가중치를 동적으로 조정합니다. (예: 얼굴이 가려졌을 때 오디오나 텍스트의 가중치를 높임).
  4. 분류: 융합된 벡터를 MLP 를 통해 최종 감정 라벨 (정서/분류) 로 변환합니다.
• 강건성: 학습 중 모달리티 드롭아웃 (Modality Dropout) 을 적용하여 특정 모달리티가 누락된 상황에서도 모델이 정상 작동하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. GAViD 데이터셋 출시: 시각, 오디오, 문맥 메타데이터가 모두 정렬되어 있으며, 3 단계 정서와 이산적 감정 라벨을 모두 포함하는 최초의 대규모 자연 환경 기반 GAR 데이터셋입니다.
2. 고품질 문맥 정보: 멀티모달 LLM 이 생성한 문맥 설명을 인간이 검증하여, 기존 데이터셋이 lacked 한 '장면의 의미'와 '이벤트 맥락'을 풍부하게 제공합니다.
3. CAGNet 모델 제안: 크로스 어텐션과 게이트드 퓨전을 결합하여 다중 모달 정보를 효과적으로 통합하는 새로운 아키텍처를 제시했습니다.
4. 오픈 소스: 데이터셋, 코드, 어노테이션 가이드라인을 GitHub 및 Zenodo 를 통해 공개하여 연구의 재현성을 보장합니다.

4. 실험 결과 (Results)

• 성능: CAGNet 은 GAViD 테스트 세트에서 63.20% 의 정확도를 기록하여 기존 베이스라인 (Baseline 1, 2) 및 최신 비디오 - LLM 기반 모델 (Video-GPT, LLaVA-NeXT) 보다 우수한 성능을 보였습니다.
  • 참고: Video-GPT 와 LLaVA-NeXT 는 각각 51.92%, 54.82% 정확도로, 명시적인 문맥 융합이 없는 일반 비디오 - 언어 모델은 GAR 작업에 비효율적임을 시사합니다.
• 모달리티 분석:
  • V+A+C (시각+오디오+문맥) 조합이 가장 높은 성능을 보였습니다.
  • V+A (시각+오디오) 만으로도 높은 성능을 내지만, 문맥 (C) 정보가 추가되면 미묘한 표정 변화나 대화의 뉘앙스 (예: " harsh tone" vs "warm chat") 를 구분하는 데 결정적인 역할을 하여 성능이 향상되었습니다.
• 결손 모달리티 처리: 학습 시 모달리티 드롭아웃을 적용했기 때문에, 테스트 시 특정 모달리티가 누락되더라도 성능 저하가 미미하여 모델의 강건성이 입증되었습니다.

5. 의의 및 결론 (Significance)

• 학문적 기여: 집단 감정 인식 분야에서 '문맥 (Context)'의 중요성을 실증적으로 입증하고, 이를 체계적으로 분석할 수 있는 표준 데이터셋과 벤치마크를 제공했습니다.
• 실용적 응용: 비즈니스 생산성 분석, 팀 성과 평가, 공공 안전, 교육 및 엔터테인먼트 등 다양한 분야에서 집단 감정을 실시간으로 이해하고 대응하는 시스템 개발의 기반이 됩니다.
• 윤리적 고려: 데이터 수집 시 크리에이티브 커먼즈 라이선스 준수, 개인정보 보호 (개인 식별 정보 제거), 그리고 감시나 프로파일링 목적의 오용 방지를 위한 라이선스 조항을 명시하여 책임 있는 연구 문화를 강조했습니다.

이 논문은 복잡하고 역동적인 사회적 상호작용을 이해하기 위해 다중 모달 데이터와 문맥 정보의 통합이 필수적임을 강조하며, 향후 정밀한 집단 감정 분석 및 인공지능 기반 사회적 시스템 연구의 새로운 방향성을 제시합니다.