Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 인간의 감정 표현은 복잡하며, 여러 감정이 동시에 발생하고 상대적인 중요도 (Salience) 가 다른 '혼합 감정 (Blended Emotions)'이 빈번하게 나타납니다.
• 과제 (BLEMORE Challenge): FG 2026 에서 진행된 이 과제는 58 명의 배우가 연기한 3,050 개의 비디오 클립을 기반으로 합니다. 데이터는 6 가지 기본 감정과 10 가지 혼합 조합으로 구성되며, 각 감정의 **상대적 중요도 (50/50, 70/30, 30/70 비율)**가 주석으로 달려 있습니다.
• 목표: 시스템은 두 가지 결합된 문제를 해결해야 합니다.
  1. 존재 인식 (Presence Recognition): 어떤 감정이 표현되었는지 식별.
  2. 중요도 인식 (Salience Recognition): 감정의 상대적 강도 예측.
• 평가 지표: 최종 점수 (Score) 는 존재 정확도 (ACCP) 와 중요도 정확도 (ACCS) 의 가중 평균 ($0.5 \cdot ACCP + 0.5 \cdot ACCS$) 으로 계산됩니다.
• 핵심 난제: 연속적인 모델 출력을 이산적인 예측으로 변환하기 위해 검증 데이터에서 최적화된 임계값 ($\alpha$: 존재, $\beta$: 중요도) 을 사용하는데, 이는 배우별 과적합 (Actor-dependent overfitting) 을 유발하여 일반화 성능을 저해합니다.

2. 제안된 방법론 (Methodology)

저자들은 6 가지 인코더 패밀리 (Encoder Families) 의 확률 출력을 Late Probability Fusion (후기 확률 융합) 방식으로 결합하는 다중 모달 (Multimodal) 앙상블 시스템을 제안했습니다.

A. 시각 인코더 (Visual Encoders)

1. S4D-ViTMoE (얼굴):
   • 적응: VoxelCeleb2 와 AffectNet 에서 사전 학습된 S4D(Vision Transformer + MoE) 를 혼합 감정 인식에 맞게 조정.
   • 전처리: MTCNN 을 사용하여 얼굴을 잘라내어 (Face-aligned) 전학습 도메인과 일치시킴.
   • 학습 전략: 교차 엔트로피 대신 소프트 라벨 (Soft-label) KL 발산을 사용하여 혼합 비율 (예: 70/30) 정보를 보존. 백본의 초기 블록은 고정하고 MoE 어댑터와 분류 헤드만 미세 조정 (Fine-tuning).
2. 바디 랭귀지 인코더 (Body Language):
   • TimeSformer & VideoMAE: 얼굴이 아닌 전체 신체를 프레임으로 사용하여 자세와 제스처를 포착.
   • 얼굴 인코더와 보완적인 정보를 제공하며, 소프트 라벨 KL 학습을 적용.

B. 오디오 인코더 (Audio Encoder)

• 레이어 선택적 Wav2Vec2 (Layer-Selective Wav2Vec2):
  • 특징: BLEMORE 오디오는 언어적 발화 대신 웃음, 울음 등 **비언어적 발성 (Non-linguistic vocalizations)**으로 구성됨.
  • 전략: Wav2Vec2 의 상위 레이어 (음성학 처리) 는 불필요하므로, **중간 레이어 (6~12)**에서 추출된 프로소디 (Prosody) 및 비언어적 특징을 고정 (Frozen) 하고 경량 MLP 로 분류.
  • 효과: 엔드 - 투 - 엔드 미세 조정보다 22% 높은 성능을 기록 (과적합 방지).

C. 대형 멀티모달 모델 (LMM) 임베딩

• Gemini Embedding 2.0:
  • 혁신: 감정 인식 분야에서 처음으로 대형 멀티모달 모델 (LMM) 임베딩을 사용.
  • 입력: 비디오 클립의 처음 2 초만 입력하여 3,072 차원 임베딩 추출.
  • 의의: 짧은 시간임에도 불구하고 경쟁력 있는 존재 정확도 (ACCP) 를 달성하여 풍부한 감정 시맨틱을 포착함을 증명.

D. 융합 및 후처리 (Fusion & Post-processing)

• Late Fusion: 6 가지 인코더 (S4D, TimeSformer, VideoMAE, Wav2Vec2, Gemini, 기타 사전 추출 특징) 의 확률 벡터를 검증 데이터에서 최적화된 가중치로 가중 평균.
• 후처리: 융합된 확률을 이산 예측으로 변환.
  • 존재 임계값 ($\alpha$) 과 중요도 임계값 ($\beta$) 적용.
  • Top-2 감정 선택 및 중립 감정 제거 로직 포함.

3. 주요 기여 및 발견 (Key Contributions & Findings)

1. S4D-ViTMoE 의 혼합 감정 적응: 얼굴 전처리와 소프트 라벨 KL 학습을 통해 기존 범주형 감정 인식 모델을 혼합 감정 및 상대적 중요도 예측에 성공적으로 적용.
2. 비언어적 오디오를 위한 레이어 선택 전략: 작은 규모의 비언어적 감정 데이터셋에서는 전체 모델을 미세 조정하는 것보다 프로소디를 인코딩하는 중간 레이어 (6~12) 를 고정하고 경량 분류기를 학습하는 것이 훨씬 효과적임을 입증 (점수 0.207 vs 0.161).
3. LMM 임베딩의 도입: Gemini Embedding 2.0 이 2 초의 짧은 비디오만으로도 경쟁력 있는 성능을 낸다는 것을 처음 증명하여, 감정 인식 연구의 새로운 방향 제시.
4. 임계값 민감도 분석: 중요도 임계값 ($\beta$) 이 검증 폴드 (Fold) 마다 0.05 에서 0.43 까지 크게 변동 (8 배 차이) 함을 발견. 이는 **개인의 표현 스타일 (Personalized expression styles)**이 모델 용량보다 성능의 주요 병목 현상임을 시사.

4. 실험 결과 (Results)

• 테스트 세트 성능: 제안된 12 인코더 앙상블 시스템은 테스트 세트에서 Score = 0.279 (ACCP = 0.391, ACCS = 0.168) 를 기록하여 6 위를 차지했습니다.
• 기존 베이스라인 대비 우위:
  • 기존 최고 베이스라인 (VideoMAEv2 + HuBERT, Score 0.223) 보다 약 25% 이상 높은 성능 달성.
  • Gemini 임베딩을 추가함으로써 점수가 0.262 에서 0.279 로 6.5% 향상됨.
• 가중치 분포:
  • 작업 특화 인코더 (S4D, Wav2Vec2, Body, Gemini 등) 가 전체 앙상블 가중치의 **62%**를 차지하여, 범용 사전 추출 특징 (38%) 보다 우세함을 보임.
  • 특히 Gemini Embedding 2.0 이 가장 높은 가중치 (0.192) 를 받아, 도메인 특화 인코더가 포착하지 못하는 감정 시맨틱을 제공함.

5. 의의 및 결론 (Significance)

이 논문은 혼합 감정 인식 분야에서 다음과 같은 중요한 통찰을 제공합니다:

• 데이터 효율성: 작은 비언어적 데이터셋에서는 전체 모델 미세 조정보다 **적절한 사전 학습 레이어의 선택 (Layer Selection)**이 더 중요함.
• 새로운 패러다임: **Foundation Model (LMM)**의 임베딩이 짧은 입력으로도 강력한 감정 인식 능력을 가지며, 이는 향후 정서 컴퓨팅 연구의 유망한 방향임.
• 평가 방법론의 한계: 임계값 기반의 평가 방식이 배우별 개인차에 매우 민감하여, 개인화된 표현 스타일을 고려한 새로운 평가 지표나 임계값 없는 (Threshold-free) 예측 방식의 필요성을 제기함.

결론적으로, 이 연구는 다중 모달 융합, 레이어 선택적 특징 추출, 그리고 대형 모델 임베딩의 통합을 통해 혼합 감정 인식의 새로운 기준을 제시했습니다.