기술 요약: AffectVerse: 다중 모달 정서 컴퓨팅을 위한 정서 세계 모델

1. 문제 제기

현재의 다중 모달 대규모 언어 모델 (MLLM) 은 일반적으로 정서 인식을 완전한 오디오 - 비디오 - 텍스트 입력에 대한 정적 패턴 매칭 작업으로 취급합니다. 이러한 패러다임은 고조, 회복, 또는 교차 모달 충돌과 같은 정서의 시간적 역동성을 포착하지 못해 복잡한 정서 과정을 정적 스냅샷으로 축소합니다. 인간은 관찰된 단서와 정서 상태가 어떻게 전개될지에 대한 예측을 통합하여 정서를 추론하는 반면, 기존 MLLM 은 부분적 관찰 하에서 이러한 "예측적 신념 상태"를 모델링할 수 있는 메커니즘이 부족합니다. 본 논문은 정적 다중 모달 인식과 인간의 정서적 추론이 시간적으로 전개되는 특성 사이의 간극을 규명합니다.

2. 방법론

저자들은 Qwen2.5-Omni를 기반으로 **정서 세계 모듈 (Emotion World Module, EWM)**을 통합한 AffectVerse를 제안합니다. 강화 학습에서 사용되는 전통적인 세계 모델이 행동과 보상에 기반하여 미래 상태를 예측하는 것과 달리, AffectVerse 는 정서적 추론을 위해 특별히 설계된 행동 무관 (action-free) 형식을 채택합니다. EWM 은 예측 처리 (predictive processing) 원칙에 따라 작동하며, 관찰된 접두어로부터 잠재적 미래 오디오 - 비디오 표현을 예측하여 LLM 의 신념 상태를 업데이트합니다.

EWM 은 세 가지 핵심 구성 요소로 이루어집니다:

2.1 교차 모달 시간적 상상 (Cross-Modal Temporal Imagination)

예측 처리 및 다중 감각 통합 이론에 기반한 이 모듈은 과거 토큰으로부터 미래 비디오 및 오디오 표현을 예측합니다.

• 메커니즘: 학습 가능한 미래 쿼리 토큰 ($N_s=8$) 을 사용하여 다단계 롤아웃 과정 ($S=3$) 을 활용합니다.
• 교차 모달 컨텍스트: 각 모달리티의 상상 분기는 자신의 과거 토큰과 다른 모달리티의 과거 토큰 모두에 주의를 기울이며, 이는 학습 가능한 태그 임베딩 ($e_{self}, e_{cross}$) 으로 구분됩니다.
• 학습 신호: 이 모듈은 예측된 미래 토큰과 실제 미래 토큰 (주 경사 흐름에서 분리됨) 을 MSE 와 코사인 유사도 손실의 조합으로 비교하는 자기지도 학습 목표를 통해 훈련됩니다. 이는 추론 시 미래 데이터가 필요 없이 모델이 전이 규칙성을 학습하도록 강제합니다.

2.2 MAMA(모달리티 인식 다단계 주의) 신념 집계

Scherer 의 구성 요소 과정 모델 (Component Process Model) 에서 영감을 받은 이 모듈은 다단계로 상상된 토큰을 압축된 "신념 토큰"으로 집계합니다.

• 과정: 상상된 비디오 및 오디오 토큰을 유형 임베딩으로 구분된 메모리 뱅크에 조립합니다.
• 동적 용량: 신념 쿼리 토큰의 수 ($N_q$) 는 사용 가능한 모달리티에 따라 적응합니다 (이중 모달리티의 경우 8 개, 단일 모달리티의 경우 4 개).
• 경계 주입: 시간적 분할 지점에서 컨텍스트를 보존하기 위해, 집계된 신념 토큰은 과거의 마지막 관찰된 "경계 토큰"($v_b, a_b$) 의 잔여 주입으로 보강됩니다.

2.3 신념 주입

생성된 압축된 신념 토큰은 LLM 의 숨겨진 차원으로 투영되어 두 가지 특정 위치에서 토큰 시퀀스에 교차 삽입됩니다:

1. 마지막 오디오 - 비디오 토큰 직후 (정서적 컨텍스트로 텍스트 인코딩을 풍부하게 하기 위해).
2. 답변 영역 직전 (응답 생성을 위한 "정서적 사전 지식"을 제공하기 위해).
   이 전략은 LLM 이 추론 과정에서 관찰된 증거와 상상된 정서적 연속성 모두에 주의를 기울일 수 있도록 보장합니다.

2.4 훈련 전략

• 시간적 분할: 훈련 중 무작위 유지 비율 $\kappa \sim \text{Uniform}[0.7, 1.0)$이 적용되어 미래 토큰을 잘라내어 부분적 관찰을 시뮬레이션합니다.
• 모달리티 드롭아웃: 감각 증거의 부재에 대한 견고성을 향상시키기 위해 모달리티가 확률 $p=0.15$로 무작위로 제거됩니다.
• 목표: 모델은 작업 성능을 위한 언어 모델링 손실 ($L_{lm}$) 과 예측 표현 학습을 위한 상상 손실 ($L_{imagine}$) 의 두 가지 손실로 엔드 - 투 - 엔드 훈련되며, $\lambda_{img}=1.0$으로 균형을 맞춥니다.

3. 주요 기여

1. 정서를 위한 행동 무관 세계 모델: 행동, 보상, 또는 제어 정책의 필요성을 제거한 정서 컴퓨팅을 위한 세계 모델 스타일의 예측 표현 학습의 새로운 적응.
2. 정서 세계 모듈 (EWM): 교차 모달 시간적 상상, MAMA 신념 집계, 그리고 신념 주입으로 구성된 특정 아키텍처로, MLLM 이 잠재적 정서 역동성에 대해 추론할 수 있게 함.
3. 예측적 신념 상태 모델링: 부분적 관찰 하에서 정서 이해를 예측적 신념 상태 모델링으로 공식화하는 것이 정적 융합 접근법보다 우수한 성능을 낸다는 것을 입증.
4. 포괄적 평가: MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+ 등 아홉 개의 벤치마크에 걸친 광범위한 실험을 통해 일관된 개선을 보임.

4. 실험 결과

AffectVerse 는 세 가지 모달리티 설정 (오디오 + 텍스트, 비디오 + 텍스트, 오디오 + 비디오 + 텍스트) 하에서 아홉 개의 벤치마크에 대해 평가되었습니다.

• 주요 결과: 전체 오디오 + 비디오 + 텍스트 설정에서 AffectVerse 는 평균 점수 **77.34%**를 달성하여 강력한 Qwen2.5-Omni 베이스라인 (74.76%) 과 AffectGPT(74.77%) 를 +2.57% 상회했습니다. 아홉 개 벤치마크 중 여덟 개에서 1 위를 차지했습니다.
• 견고성: 모델은 시간적 단축 (변화하는 $\kappa$) 과 누락된 모달리티 하에서 우아한 저하를 보였습니다. 특히 훈련 중 적절한 시간적 단축은 정규화제 역할을 하여 특정 데이터셋 (예: CMU-MOSI) 에서 전체 관찰 훈련보다 성능을 향상시키기도 했습니다.
• Ablation 연구:
  • 시간적 예측: 시간적 분할만 추가해도 베이스라인이 +0.87% 향상되었습니다.
  • 교차 모달 상상: 이는 시간적 분할 대비 가장 큰 단일 향상 (+1.00%) 을 제공하여 상호 보완적인 교차 모달 단서의 활용 중요성을 강조했습니다.
  • 신념 구성: MAMA 집계, 교차 삽입, 그리고 잔여 경계 주입이 가산적 향상을 기여하여 전체 EWM 파이프라인의 필요성을 확인시켰습니다.
  • 하이퍼파라미터: 최적의 성능은 $S=3$ 롤아웃 단계와 모달리티 드롭아웃 확률 $p=0.15$에서 발견되었습니다.

5. 중요성 및 주장

본 논문은 예측적 신념 상태 모델링이 정서 컴퓨팅을 위한 실용적이고 효과적인 대안이라고 주장합니다. 정서를 고정된 지각 범주가 아닌 예측적 추론에 의해 형성되는 시간적으로 전개되는 과정으로 간주함으로써, AffectVerse 는 새로운 증거가 도착함에 따라 모델이 이해를 업데이트하고 일시적 단서를 최종 정서 상태와 분리할 수 있게 합니다.

저자들은 이 작업을 정서 과학 (특히 예측 처리 및 평가 이론) 과 다중 모달 딥러닝 사이의 가교로 위치시킵니다. 그들은 그들의 "행동 무관" 세계 모듈이 후속 정서 변화에 대한 예측적 전이 단서를 성공적으로 인코딩하여 추론 시 보이지 않는 신호가 필요 없이 더 견고하고 역동적인 정서 인식을 가능하게 한다고 주장합니다.

인정된 한계:
저자들은 현재 평가가 고정된 롤아웃 및 유지 비율 하이퍼파라미터에 의존한다고 지적합니다. 견고성 분석은 모달리티 및 시간적 부분 관찰에 초점을 맞추었으며, 노이즈, 억양, 주제 변경과 같은 더 넓은 도메인 전환에는 초점을 맞추지 않았습니다. 향후 연구는 예측적 신념 모델링을 더 강력한 정렬, 도메인 전환 평가, 그리고 대화 수준 정서 추적으로 확장할 것을 제안합니다.