Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

이 논문은 **모달리티 간 불일치 (Conflict)**를 명시적으로 모델링하여 임상 인터뷰 영상에서 **양가성 (Ambivalence) 과 망설임 (Hesitancy, 이하 A/H)**을 인식하는 새로운 멀티모달 프레임워크인 ConflictAwareAH를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• A/H 의 특성: 양가성과 망설임은 단일 채널 (표정, 음성, 텍스트) 로 명확하게 드러나기보다, 서로 다른 채널 간의 **상충되는 신호 (예: 입으로는 "괜찮다"고 말하지만 표정은 불안해함)**로 나타나는 미묘한 정서 상태입니다.
• 기존 접근법의 한계: 기존 텍스트 중심 접근법은 텍스트 내의 모호한 표현을 과도하게 감지하여 A/H 를 과다 탐지 (False Positive) 하는 경향이 있습니다. 즉, A/H 가 **부재 (NoAH)**임을 확인하는 능력 (F1-NoAH) 이 낮아 임상 현장에서 의사들의 시간을 낭비하게 만드는 문제가 있습니다.
• 데이터의 제약: ABAW10 챌린지용 BAH 데이터셋은 778 개의 훈련 영상으로 매우 작아, 과적합을 방지하고 사전 학습된 표현을 효과적으로 활용하는 것이 필수적입니다.

2. 방법론 (Methodology)

제안된 ConflictAwareAH는 세 가지 주요 구성 요소로 이루어져 있습니다.

A. 멀티모달 인코더 및 어텐션 풀링

• 인코더: 비디오 (VideoMAE-Base), 오디오 (HuBERT-Base), 텍스트 (RoBERTa-GoEmotions) 를 각각 처리하는 사전 학습된 3 개의 인코더를 사용합니다.
• 어텐션 풀링: 가변 길이의 시퀀스 출력을 고정된 벡터로 변환할 때, 학습 가능한 소프트 어텐션 (Soft-attention) 을 사용하여 망설임 마커나 감정적 단어가 포함된 중요한 시간 스텝에 더 높은 가중치를 부여합니다.

B. 충돌 인식 융합 (Conflict-Aware Fusion) - 핵심 기여

• 개념: A/H 는 내적 갈등의 상태이므로, 모달리티 간의 **불일치 (Disagreement)**가 핵심 신호라는 가정을 기반으로 합니다.
• 충돌 특징 (Conflict Features): 각 모달리티 임베딩 ($v, a, t$) 간의 **쌍별 절대 차이 (Pairwise Absolute Differences)**를 계산하여 새로운 특징 벡터를 생성합니다.
  • $c_{va} = |v - a|$, $c_{vt} = |v - t|$, $c_{at} = |a - t|$
• 양방향 신호 역할:
  • 큰 차이: 모달리티 간 불일치가 크면 A/H 존재를 나타내는 신호로 작용합니다.
  • 작은 차이: 모달리티 간 일치가 크면 행동의 일관성을 확인하여 **A/H 부재 (Negative Class)**를 지지하는 신호로 작용합니다.
• 효과: 이는 텍스트 중심 모델이 가진 "부재 확인" 능력을 약화시키는 편향을 교정하여, F1-NoAH 점수를 크게 향상시킵니다.

C. 텍스트 유도 후기 융합 (Text-Guided Late Fusion)

• 구조: 전체 멀티모달 모델과 병렬로 **텍스트 전용 보조 헤드 (Auxiliary Head)**를 두어 훈련합니다.
• 동작: 추론 시, 텍스트 헤드의 출력 ($\ell_{text}$) 과 전체 융합 헤드의 출력 ($\ell_{full}$) 을 가중치 $\alpha$ (0.6) 로 혼합합니다.
  • $p = \alpha \cdot \sigma(\ell_{text}) + (1 - \alpha) \cdot \sigma(\ell_{full})$
• 이유: 텍스트는 A/H 인식에 가장 강력한 신호를 제공하지만 편향이 있을 수 있습니다. 텍스트 헤드는 정규화제 (Regularizer) 역할을 하여 텍스트 임베딩이 다른 모달리티와 결합되지 않아도 독립적으로 구별력을 갖도록 강제하며, 불확실한 경우 멀티모달 증거를 보완합니다.

3. 주요 기여 (Key Contributions)

1. 충돌 인식 멀티모달 융합: 모달리티 간 차이를 명시적인 특징으로 활용하여 A/H 감지 (F1-AH) 와 부재 확인 (F1-NoAH) 사이의 성능 격차를 절반으로 줄였습니다. 텍스트 단독 대비 F1-NoAH 를 +4.6 포인트 향상시켰습니다.
2. 텍스트 유도 후기 융합 전략: 텍스트의 강력한 신호와 멀티모달의 보정 능력을 결합하여 Macro F1 을 +4.1 포인트 추가 향상시켰습니다.
3. 효율적이고 재현 가능한 베이스라인: 단일 GPU(RTX 4090) 에서 25 분 미만의 훈련 시간으로, 기존 공개된 멀티모달 베이스라인보다 10 포인트 이상 높은 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: ABAW10 챌린지의 BAH 데이터셋 (훈련 778 개, 검증 124 개, 테스트 525 개).
• 성능:
  • 레이블된 테스트 세트: 0.694 Macro F1 (단일 모델 0.690~0.692, 2 개 체크포인트 앙상블 0.694).
  • 비공개 리더보드: 0.715 Macro F1.
• 비교: 기존 최강 베이스라인 (Zero-shot M-LLM + 전사본, 0.634) 보다 5.6 포인트, 기존 멀티모달 베이스라인 (LFAN, 0.593) 보다 10 포인트 이상 우월한 성능을 보였습니다.
• 성분 분석 (Ablation Study):
  • 충돌 특징 제거 시 성능 하락 (0.690 $\to$ 0.681).
  • 텍스트 블렌드 ($\alpha=0.6$) 가 전체 성능 향상의 주된 동력 (+4.1 포인트).
  • 텍스트 단독 모델은 F1-AH 는 높으나 F1-NoAH 가 낮아 편향이 크며, 멀티모달 융합이 이를 균형 있게 조정합니다.

5. 의의 및 결론 (Significance)

• 임상적 가치: 임상 인터뷰에서 환자의 진술과 비언어적 신호 간의 불일치를 감지하는 것은 매우 중요합니다. 이 모델은 A/H 를 과다 탐지하는 오류를 줄이고, **A/H 가 없음을 확신 (Confirm Absence)**하는 능력을 키워 임상가의 의사결정 효율성을 높입니다.
• 기술적 통찰: 단순한 모달리티 간 '합의 (Consensus)'를 찾는 기존 융합 방식과 달리, **'불일치 (Disagreement)'**를 명시적인 특징으로 활용함으로써 A/H 와 같은 복잡한 정서 상태를 더 정확하게 모델링할 수 있음을 증명했습니다.
• 효율성: 대규모 데이터와 복잡한 아키텍처 없이도, 잘 설계된 특징 추출과 융합 전략으로 높은 성능을 달성할 수 있음을 보여주어 제한된 데이터 환경에서의 멀티모달 학습에 중요한 시사점을 제공합니다.

이 연구는 ABAW10 챌린지에서 최상위 성적을 거두었으며, 텍스트 중심의 편향을 해결하고 멀티모달 불일치를 활용한 새로운 정서 인식 패러다임을 제시했다는 점에서 의의가 큽니다.