Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

논문 요약: Qwen3-Omni 기반의 세그먼트화 MLLM 프레임워크를 활용한 모순/주저 (A/H) 감정 인식

1. 문제 정의 (Problem)

• 배경: 비디오 내의 감정 인식은 affective computing 의 핵심 과제이며, 특히 **모순 (Ambivalence)**과 **주저 (Hesitancy, 이하 A/H)**와 같은 미묘한 심리 상태를 식별하는 것은 행동 개입 및 디지털 헬스 분야에서 매우 중요합니다.
• 도전 과제: A/H 상태는 단순한 기쁨이나 슬픔과 달리, 긍정적/부정적 감정이 공존하는 복잡한 상태입니다. 이는 얼굴 표정, 음성 톤, 텍스트 의미 간의 **교차 모달 불일치 (cross-modal inconsistencies)**로 나타나며, 기존 단일 모달리티 기반 시스템이나 전통적인 감정 인식 모델로는 이를 정확히 포착하기 어렵습니다.
• 데이터 및 한계: 연구에 사용된 BAH 데이터셋은 300 명의 참가자로부터 수집된 1,427 개의 비디오 (약 10.6 시간) 로 구성되어 있으나, 기존 베이스라인 모델들의 성능이 낮아 더 효과적인 모델링 전략이 필요했습니다. 또한, 장편 비디오를 직접 대규모 멀티모달 모델 (MLLM) 에 입력할 경우 토큰 제한 초과, 계산 비용 증가, 불필요한 컨텍스트 노이즈 발생 등의 문제가 발생합니다.

2. 제안 방법론 (Methodology)

본 논문은 세그먼트 기반 (Segment-based) 전략과 **멀티모달 대규모 언어 모델 (MLLM)**을 결합한 새로운 인식 프레임워크를 제안합니다. 전체 파이프라인은 다음 세 단계로 구성됩니다.

• A. A/H 인지 비디오 전처리 (A/H-Aware Preprocessing):

  • BAH 데이터셋의 상세 타임스탬프 주석을 활용합니다.
  • A/H 가 없는 비디오는 전체를 하나의 샘플로 유지하지만, A/H 가 포함된 비디오는 주석된 시간 구간만 잘라내어 (Crop) 훈련 데이터의 A/H 신호 밀도를 높이고 불필요한 정보를 제거합니다.

• B. 클립 기반 시간 세그먼트화 (Clip-Based Temporal Segmentation):

  • 긴 비디오를 최대 5 초 길이의 짧은 클립으로 분할합니다.
  • 이는 A/H 신호가 평균 약 4.29 초의 짧은 구간에서 발생한다는 관찰에 기반하며, MLLM 의 토큰 제한을 준수하면서도 계산 효율성을 극대화합니다.
  • 매우 짧은 꼬리 구간은 제거하여 균일한 입력을 보장합니다.

• C. 멀티모달 LLM 미세 조정 (Fine-tuning):

  • 모델: Qwen3-Omni-30B-A3B 모델을 사용합니다. 이 모델은 비주얼 (프레임) 과 오디오 (음성) 정보를 통합적으로 처리할 수 있는 강력한 멀티모달 능력을 보유합니다.
  • 학습 전략: MS-Swift 프레임워크를 사용하여 LoRA (Low-Rank Adaptation) 및 풀 파라미터 (Full-parameter) 미세 조정을 수행합니다.
  • 입출력: 각 클립을 비디오, 오디오, "이 클립에 모순/주저 감정이 있는가?"라는 태스크 프롬프트가 포함된 대화 형식으로 변환하여 이진 분류 (Yes/No) 문제로 학습시킵니다.

• D. 추론 및 예측 집계 (Inference & Aggregation):

  • 클립 수준: 각 클립에 대해 이진 예측을 수행합니다.
  • 비디오 수준: 하나의 비디오를 구성하는 모든 클립 중 하나라도 A/H 로 예측되면 (Max Aggregation), 해당 비디오 전체를 양수 (Positive) 로 분류합니다.
  • 앙상블 (Ensemble): LoRA, 풀 파인튜닝 등 서로 다른 설정으로 훈련된 여러 모델의 예측을 **다수결 투표 (Majority Voting)**하여 최종 결정을 내림으로써 예측의 안정성과 강건성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 클립 기반 시간 모델링: 5 초 단위의 세그먼트화를 통해 MLLM 의 토큰 제약을 해결하면서도 A/H 신호가 집중된 국소적 윈도우를 효과적으로 포착하는 간단하고 효율적인 전략을 제시했습니다.
2. 멀티모달 LLM 적응: Qwen3-Omni-30B-A3B 를 A/H 인식 작업에 적응시켜, 시각적 표현과 음성적 특징 간의 미묘한 교차 모달 갈등 (Cross-modal conflicts) 을 추론할 수 있는 능력을 입증했습니다.
3. 강력한 실증적 성능: 기존 베이스라인을 크게 상회하는 높은 정확도를 달성하여, 시간 세그먼트화와 MLLM 의 결합이 복잡한 감정 상태 인식에 유효함을 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: BAH 데이터셋 (1,427 개 비디오).
• 성능: 제안된 방법 (다수결 앙상블 모델) 은 테스트 세트에서 **85.1% 의 정확도 (Accuracy)**를 달성했습니다.
• 비교:
  • 단일 LoRA 파인튜닝 모델 (Qwen3-Omni-v1): 81.9%
  • 단일 풀 파인튜닝 모델 (Qwen3-Omni-v2, v3): 79.8%, 65.3%
  • 앙상블 (Majority Vote): 85.1%
  • 결과적으로, 여러 모델을 앙상블하는 전략이 개별 모델보다 예측 분산을 줄이고 전반적인 성능을 향상시켰음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 장편 비디오 처리의 계산적 병목 현상을 해결하면서도, 얼굴 표정과 음성 간의 미세한 불일치를 포착하여 **모순 (Ambivalence)**과 **주저 (Hesitancy)**와 같은 고차원적인 감정 상태를 인식하는 새로운 패러다임을 제시했습니다. 제안된 프레임워크는 디지털 헬스 시스템, 행동 변화 개입 프로그램, 그리고 인간 - 컴퓨터 상호작용 (HCI) 분야에서 적응형 인터벤션 및 확장 가능한 행동 분석 시스템 구축에 중요한 기술적 기반을 제공합니다. 또한, 코드와 모델은 GitHub 에서 공개되어 재현성과 추가 연구를 장려하고 있습니다.