Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

이 논문은 10 번째 ABAW 대회에서 제안된 팀 RAS 의 다중 모달 (얼굴, 행동, 음성) 감정 인식 접근법을 소개하며, Qwen3-VL, Mamba, WavLM 등 최신 모델을 활용하여 Aff-Wild2 데이터셋에서 0.658 의 CCC 점수를 달성한 결과를 보고합니다.

핵심

🎭 감정을 읽는 '3 인조 팀'의 등장

기존의 AI 는 주로 사람의 얼굴 표정만 보고 감정을 추측했습니다. 하지만 야외에서는 빛이 반사되거나, 머리가 가려지거나, 표정이 뚜렷하지 않아서 AI 가 헷갈리기 쉽죠.

이 연구팀은 **"혼자서 모든 걸 다 알 수는 없다"**고 생각했습니다. 그래서 세 명의 전문가로 구성된 **'감정 분석 팀'**을 꾸렸습니다.

1. 얼굴 전문가 (Face Model): 사람의 표정을 세밀하게 분석합니다.
2. 행동 관찰자 (Behavior Model): 표정뿐만 아니라 몸짓, 제스처, 주변 상황까지 보고 "이 사람이 지금 어떤 상황인가?"를 파악합니다.
3. 목소리 분석가 (Audio Model): 사람의 말투, 톤, 숨소리 등을 들어 감정의 강도를 파악합니다.

이 세 명이 각자 감을 잡은 뒤, 서로의 의견을 종합해서 최종 감정을 결정하는 방식입니다.

---

🔍 각 전문가의 특징과 도구

1. 얼굴 전문가: "얼굴의 미세한 떨림까지!"

이 팀은 GRADA라는 특수 안경을 쓴 것처럼, 프레임 (화면) 단위로 얼굴을 분석합니다. 마치 고화질 카메라로 얼굴의 근육 하나하나가 어떻게 움직이는지 쫓아다니는 것과 같습니다. 그리고 Transformer라는 도구를 써서 "얼굴이 시간이 지남에 따라 어떻게 변해왔는지" 흐름을 읽습니다.

2. 행동 관찰자: "AI 가 영화를 보고 대본을 쓴다"

이 부분이 이 연구의 가장 혁신적인 점입니다. 연구팀은 Qwen3-VL이라는 거대 인공지능 (VLM) 을 고용했습니다.

• 비유: 이 AI 는 단순히 얼굴만 보는 게 아니라, **"이 영상 속 인물이 무슨 표정을 짓고, 어떤 제스처를 취하며, 주변 환경은 어떤지"**를 읽은 뒤, **"이 사람은 지금 기분이 좋지만 약간 불안해하는 것 같다"**는 식의 **감정 일기 (텍스트)**를 작성합니다.
• 이 '감정 일기'를 Mamba라는 빠른 처리 장치를 통해 시간의 흐름에 따라 분석합니다. 즉, AI 가 영상을 보고 "이건 슬픈 장면이야"라고 설명을 해주는 셈이죠.

3. 목소리 분석가: "소음 속에서 진짜 목소리를 찾아내"

야외에서는 바람 소리나 주변 소음이 많아서 목소리 분석이 어렵습니다. 이 팀은 WavLM이라는 도구를 쓰는데, 특히 MediaPipe라는 기술로 "입이 움직이는지"를 먼저 확인합니다.

• 비유: 시끄러운 파티에서 친구의 목소리를 들으려면, "친구가 입을 벌리고 있는가?"를 먼저 확인해야 하죠. 입을 벌리지 않은 구간 (소음만 있는 구간) 은 아예 무시하고, 진짜 말소리가 들리는 구간만 골라내서 정밀 분석을 합니다.

---

🤝 세 명이 만나는 방법: 두 가지 전략

세 명의 전문가가 각자 감정을 말했을 때, 어떻게 하나로 합칠까요? 연구팀은 두 가지 방법을 시도했습니다.

전략 1: "민주적인 토론방" (DCMMOE)

세 전문가가 서로 대화하며 의견을 교환합니다.

• "얼굴 전문가가 말하길 슬픈데, 목소리 분석가는 화난 것 같아. 행동 관찰자는 뭐라고 할까?"
• 이때 **게이트 (문지기)**가 각 전문가의 말을 얼마나 신뢰할지 가중치를 줍니다. 예를 들어, 얼굴이 가려져서 얼굴 전문가의 의견이 불확실하면, 그 의견의 비중을 줄이고 목소리 전문가의 의견을 더 중요하게 여깁니다.

전략 2: "현장 지휘관 시스템" (RAAV)

이 방법은 얼굴과 행동을 주력으로 보고, 목소리는 보조 정보로 활용합니다.

• 비유: 카메라 (얼굴/행동) 가 실시간으로 상황을 찍어내는데, 목소리는 그 장면에 배경음악이나 내레이션처럼 추가되는 정보입니다.
• 특히 목소리가 신뢰할 수 없을 때는 무시하고, 얼굴과 행동의 흐름에 집중합니다. 이 방식이 실험에서 가장 좋은 결과를 냈습니다.

---

🏆 결과는 어땠나요?

이 팀 (Team RAS) 은 Aff-Wild2라는 거대한 야외 감정 데이터셋으로 실험을 했습니다.

• 결과: 기존에 혼자서 하던 방법들보다 훨씬 정확도가 높았습니다. 특히 목소리와 얼굴, 행동 일기를 모두 합친 '현장 지휘관 시스템'이 가장 잘 작동했습니다.
• 핵심 통찰: 단순히 얼굴만 보는 것보다, AI 가 영상의 내용을 이해하고 "이 사람은 지금 무슨 상황인가?"를 설명할 수 있게 하는 것 (멀티모달 VLM) 이 감정을 더 잘 읽는 데 도움이 된다는 것을 증명했습니다.

💡 한 줄 요약

"이 연구는 AI 에게 '얼굴'만 보지 말고, '몸짓'과 '목소리'까지 듣고, 영상의 내용을 이해해서 '감정 일기'를 쓰게 한 뒤, 이 모든 정보를 지혜롭게 합쳐서 사람의 마음을 더 정확하게 읽는 방법을 개발했습니다."

이처럼 AI 가 사람의 감정을 이해하는 데는 다양한 감각을 통합하는 것이 얼마나 중요한지 보여주는 흥미로운 연구입니다.

기술 요약

논문 요약: 10 번째 ABAW 챌린지 Team RAS 의 다중 모달 감정 (가치 - 각성) 추정 접근법

1. 문제 정의 (Problem)

자연 환경 (In-the-Wild, ITW) 에서의 연속적인 감정 인식, 특히 **가치 (Valence)**와 각성 (Arousal) 추정은 여전히 어려운 과제로 남아 있습니다. 이는 다음과 같은 요인들 때문입니다:

• 외모, 머리 방향, 조명, 가림 (Occlusion) 의 큰 변화.
• 개인별 정서 표현 패턴의 차이.
• 기존 연구에서 **비주얼 랭귀지 모델 (VLM, Visual Language Model)**을 활용하여 행동 관련 맥락적 단서를 추출하고 가치 - 각성 (VA) 예측에 적용하는 시도가 부족하다는 점.

2. 제안된 방법론 (Methodology)

이 논문은 세 가지 상호 보완적인 모달리티 (Face, Behavior, Audio) 를 결합한 새로운 다중 모달 파이프라인을 제안합니다.

A. 모달리티별 특징 추출

1. 얼굴 (Face) 모달리티:

   • 전처리: YOLO 기반 얼굴 탐지기를 사용하며, 여러 얼굴이 있거나 식별이 변경되는 경우 수동으로 단일 대상자를 선별합니다.
   • 특징 추출: GRADA (EfficientNet-B1 기반) 인코더를 사용하여 프레임 수준의 감정 표현을 추출합니다.
   • 시간 모델링: Transformer 기반 시계열 회귀 모델을 사용하여 프레임 간 시간적 동역학을 모델링합니다.

2. 행동 (Behavior) 모달리티:

   • 모델: Qwen3-VL-4B-Instruct (다중 모달 VLM) 을 사용합니다.
   • 프로세스: 비디오 세그먼트 (16 프레임) 와 행동 관련 프롬프트를 입력받아 얼굴 표정, 제스처, 자세, 장면 맥락 등을 분석합니다.
   • 특징 추출: 시각적 토큰만 사용하는 경우와 비디오 - 텍스트 결합 (다중 모달) 을 사용하는 두 가지 설정을 비교합니다.
   • 시간 모델링: 추출된 임베딩을 Mamba (State-Space Model) 를 통해 처리하여 단기 및 장기적인 정서적 의존성을 포착합니다.

3. 오디오 (Audio) 모달리티:

   • 모델: WavLM-Large (자기 지도 학습 음성 모델) 를 사용합니다.
   • 필터링: MediaPipe 를 통해 입 열림 (mouth-opening) 동역학을 추출하여, 실제 발화가 없는 노이즈 구간을 제거하는 크로스-모달 필터링을 수행합니다.
   • 특징 추출: WavLM 의 상위 4 레이어만 미세 조정 (Fine-tuning) 하고, Attention-Statistics Pooling 을 사용하여 청각적 특징을 집계합니다.

B. 모달리티 융합 전략 (Fusion Strategies)
두 가지 다른 융합 전략을 제안하여 비교 분석했습니다.

1. 지시형 크로스-모달 MoE 융합 (Directed Cross-Modal MoE, DCMMOE):

   • 모든 모달리티 쌍 (Ordered Pairs) 에 대해 크로스-어텐션 전문가 (Expert) 를 구성합니다.
   • 학습 가능한 게이팅 네트워크를 통해 각 프레임에서 가장 정보량이 많은 모달리티 간 상호작용에 적응적으로 가중치를 부여합니다.
   • 비대칭적인 모달리티 간 상호작용 (Query 와 Key/Value 의 역할 구분) 을 명시적으로 모델링합니다.

2. 신뢰도 인식 오디오 - 비주얼 융합 (Reliability-Aware Audio-Visual, RAAV):

   • 프레임 중심 융합: 얼굴과 행동 특징은 프레임 수준에서 가변적 신뢰도 게이팅을 통해 융합합니다.
   • 오디오 보조: 오디오는 보조적인 컨텍스트 (Bottleneck Latent Representations) 로 사용되어 비주얼 특징에 어텐션을 제공합니다.
   • 이 방식은 시각적 모달리티가 시간 해상도를 결정하고 오디오가 보충적 증거를 제공하는 태스크의 특성을 반영합니다.

3. 주요 기여 (Key Contributions)

• VLM 기반 행동 표현의 도입: 연속적인 VA 추정을 위해 Qwen3-VL 과 같은 최신 VLM 을 활용하여 행동 관련 다중 모달 임베딩을 추출하고 이를 기존 얼굴/오디오 모델과 통합했습니다.
• 새로운 융합 아키텍처 제안:
  • 모달리티 간 비대칭적 상호작용을 학습하는 DCMMOE 전략.
  • 프레임 단위 융합과 오디오 컨텍스트를 결합한 RAAV 전략.
• Mamba 의 적용: 행동 설명 임베딩의 시간적 동역학을 모델링하기 위해 Mamba 아키텍처를 성공적으로 적용했습니다.
• 크로스-모달 필터링: 오디오 모달리티의 신뢰도를 높이기 위해 시각적 정보 (입 열림) 를 활용한 전처리 기법을 도입했습니다.

4. 실험 결과 (Results)

• 데이터셋: 10 번째 ABAW 챌린지의 공식 데이터셋인 Aff-Wild2 (개발 세트 및 테스트 세트) 를 사용했습니다.
• 평가 지표: **일치 상관 계수 (Concordance Correlation Coefficient, CCC)**를 사용했습니다.
• 성능:
  • 단일 모달리티 중에서는 비디오 기반 모델 (GRADA + Transformer) 이 가장 좋은 성능을 보였습니다 (개발 세트 평균 CCC: 0.6189).
  • VLM 기반 행동 모델은 시각적 모델보다 우수한 성능을 보였으며, 다중 모달 융합이 개별 모델보다 일관되게 성능을 향상시켰습니다.
  • 최고 성능: RAAV 융합 전략을 적용한 모델이 개발 세트에서 평균 CCC 0.6576 (가치: 0.6078, 각성: 0.7073) 을 기록했습니다.
  • 테스트 세트에서는 평균 CCC 0.62를 달성하여 기존 SOTA 방법론과 경쟁력 있는 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

• 이 연구는 자연 환경에서의 연속적인 감정 인식에 있어 VLM 기반 행동 표현이 기존 시각적 특징보다 풍부한 정서적 정보를 제공함을 입증했습니다.
• 제안된 RAAV 및 DCMMOE 융합 전략은 모달리티 간 불확실성과 상호 보완적 정보를 효과적으로 통합하여 성능을 극대화하는 것을 보여줍니다.
• 특히 오디오의 신뢰도를 시각적 단서로 필터링하고, Mamba 와 같은 최신 시계열 모델을 행동 분석에 적용한 점은 향후 ITW 감정 인식 연구에 중요한 방향성을 제시합니다.

이 논문은 Team RAS 가 10 번째 ABAW 챌린지에서 제시한 기술적 접근 방식을 체계적으로 정리하며, 다중 모달 융합과 최신 생성형 AI 모델 (VLM) 의 결합이 감정 인식 분야에서 가지는 잠재력을 강조합니다.