A Two-Stage Dual-Modality Model for Facial Emotional Expression Recognition

이 논문은 ABAW 10th 워크숍의 얼굴 표정 인식 과제를 해결하기 위해 DINOv2 기반의 시각 특징 추출과 Wav2Vec 2.0 기반의 청각 특징을 결합한 2 단계 이중 모달 모델을 제안하여, 공식 검증 세트에서 0.5368 의 Macro-F1 점수를 기록하며 기존 베이스라인을 능가하는 성능을 입증했습니다.

핵심

이 논문은 **"야생에서 얼굴 표정을 읽는 AI"**에 대한 이야기입니다.

우리가 영화를 보거나 유튜브를 볼 때, 배우의 표정이 어떻게 변하는지 직관적으로 알 수 있죠. 하지만 컴퓨터에게 "이 장면에서 저 사람은 화가 났나요, 슬픈가요?"라고 물어보면, 카메라 흔들림, 어두운 조명, 얼굴이 잘 안 보이는 상황 때문에 매우 혼란을 겪습니다.

이 논문은 상하이 노멀 대학교 연구팀이 이 문제를 해결하기 위해 개발한 **"두 단계의 지능형 시스템"**을 소개합니다. 마치 훌륭한 감정 분석가가 되기 위해 1 단계: 눈 (시각) 훈련과 2 단계: 귀 (청각) 훈련을 거치는 과정과 같습니다.

---

🎭 핵심 비유: "감정 탐정"이 되는 두 단계 여정

이 시스템은 복잡한 비디오 속 얼굴 표정을 8 가지 감정 (화남, 슬픔, 기쁨 등) 으로 분류합니다. 이를 위해 다음과 같은 두 단계를 거칩니다.

1 단계: "눈"을 훈련시키는 단계 (Visual Adaptation)

비유: 안경을 고쳐 쓰고, 다양한 각도에서 얼굴을 보는 법을 배우는 것

일반적인 AI 는 얼굴이 잘려 있거나, 너무 멀리 있거나, 너무 가까워서 얼굴이 화면 밖으로 나가는 경우를 보면 당황합니다. 마치 안경이 깨진 상태로 사진을 보는 것과 비슷하죠.

• DINOv2 라는 슈퍼 눈: 연구팀은 이미 세상을 잘 보는 AI(비전 모델) 를 가져와서 얼굴 표정 분석에 특화시켰습니다.
• PadAug(패딩 인식) 전략: 얼굴이 화면 밖으로 나가면 검은색 테두리가 생깁니다. 보통 AI 는 이 검은색을 이상하게 여기지만, 이 연구팀은 **"아, 얼굴이 화면 밖으로 나가는 거구나"**라고 미리 가르쳤습니다. 마치 학생에게 "시험지 가장자리가 찢어질 수도 있으니, 그 부분도 보고 답을 찾아라"라고 훈련시킨 것과 같습니다.
• MoE(전문가 집단) 헤드: 하나의 전문가가 모든 걸 다 알 수는 없죠. 그래서 여러 명의 '감정 전문가'를 모아두고, 각 상황에 가장 적합한 전문가가 답을 내도록 했습니다.

이 단계에서 AI 는 얼굴 이미지만 보고도 표정을 잘 읽는 튼튼한 '눈'을 갖게 됩니다.

2 단계: "눈"과 "귀"를 합치는 단계 (Dual-Modality Fusion)

비유: 눈으로 표정을 보고, 귀로 목소리 톤을 들어 "진짜 감정"을 파악하는 것

실제 상황에서는 표정만으로는 알 수 없는 경우가 많습니다. 예를 들어, 얼굴은 웃고 있지만 목소리가 떨린다면? AI 는 혼란스러워할 수 있습니다.

• 다중 스케일 얼굴 재자르기: 한 번에 얼굴을 크게, 중간, 작게 세 가지 크기로 잘라내서 AI 에게 보여줍니다. 마치 줌인, 줌아웃, 정면을 모두 확인하며 "어떤 크기로 봐도 이 표정은 확실히 화난 거야"라고 결론 내리는 것과 같습니다.
• Wav2Vec 2.0(귀 훈련): 짧은 오디오 조각을 분석해 목소리의 높낮이와 톤을 감지합니다.
• 게이트 융합 (Gated Fusion): 여기서 핵심은 **'문지기 (게이트)'**입니다.
  • "표정이 흐릿해서 눈이 안 믿겨? 그럼 귀 (목소리) 정보를 더 믿자."
  • "목소리가 너무 시끄러워서 귀가 안 믿겨? 그럼 눈 (표정) 정보에 더 집중하자."
  • 이 문지기가 상황에 따라 눈과 귀의 정보를 적절히 섞어줍니다.

3 단계: 흔들림을 잡는 단계 (Temporal Smoothing)

비유: 영화 편집자가 "이 장면은 너무 급하게 변했네, 부드럽게 이어줘"라고 수정하는 것

비디오는 프레임 (장면) 이 빠르게 바뀝니다. AI 가 매 프레임마다 "화남 -> 슬픔 -> 화남 -> 슬픔"이라고 급하게 판단하면 결과가 불안정해 보입니다.

• 중앙값 필터링: AI 가 100 프레임 정도를 한 번에 훑어보고, 가장 자주 나오는 감정이나 중간에 있는 감정을 최종 답으로 선택합니다.
• 효과: 갑자기 튀는 감정 변화 (노이즈) 를 제거하고, 감정의 흐름이 자연스럽게 이어지도록 만듭니다.

---

🏆 결과: 왜 이 방법이 좋을까요?

이 방법은 **ABAW(야생 감정 분석 대회)**라는 치열한 경쟁에서 최상위권 성적을 거두었습니다.

1. 정확도 향상: 기존 방법보다 훨씬 정확하게 감정을 읽었습니다. (정답률 53.68% 달성)
2. 가볍고 빠름: 무거운 복잡한 기계 대신, 간단하지만 똑똑한 도구들을 조합했습니다.
3. 실전 강함: 실험실처럼 깨끗한 환경이 아니라, 흔들리고 어두운 **실제 세상 (야생)**에서도 잘 작동합니다.

💡 한 줄 요약

이 논문은 **"AI 가 야생에서 얼굴 표정을 읽을 때, 안경을 고쳐 쓰고 (1 단계), 목소리도 듣고 (2 단계), 마지막에 흔들림을 정리해 (3 단계) 주면 훨씬 똑똑해진다"**는 것을 증명했습니다.

마치 우리가 감정을 읽을 때 "표정만 보는 게 아니라, 목소리 톤도 듣고, 상황을 종합적으로 판단"하는 것과 같은 원리입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 10 번째 ABAW (Affective Behavior Analysis in-the-Wild) 워크숍 및 경연대회에서 제시된 표정 인식 (EXPR) 챌린지를 해결하는 것을 목표로 합니다.

• 과제: 제약이 없는 자연 환경 (In-the-wild) 에서 촬영된 비정형 비디오의 프레임 단위로 8 가지 감정 (중립, 분노, 혐오, 공포, 행복, 슬픔, 놀람, 기타) 을 분류하는 것.
• 주요 난제:
  • 부정확하거나 불안정한 얼굴 위치 추적 (Face localization).
  • 프레임 간 큰 자세 (Pose) 와 스케일 (Scale) 변화.
  • 모션 블러, 가림 (Occlusion), 조명 변화, 저화질 등 다양한 노이즈.
  • 인접 프레임 간의 시간적 불안정성 (Temporal instability).
  • 단일 모달리티 (시각) 만으로는 모호한 상황에서 정확한 감정 인식이 어렵다는 점.

2. 제안된 방법론 (Methodology)

저자들은 이러한 난제를 해결하기 위해 2 단계 (Two-Stage) 이중 모달리티 (오디오 - 시각) 프레임워크를 제안합니다.

Stage I: 시각적 적응 (Visual Adaptation)

• 목표: 원시 비디오 (Raw videos) 에서 견고한 시각적 특징을 추출할 수 있도록 사전 학습된 비전 인코더를 감정 인식 도메인에 맞게 적응 (Adapt) 시킵니다.
• 백본 (Backbone): DINOv2 ViT-L/14 를 사용합니다.
• 핵심 기법:
  1. PadAug (Padding-aware Augmentation): 큰 얼굴 크롭 시 이미지 경계에 발생하는 패딩 아티팩트를 시뮬레이션하기 위해, 학습 중 이미지 경계에 검은색 패딩 바를 무작위로 삽입하고 공간적 교란을 가하는 데이터 증강 전략을 적용합니다. 이는 추론 시 발생하는 경계 불일치 문제를 완화합니다.
  2. MoE (Mixture-of-Experts) 헤드: 학습 단계에서만 사용되는 MoE 기반 분류기를 도입하여 다양한 감정 패턴에 특화된 전문가 (Expert) 들이 학습되도록 유도합니다. 학습이 완료된 후 MoE 헤드는 폐기되고 적응된 DINOv2 백본만 Stage II 로 전달됩니다.
• 데이터: AffectNet 과 RAF-DB 와 같은 이미지 수준의 FER 데이터셋을 사용하여 적응 학습을 수행합니다.

Stage II: 프레임 단위 오디오 - 시각 모델링 (Frame-level Audio-Visual Modeling)

• 목표: 적응된 시각 인코더와 오디오 특징을 융합하여 프레임 단위의 감정 분류를 수행합니다.
• 시각 처리:
  • 원시 비디오에서 직접 얼굴을 재크롭 (Re-crop) 하여 3 가지 다른 스케일 (0.9, 1.2, 1.5) 로 생성합니다.
  • 각 스케일의 특징을 DINOv2 로 추출한 후 평균화하여 다중 스케일 시각 표현을 구성합니다.
• 오디오 처리:
  • Wav2Vec 2.0 Large 를 사용하여 오디오 특징을 추출합니다.
  • 프레임과 정렬된 오디오 윈도우 (0.50 초 중심) 에서 특징을 평균화하여 프레임 단위 오디오 표현을 만듭니다.
• 모달리티 융합 (Fusion):
  • 가이트드 퓨전 (Gated Fusion): 시각 및 오디오 특징을 공유 잠재 공간으로 투영한 후, 가이트 (Gate) 벡터를 통해 각 모달리티의 신뢰도에 따라 적응적으로 가중치를 부여하여 융합합니다. 이는 노이즈가 많은 상황에서 불필요한 정보를 억제하고 유익한 정보를 강조합니다.
• 추론 시 시간적 평활화 (Inference-time Temporal Smoothing):
  • 프레임별 예측의 불안정성을 해결하기 위해 추론 단계에서 **중앙값 필터링 (Median Filtering)**을 적용합니다.
  • 101 프레임의 시간 윈도우 내에서 인접 프레임의 예측 로짓 (Logit) 을 중앙값으로 평활화하여 시간적 일관성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 2 단계 이중 모달리티 프레임워크: 복잡한 자연 환경의 오디오 - 비디오 데이터를 처리하기 위해 시각 적응과 모달리티 융합을 단계적으로 수행하는 경쟁력 있는 방법론을 제시했습니다.
2. PadAug 전략: 얼굴 크롭 시 발생하는 경계 아티팩트를 시뮬레이션하는 데이터 전처리 전략을 도입하여, 모델의 다중 스케일 입력에 대한 강건성을 크게 향상시켰습니다.
3. 효율적인 2 단계 아키텍처:
   • Stage I 에서 데이터 전처리와 시각 특징 추출에 집중하여 감정 감지를 위한 핵심 증거를 확보합니다.
   • Stage II 에서 보조적인 오디오 단서와 가이트 모듈을 통한 특징 필터링을 수행합니다.
   • 이 설계는 최첨단 성능을 달성하면서도 계산 복잡도를 크게 줄였습니다.
4. 간단하고 효과적인 시간적 평활화: 추론 단계에서 중앙값 필터링을 적용하여 프레임 단위 예측의 일관성을 개선하고, 별도의 무거운 시간적 백본 없이도 강건성을 확보했습니다.

4. 실험 결과 (Results)

• 데이터셋: 공식 ABAW 데이터셋 (Aff-Wild2) 을 사용했습니다.
• 성능 지표: Macro-F1 점수.
• 주요 결과:
  • 공식 검증 세트 (Official Validation Set): 0.5368의 Macro-F1 점수를 기록했습니다.
  • 5-fold 교차 검증 (5-fold Cross-Validation): 0.5122 ± 0.0277의 Macro-F1 점수를 기록했습니다.
• 비교:
  • 시각-only 모델 (0.4344) 에 비해 오디오 - 시각 융합 (0.5131) 과 시간적 평활화 (최종 0.5368) 를 통해 점수가 크게 향상되었습니다.
  • 기존 공식 베이스라인 및 이전 경연대회 상위 방법론들보다 우수한 성능을 보였습니다.
• 성능 분석:
  • PadAug 과 MoE 를 결합한 다중 스케일 시각 입력이 시각적 성능을 크게 향상시켰습니다.
  • 0.50 초 윈도우 평균을 사용한 오디오 정렬이 최적의 성능을 보였습니다.
  • 가이트드 퓨전 (Gated Fusion) 이 다른 복잡한 퓨전 방식보다 파라미터 수 대비 효율적이었습니다.
  • 101 프레임 윈도우 크기의 중앙값 필터링이 시간적 일관성을 유지하는 데 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 자연 환경 (In-the-wild) 에서의 표정 인식 문제를 해결하기 위해 강력한 시각 적응 (Visual Adaptation), 경량화된 멀티모달 융합, 그리고 단순한 시간적 후처리의 조합이 매우 효과적임을 증명했습니다.

• 효율성: 무거운 시간적 모델 (Temporal Backbone) 에 의존하지 않고, 적응된 시각 표현과 정렬된 오디오 특징, 그리고 간단한 평활화 전략만으로 높은 성능을 달성하여 학습 및 확장성을 높였습니다.
• 실용성: 제안된 방법은 실제 비디오 데이터에서 발생하는 노이즈, 스케일 변화, 모달리티 불일치 등 다양한 도전에 강건하게 대응할 수 있음을 보여주었습니다.
• 향후 과제: 적응형 얼굴 재크롭, 스케일 인식 특징 집계, 그리고 EXPR 과 가치 - 각성 (Valence-Arousal), 액션 유닛 (Action Units) 의 결합 학습 등으로 확장 가능성을 제시했습니다.