End-to-End Facial Expression Detection in Long Videos

기술 요약: 긴 영상에서의 엔드투엔드 안면 표정 탐지

문제 정의
긴 영상에서의 안면 표정 분석은 전통적으로 두 가지 별개의 작업으로 나뉩니다: 스포팅(표정의 정확한 시작과 종료 시점인 온셋(onset) 및 오프셋(offset) 경계를 식별하는 것)과 인식(해당 경계 내에서 감정 범주를 분류하는 것)입니다. 이러한 두 작업은 상호 의존적임에도 불구하고, 기존 방식들은 이들을 분리된 상태로 취급합니다. 스포팅 모델은 미세한 시간적 국소화에 최적화되어 있는 반면, 인식 모델은 이미 분할된 클립을 전제로 합니다. 이러한 분리는 정확한 인식이 신뢰할 수 있는 시간적 경계에 의존하고, 표정에 대한 의미론적 이해가 모호한 온셋 및 오프셋을 해결하는 데 도움을 줄 수 있음에도 불구하고 하위 최적의 성능을 초래합니다. 더욱이, 기존의 탐지 프레임워크는 종종 계산 비용이 많이 드는 3D CNN이나 광학 흐름(optical flow)에 의존하며, 이는 안면 표정의 특징인 미세하고 일시적이며 희소한 시간적 신호를 포착하는 데 어려움을 겪습니다.

방법론: FEDN
저자들은 스포팅과 인식을 단일한 병렬 엔드투엔드 탐지 작업으로 통합한 최초의 모델인 FEDN(Facial Expression Detection Network)을 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 백본(Backbone):

   • FEDN은 3D CNN 대신, 정렬된 얼굴 프레임을 인코딩하기 위해 사전 학습된 2D 얼굴 특징 추출기(예: AffectNet에서 학습된 ResNet18)를 사용하는 공간-시간 분리형(space-time separable) 아키텍처를 채택합니다.
   • 긴 영상을 효율적으로 처리하기 위해 슬라이딩 윈도우 메커니즘을 사용합니다. 각 윈도우는 중첩되는 세그먼트로 나뉩니다.
   • 두 가지 새로운 시간적 어텐션 모듈이 도입됩니다:
     • 세그먼트 수준 어텐션(Segment-level Attention): 멀티 헤드 어텐션과 평균 풀링을 사용하여 각 세그먼트 내의 프레임을 집계함으로써 미세한 로컬 역동성을 포착합니다.
     • 슬라이딩 윈도우 어텐션(Sliding Window Attention): 슬라이딩 윈도우 내의 세그먼트 시퀀스 전체에 어텐션을 적용하여 더 넓은 시간적 문맥을 포착합니다.
   • 이 모듈들을 통해 모델은 두 작업 모두에서 정보를 활용하는 공유된 표현을 학습할 수 있습니다.

2. 넥(Neck):

   • 다양한 지속 시간을 가진 표정을 수용하기 위해 다중 스케일 시간적 특징 피라미드가 구축됩니다.
   • 백본 출력은 4개의 서로 다른 해상도 레벨($s/4, s/8, s/16, s/32$)에서 특징 시퀀스를 생성하기 위해 스트라이드 2를 가진 1D 컨볼루션 레이어를 통해 처리됩니다.

3. 헤드(Head):

   • 헤드는 각 시간적 스케일에서 표정 구간(시작/종료 위치), 신뢰도 점수, 그리고 감정 레이블을 예측합니다.
   • 이는 하나의 앵커 프리(anchor-free) 구간(시작/종료 위치를 직접 회귀)과 다섯 개의 앵커 기반(anchor-based) 구간(데이터셋 통계에 기반한 사전 정의된 템플릿 사용)을 사용하는 하이브리드 예측 전략을 활용합니다.
   • 중첩된 예측을 통합하기 위해 비디오 레벨에서 **비최대 억제(NMS, Non-Maximum Suppression)**가 적용됩니다.

학습 목표
모델은 다음이 결합된 공동 손실 함수(joint loss function)로 학습됩니다:

• 구간 손실 ($L_b$): 양의 구간에 대해 예측된 경계를 실제 경계와 일치시키기 위한 1D DIoU(Distance IoU) 손실.
• 인식 손실 ($L_c$): 감정 분류를 위한 이진 크로스 엔트로피(BCE) 손실.
• 전체 손실은 이 구성 요소들의 가중 합이며, 이를 통해 감정 레이블이 어텐션 메커니즘이 의미론적으로 유의미한 프레임에 집중하도록 유도하는 공동 최적화가 가능해집니다.

주요 기여

1. 통합 프레임워크: FEDN은 안면 표정 스포팅과 인식을 단일 엔드투엔드 탐지 네트워크 내의 병렬 작업으로 취급하여, 공동 특징 학습과 상호 적응(co-adaptation)을 가능하게 한 최초의 모델입니다.
2. 새로운 평가 지표: 저자들은 시간적 국소화와 감정 분류 정확도를 동시에 평가하는 탐지 지표(특히 Mean Average Precision, mAP)를 사용하여 안면 표정 분석을 수행한 최초의 연구를 진행하였으며, 이는 스포팅과 인식을 별도로 평가하던 기존 방식을 넘어섭니다.
3. 효율적인 아키텍처: 세그먼트 수준 및 슬라이딩 윈도우 어텐션 모듈의 도입은 3D CNN이나 광학 흐름의 계산 비용 없이도 단기 및 장기 안면 역동성을 포착합니다.
4. 벤치마킹 통찰: 본 연구는 CAS(ME)2 데이터셋에서 **전문가 주석(expert-annotated)**과 자기 보고(self-reported) 감정 레이블 사이의 체계적인 불일치를 밝혀냈으며, 이는 현재 그라운드 트루스(ground-truth)의 유효성에 대한 과제를 제기합니다.

결과

• 성능: FEDN은 세 가지 공개 벤치마크(CAS(ME)2, CAS(ME)3, SAMM-Long)에서 최첨단(SOTA) 결과를 달로합니다. CAS(ME)2에서, STR 베이스라인 대비 탐지 mAP를 3.9배 향상(13.4에서 51.6으로)시켰으며, 가장 높은 스포팅 및 인식 F1 점수를 달성했습니다.
• 효율성: FEDN은 더 적은 파라미터(24.98M vs 30.52M)를 사용하면서도 광학 흐름 없이 I3D 기반 백본보다 우수한 성능을 보입니다.
• 절제 실험(Ablation): 어텐션 모듈을 제거하면 성능이 크게 저하되어(mAP가 51.6에서 ~38-47로 하락), 이들의 필요성을 입증합니다. 인식 레이블과 함께 공동 학습하는 것이 스포팅 레이블만으로 학습할 때보다 스포팅 정확도를 향상시킵니다.
• 레이블 불일치: 실험 결과, 자기 보고 레이블로 학습된 모델이 엄격한 IoU 임계값에서 더 높은 정밀도를 보이는 경우가 많음을 보여주었으며, 이는 자기 보고가 내부적 감정 상태를 더 잘 반영할 수 있는 반면, 전문가 주석은 노이즈나 과도하게 확장된 경계를 포함할 수 있음을 시사합니다.

의의
본 논문은 스포팅과 인식을 통합하는 것이 연속적인 영상에서 모델이 표정을 얼마나 잘 식별하고 해석하는지를 평가하는 데 더 현실적인 방법이라고 주장합니다. 공유된 표현이 국소화와 분류 모두를 개선한다는 것을 입증함으로써, FEDN은 이러한 작업들을 역사적으로 고립시켜 왔던 관행에 도전합니다. 나아가, 전문가 주석과 자기 보고 레이블 간의 불일치를 확인한 것은 향로 데이터셋에 대한 더 미묘한 주석 프로토콜의 필요성을 강조하며, 현재의 벤치마크가 인간의 감정 표현의 복잡성을 완전히 포착하지 못할 수 있음을 시사합니다. 이 연구는 안면 표정 분석을 일련의 단절된 작업이 아닌, 총체적인 탐지 문제로서 평가하는 새로운 표준을 확립합니다.