기술 요약: AdaTosk – 효율적인 동적 표정 인식을 위한 적응형 시간적 소프트 마스크

문제 제기

동적 표정 인식 (DFER) 은 비디오 시퀀스에서 비언어적 소통을 통해 심리적 의도를 식별하는 것을 목표로 합니다. 기존 방법들은 효과적이지만, 효율성과 중복성과 관련하여 상당한 도전에 직면해 있습니다. 비디오 데이터는 연속성으로 인해 본질적으로 상당한 시간적 중복성을 포함하고 있어, 배경 잡음과 의미적으로 반복되는 정적 프레임과 같은 관련 없는 정보를 처리하게 됩니다. Masked AutoEncoders(MAE) 에서 영감을 받은 방법들을 포함한 현재 접근 방식들은 종종 중요한 표정 역동성과 중복 토큰을 구별하는 데 어려움을 겪습니다. 결과적으로 모델들은 관련 없는 프레임에서 불필요한 특징을 계산하거나 미묘하고 탐지하기 어려운 표정 변화를 포착하지 못하여, 정확도에서의 비례적 향상 없이 높은 계산 비용을 초래합니다.

방법론: AdaTosk

저자들은 이러한 비효율성을 해결하기 위해 설계된 새로운 지도 학습 시간적 소프트 마스크 오토인코더 네트워크인 AdaTosk를 제안합니다. 이 아키텍처는 자기지도 학습 재구성 분기와 지도 학습 분류 분기라는 두 개의 병렬 분기를 통합합니다.

1. 이중 분기 아키텍처

• 자기지도 학습 재구성 분기: 이 분기는 (VideoMAE 에서 영감을 받은) 랜덤 이진 하드 마스크를 사용하여 비디오 토큰의 상당 부분을 마스킹합니다. 모델은 경량 디코더를 사용하여 가시 토큰에서 마스킹된 토큰을 재구성하도록 훈련됩니다. 이 과정은 인코더가 나머지 가시 토큰에서 의미 있는 특징 표현을 학습하도록 장려합니다.
• 지도 학습 분류 분기: 이 분기는 표정 분류를 수행하기 위해 최적의 가시 토큰($X_{opt}$) 을 처리합니다. 하드 마스크와 달리, 이 분기는 토큰의 시간적 중요성과 의미적 중복성에 따라 가시 토큰에 다양한 정도의 마스킹을 할당하는 적응형 시간적 소프트 마스크($S$) 를 사용합니다.

2. 적응형 시간적 소프트 마스크 메커니즘

AdaTosk 의 핵심 혁신은 토큰의 영향을 동적으로 조정하는 적응형 소프트 마스크입니다. 이는 두 가지 고유한 전략을 결합합니다:

• 클래스 무관 동적 소프트 마스크:

  • 목표: 사전 정의된 범주의 편향 없이 표정 역동성의 주요 순간을 포착합니다.
  • 메커니즘: 인접한 가시 프레임 간의 프레임 간 특징 차이($\tau$) 를 계산합니다. 가장 큰 차이를 보이는 상위-K 프레임 쌍을 "활성화 프레임"으로 식별합니다. 채널별 정보 상호작용 단위 (Squeeze-and-Excitation 패턴) 가 이러한 프레임을 강화하고, 시간적 정보 상호작용 단위가 전체 시퀀스 전반에 걸쳐 이러한 역동적 변화를 우선시하는 소프트 마스크($S_{agnostic}$) 를 생성합니다.

• 클래스 의미 유사 소프트 마스크:

  • 목표: 필수 정보를 보존하면서 시간이 지남에 따라 의미적으로 유사하지만 중복된 토큰의 누적을 줄입니다.
  • 메커니즘: 시간적 누적 점수 ($M$) 를 사용하여 토큰을 마스킹할 확률을 모델링합니다. 연속성을 처리하기 위해 마르코프 체인이 프레임 간 점수를 전달하며, 계산 부하를 줄이기 위해 상위-r 토큰을 제외합니다. 결정적으로, 이 점수는 클래스 지도 학습 (절대 활성화의 합) 에서 파생된 의미 점수($A$) 에 의해 재가중됩니다. 이는 시간적 중복성을 나타내더라도 높은 의미 가치를 가진 토큰이 유지되도록 보장합니다.
  • 최종 마스크: 최종 적응형 마스크($S$) 는 클래스 무관 마스크와 클래스 의미 마스크의 요소별 곱입니다 ($S = S_{agnostic} \odot S_{semantic}$).

3. 훈련 목적

전체 손실 함수 ($L$) 는 자기지도 학습 분기에서 나온 재구성 손실 ($L_{rec}$) 과 지도 학습 분기에서 나온 분류 손실 ($L_{cls}$) 을 가중치 $\lambda_{rec}$와 $\lambda_{cls}$로 균형을 맞춰 결합합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 지도 학습 VideoMAE 의 통합: AdaTosk 는 DFER 작업에 지도 학습 VideoMAE 프레임워크를 통합한 최초의 모델로, 가시 토큰을 최적화하여 인식 효율성을 크게 향상시킵니다.
2. 적응형 시간적 소프트 마스크: 저자들은 마스킹 정도를 적응형으로 조정하는 혁신적인 마스킹 전략을 제안합니다. 클래스 무관 동적 및 클래스 의미 유사 소프트 마스크라는 두 가지 구성 요소는 특히 주요 표정 역동성의 활성화와 시간적 의미 중복성의 억제를 목표로 합니다.
3. 효율성과 성능 향상: 이 모델은 높은 성능과 낮은 계산 비용 사이의 균형을 달성하여, 최첨단 방법들과 비교하여 정확도를 유지하거나 향상시키면서 모델 크기와 FLOPs 를 줄입니다.

실험 결과

저자들은 세 가지 널리 사용되는 자연 환경 (in-the-wild) DFER 벤치마크인 DFEW, FERV39K, MAFW에서 AdaTosk 를 평가했습니다.

• 성능: 소프트 마스크를 사용한 AdaTosk(AdaTosk†로 표기) 는 모든 데이터셋에서 Unweighted Average Recall(UAR) 과 Weighted Average Recall(WAR) 모두에서 기존 지도 학습 모델보다 9–10% 더 높은 성능을 발휘합니다. 또한 대규모 언어 모델 기반 방법 및 기타 VideoMAE 기반 접근 방식 (예: MAE-DFER, MMA-DFER) 을 **2.1% 에서 4.8%**까지 상회합니다.
• 효율성:
  • 기본 VideoMAE 와 비교하여 AdaTosk 는 파라미터를 약 12M 줄이고 FLOPs 를 38G 줄입니다.
  • 시간적 소프트 마스크 추가 (AdaTosk†) 는 소프트 마스크가 없는 버전 (AdaTosk) 에 비해 파라미터를 2M 더 줄이고 FLOPs 를 4G 줄이면서 동시에 UAR 과 WAR 를 약 2% 향상시킵니다.
  • 전반적으로 이 모델은 현재 최첨단 방법들과 비교하여 계산 비용을 6G FLOPs 줄이고 모델 크기를 10M 파라미터 줄입니다.

중요성과 주장

이 논문은 AdaTosk 가 기존 방법들의 중요한 한계인 관련 없는 정보를 처리하는 동안 미묘한 표정 역동성을 누락하는 경향을 성공적으로 해결했다고 주장합니다. 적응형 시간적 소프트 마스크를 도입함으로써, 모델은 표정 진화의 주요 순간에 효과적으로 초점을 맞추고 의미적으로 유사한 토큰의 누적을 줄입니다.

저자들은 이 접근 방식이 성능을 희생하지 않는 효율적인 동적 표정 인식을 가능하게 한다고 주장합니다. 결과는 시간적 중복성을 소프트 마스킹을 통해 지능적으로 관리함으로써 모델이 경쟁력 있고 종종 우수한 정확도를 달성하면서 계산 오버헤드를 크게 줄였음을 보여줍니다. 시각화 결과는 모델이 주요 얼굴 영역 (예: 입, 볼, 눈썹) 을 올바르게 식별하고 표정 변화와 의미적 중요도에 따라 마스킹 강도를 동적으로 조정함을 추가로 확인시켜 줍니다.