기술 요약: 얼굴 표정 이해를 위한 MiRA

문제 정의

제약이 없는 비디오에서 얼굴 표정을 이해하려면 미세한 주름이나 찌푸림과 같은 미묘하고 국소적이며 일시적인 시공간적 역동성을 모델링해야 합니다. 그러나 대규모 자기지도 학습 목적 함수인 Masked Autoencoders(MAE)로 사전 학습된 기존의 Vision Transformer (ViT) 기반 비디오 모델들은 이 영역에서 어려움을 겪습니다. 이러한 모델들은 지배적인 전역적 움직임(예: 머리 움직임)과 거친 장면 수준의 역동성에 최적화되는 경향이 있습니다. 결과적으로, 미세한 안면 내부의 변화는 중복되거나 전역적 움직임에 의해 가려진 것으로 간주되어, 정교한 표정 단서에 대한 모델링이 불충분해집니다. 또한, 표준 어텐션 메커니나즘은 정보가 풍부한 얼굴의 순간에 선택적으로 집중을 할당하는 동시에, 움직임이 지배적이거나 중복된 프레임을 억제하는 민감도가 부족한 경우가 많습니다.

방법론: MiRA (Marginal-induced Attention Redistribution)

이러한 한계를 해결하기 위해, 저자들은 ViT 백본을 위해 설계된 플러그인 프레임-마진 어텐션 재분배 프레임워크인 MiRA를 제안합니다. MiRA는 추가적인 학습 가능 파라미터를 도입하지 않고도 미묘한 얼굴 역동성에 대한 시공간적 선택성을 향상시킵니다. 이 방법은 셀프 어텐션 맵으로부터 프레임 수준의 통계량을 도출하여 마진 중요도를 추정하고 그에 따라 어텐션을 재분배함으로써 작동합니다.

1. 핵심 메커니즘: 프레임-마진 재가중치 부여 (Frame-Marginal Reweighting)

이 방법은 헤드 평균 어텐션 행렬 $\bar{A}$로부터 두 가지 상호 보완적인 통계량을 계산합니다:

• 프레임 수준 신뢰도 ($c_t$): 전체 시퀀스 전반에 걸쳐 특정 프레임 $t$에 할당된 총 어텐션 질량을 측정하며, 해당 프레임이 핵심으로서 얼마나 강하게 주목받는지를 나타냅나다.
• 프레임 내 집중도 ($H_t$): 역 엔트로피를 사용하여 프레임 내에서의 어텐션 공간 집중도를 정량화합니다. 높은 집중도는 국소적인 어텐션을 의미하며(얼굴 단서에 유리), 낮은 집중도는 확산된 전역적 패턴을 시사합니다.

이러한 통계량들은 프레임-마진 중요도 점수 $f_t$로 결합됩니다. 이 점수는 정규화된 후 파워-소프트맥스(power-softmax) 함수를 사용하여 타겟 사전 분포 $\pi_t$로 변환됩니다. 학습된 쿼리-키 구조를 파괴하지 않으면서 어텐션을 재분배하기 위해, MiRA는 비율 기반 정렬(ratio-based alignment)을 적용합니다. 이는 현재의 신뢰도에 대한 타겟 사전 분포의 비율을 기반으로 스케일링 인자 $\alpha_t$를 계산하고, 극단적인 편차를 방지하기 위해 값을 클리핑(clipping)합니다. 이 인자들은 어텐션 맵을 재조정하며, 이후 유효한 확률 분포를 보장하기 위해 작은 균등 혼합(uniform mixing) 및 행 단위 정규화를 수행합니다.

2. 두 가지 운영 모드

논문은 효과성과 계산 효율성의 균형을 맞추기 위해 두 가지 모드를 도입합니다:

• Exact Mode (정밀 모드): 이는 포스트-소프트맥스(post-softmax) 어텐션 맵에 대해 재가중치를 수행하는 원칙적인 공식입니다. 이는 전체 어텐션 맵($O(L^2)$)을 실체화하고, 행 단위 정규화를 수행하며, 역전파를 위해 포스트-소프트맥스 활성화 값을 유지해야 합니다. 효과적이긴 하지만, 상당한 메모리 I/O 오버헤드를 발생시키며 FlashAttention과 같은 퓨즈드 커널(fused kernels)과 호환되지 않습니다.
• FlashLite Mode: 효율성을 높이기 위해, 이 모드는 재분배 과정을 FlashAttention 커널에 직접 통합합니다. 포스트-소프트맥스 재스케일링 대신, 키 기반 프록시(구체적으로 키 토큰의 제곱 $L_2$ 노름)를 사용하여 프리-소프트맥스(pre-softmax) 단계에서 필요한 프레임 수준 통계량을 근사합니다. 이 프록시들은 프레임의 돌출도와 집중도를 추정합니다. 결과적인 스케일링 인자는 소프트맥스 연산 전의 어텐션 로짓($Z = QK^\top/\sqrt{d_K}$)에 적용되는 가산 바이어스($\log \alpha_t$)로 변환됩니다. 이를 통해 재분배가 FlashAttention의 스트리밍 계산 내에서 발생하도록 하여, 전체 어텐션 맵을 실체화하지 않고도 메모리 I/O를 크게 줄이면서 재분배를 수행할 수 있습니다.

주요 기여

1. 플러그인 어텐션 재분배: 추가적인 학습 가능 파라미터 없이도 프레임 수준의 신뢰도와 프레임 내 집중도를 기반으로 어텐션을 재분배하여 미묘한 얼굴 역동성에 대한 민감도를 높이는 ViT 백본용 혁신적인 모듈입니다.
2. FlashLite 근사: 재분배 메커니즘을 FlashAttention 커널에 통합하는 경량화된 프리-소프트맥스 근사 방식입니다. 이는 정확한 공식의 성능을 유지하면서도 메모리 I/O를 줄이고 처리량을 개선하여 대규모 학습에 적합하게 만듭니다.
3. 제약 없는 조건에서의 견고성: 이 접근 방식은 얼굴 정렬(alignment)이나 크로핑과 같은 태스크 특화된 휴리스틱(예: 엄격한 얼굴 정렬 또는 크로핑)에 의존하지 않고도, 도전적인 얼굴 표정 인식(FER) 벤치마크에서 강력한 ViT 베이스라인보다 일관된 개선을 보여줍니다. 이는 대규모 사전 학습 및 실제 환경에서 구현하기 어려운 방식들입니다.

실험 결과

저자들은 VideoMAE를 백본으로 사용하여 MiRA를 평가하였으며, VoxCeleb2에서 사전 학습한 후 대규모 인더와이즈(in-the-wild) FER 벤치마크인 DFEW, MAFW, FERV39k에서 파인튜닝하였습니다.

• 성능 향상: MiRA는 모든 데이터셋에서 강력한 ViT 베이스라인(VideoMAE, VideoMAEv2 및 기타 MAE 변형 포함)을 일관되적으로 능가합니다. 예를 들어, DFEW (Fold 1)에서 ViT-B FlashLite 모델은 Unweighted Average Recall (UAR) 65.11% 및 Weighted Average Recall (WAR) **76.25%**를 달s성하여, 바닐라 VideoMAE 베이스라인(59.94% UAR)을 넘어섰습니다.
• SOTA와의 비교: 이 방법은 비디오 전용 방법론 중 최고 수준(state-of-the-art)의 성능을 달성하며, 오디오나 언어 감독을 사용하는 멀티모달 접근 방식과도 경쟁할 만한 수준을 유지합니다. 특히, 얼굴 정렬 전처리 없이 이러한 결과를 달성했습니다.
• 효율성: FlashLite 모드는 H100 GPU에서 Exact 모드와 비교했을 때 거의 동일한 인식 성능을 보이면서도 20%의 지연 시간 감소(400.6 ms $\to$ 318.7 ms)와 26%의 처리량 이득을 제공합니다.
• 표현 품질: 동결된 특징을 사용하여 미세 표정 데이터셋(SAMM, MMEW)에 대한 k-NN 프로빙을 수행한 결과, MiRA는 일반적인 비디오 모델 및 기타 FER 특화 베이스라인에 비해 미묘한 시간적 역동성을 더 잘 포착하는 표현을 학습함을 보여주었습니다.
• 정성적 분석: 시각화를 통해 베이스라인 모델들이 지배적인 전역 움직임(예: 머리 회전, 배경 경계)에 집중하는 반면, MiRA는 국소적인 얼굴 영역과 정보가 풍부한 시간적 순간으로 어텐션을 성공적으로 전환함을 확인할 수 있습니다.

의의 및 주장

본 논문은 비디오에서 얼굴 역동성을 효과적으로 모델링하는 것이 멀티모달 입력 없이도 정서적 맥락을 표현하는 데 매우 중요하다고 주장합니다. Mi-RA의 의의는 일반적인 비디오 트랜스포머에 내재된 지배적인 전역 움직임에 대한 편향을 해결하기 위해 셀프 어텐션 메커니즘을 재검토했다는 점에 있습니다.

프레임-마진 재분배 메커니즘을 도입함으로써, 저자들은 (FlashLite를 통해) 현대적인 학습 파이프라인의 효율성을 해치지 않으면서도 미묘한 단서에 대한 시공간적 선택성을 높일 수 있음을 입증했습니다. 이 연구는 불필요한 전역 움직임을 억제하고 중복성을 줄임으로써, 명시적인 정렬이 비실용적인 대규모의 다양하고 제약 없는 데이터에 대해 모델이 더 잘 일반화될 수 있음을 시사합니다. 저자들은 이를 정교한 이해가 가능한 더 확장 가능하고 효율적인 비디오 파운데이션 모델을 향한 단계로 규정합니다.