Causal Supervision of Attention for Affective Behaviour Analysis

기술 요약: 정서적 행동 분석을 위한 인과적 주의 집중 제어 (Causal Supervision of Attention for Affective Behaviour Analysis)

문제 정의
정서적 행동 분석(Affective Behaviour Analysis, ABA)은 제약이 없는("in-the-wild") 환경에서 인간의 감정 상태를, 특히 얼굴 표정을 통해 기계가 추론할 수 있도록 하는 것을 목표로 한다. 딥러닝 모델은 상당한 진전을 이루었으나, 미학습 대상(unseen subjects)에 대한 일반화 능력에서 종종 어려움을 겪는다. 이러한 한계는 모델이 진정한 불변의 정서적 단서(invariant affective cues)를 학습하기보다 정체성, 포즈, 조명, 연령 및 인구통계학적 변동과 같은 가짜 상관관계(spurious correlations)를 이용하기 때문에 발생한다. 제11회 ABAW(Affective Behaviour Analysis in-the-wild) 경진대회의 맥락에서, 이 과제는 발란스-각성(Valence-Arousal, VA) 추정, 표정(Expression, EX) 인식, 그리고 액션 유닛(Action Unit, AU) 탐지를 동시에 수행해야 하는 다중 작업 학습(Multi-Task Learning, MTL) 프레임워크를 통해 공식화된다. 핵심적인 난제는 이러한 혼란 요인들로부터 정서 관련 신호를 구별하여 강건한 피사체 불변 표현(subject-invariant representations)을 달erm하는 것이다.

방법론
저자들은 정서적 단서의 선택과 표현력을 모두 개선하기 위해 설계된, 인과 관계에서 영감을 받은 주의 집중 풀링(attention pooling) 프레임워크를 제안한다. 이 아키텍처는 특징 추출을 위한 동결된 Vision Transformer(ViT) 백본, 시계열 모델링을 위한 Temporal Convolutional Network(TCN), 그리고 작업별 예측 헤드로 구성된 표준 파이프라인을 기반으로 구축된다. 본 프레임워크는 강건성과 표현력을 높이기 위해 주의 메커니즘에 세 가지 특정 수정을 도입한다:

1. 주의 집중을 위한 인과적 감독 (Causal Supervision for Attention, CSA): 피사체 전반에 걸쳐 불변의 예측 가치를 지닌 얼굴 영역에 주의를 집중시키기 위해, 저자들은 인과적 감독 신호를 통합한다. 이는 "사실적(factual)" 경로와 "반사실적(counterfactual)" 경로를 포함한다. 사실적 경로에서 모델은 학습된 주의 가중치를 바탕으로 예측하며, 반사실적 경로에서는 주의 가중치가 가우시안 분포에서 샘플링된 무작위 정규화 벡터로 대체된다. 모델은 두 예측 사이의 차이인 총 직접 효과(Total Direct Effect, TDE)를 최대화하도록 훈련되며, 이를 통해 주의 메커니즘이 가짜 상관관계에 의존하는 대신 인과적으로 유의미한 얼굴 영역을 일관되게 식별하도록 유도한다.

2. 교차 공분산 독립 정규화 (Cross-Covariance Independence Regularization): 스케일드 닷-프로덕트 주의 집중(scaled dot-product attention) 내의 키($K$)와 값($V$) 투영 간의 중복성을 해결하기 위해, 저자들은 교차 공분산 정규화 손실을 도입한다. 중심화된 $K$와 $V$ 표현 사이의 교차 공분산 행렬의 프로베니우스 노름(Frobenius norm)을 최소화함으로써, 이 방법은 상호 보완적이고 비중복적인 특징 인코딩을 장려하여 모델 용량이 별개의 작업 관련 정보에 더 많이 할당될 수 있도록 한다.

3. 비선형 SwiGLU 값 투영 (Nonlinear SwiGLU Value Projection): 표준 선형 투영 방식인 값($V$) 구성 요소를 SwiGLU(Sigmoid Linear Unit Gated Linear Unit) 변환으로 대체한다. 이 비선형 레이어는 값 투영의 표현 용량을 증가시켜, 주의 기반 집계 단계 이전에 더 세밀한 정서적 단서를 포착할 수 있게 한다.

주요 기여
본 논문은 주의 메커니즘에 인과 추론 원칙을 통합한 통합 프레임워크를 제시한다. 주요 기여는 다음과 같다:

• 주의 집중을 위한 인과적 감독의 도입: 반사실적 생성과 TDE 최대화를 활용하여 피사체 불변의 정서 관련 얼굴 영역으로 주의를 유도한다.
• 교차 공분산 독립 정규화의 정식화: 키와 값 표현을 분리하여 특징 중복을 줄인다.
• 선형 값 투영을 SwiGLU 기반 비선형 변환으로 대체하여 특징 표현력을 향상시킨다.
• s-Aff-Wild2 데이터셋에 대한 종합적인 평가를 통해, 이러한 구성 요소들이 여러 정서 작업에 걸쳐 어떻게 집합적으로 일반화 성능을 개선하는지 입증한다.

실험 결과
방법론은 두 가지 서로 다른 백본인 DINOv2(범용 이미지로 사전 학습됨)와 FRoundation(얼굴 이미지에 특화됨)을 사용하여 s-Aff-Wild2 데이터셋에서 평가되었다. 성능은 VA에 대한 평균 일치 상관 계수(CCC), 표정($F_{EX}$)의 평균 F1 점수, AU($F_{AU}$)의 평균 F1 점수를 합산한 공식 ABAW MTL 지표 $P$를 사용하여 측정되었다.

• 베이스라인 비교: 공식 베이스라인(MixAugment를 사용한 ConvNeXt, $P=0.45$)과 비교했을 때, 제안된 방법은 현저히 높은 점수를 기록했다. FRoundation 백본을 사용했을 때, 제안된 방법은 공식 검증 세트에서 1.2214의 전체 점수($CCC_{VA}=0.5123$, $F_{EX}=0.3116$, $F_{AU}=0.3974$)에 도달했다.
• 교차 검증: 5-겹 교차 검증 프로토콜에서 FRoundation 백본이 DINOv2보다 일관되게 우수한 성능을 보였다. 제안된 방법은 FRoundation을 사용할 때 평균 다중 작업 점수 $P$를 1.0524(베이스라인)에서 1.1948로 개선했으며, DINOv2의 경우 0.8730에서 0.9569로 개선했다.
• 절제 연구 (Ablation Study): 연구를 통해 각 구성 요소가 성능에 기여함을 확인했다. SwiGLU 단독으로는 백본에 따라 결과가 엇갈렸으나, SwiGLU를 인과적 감독 또는 공분산 정규화와 결합했을 때는 일관되게 성능이 향상되었다. 모든 구성 요소가 활성화된 전체 모델이 가장 좋은 결과를 냈으며, 이는 각 베이스라인 대비 약 9.6%(DINOv2) 및 13.5%(FRoundation)의 이득을 나타냈다.

의의
본 논문은 제안된 프레임워크가 피사체 불변의 주의 집중을 촉진함으로써 정서적 행동 분석의 가짜 상관관계 문제를 성공적으로 해결한다고 주장한다. 주의의 인과적 기여를 명시적으로 모델링하고 특징 표현의 중복성을 줄임으로써, 이 방법은 더 강건하고 표현력이 풍부한 정서적 표현을 생성한다. 결과는 주의 메커니즘에 인과적 감독과 구조적 정규화를 통합하는 것이, 특히 FRoundation과 같은 특화된 얼굴 백본을 활용할 때 제약 없는 정서 컴퓨팅 작업의 일반화 성능을 향상시키는 효과적인 전략임을 시사한다.