기술 요약: 액션 유닛(Action Units)에서 감정으로

문제 정의

안면 표정 인식(Facial Expression Recognition, FER)은 조명 변화, 포즈 차이, 주석 데이터의 부족과 같은 실질적인 과제로 인해 여전히 제약을 받고 있다. 기존의 딥러닝 모델들은 종종 도메인 적응력 저하, 과적합, 그리고 불충분한 해석 가능성 문제를 겪는다. 또한, 멀티모달 거대 언어 모델(MLLM)은 고도의 의미론적 이해 능력을 제공하지만, 미세한 얼굴 기하학적 변형이나 미세 표정(micro-expressions)을 인지하는 민감도는 부족한 경우가 많다. "비디오-라벨" 신호에 대한 기존의 엔드투엔드(end-to-end) MLLM 미세 조정 방식은 정서적 표현의 근간이 되는 세밀한 중간 표현(액션 유닛, Action Units)을 간과하여 최적화되지 않은 추론 체인을 초래한다.

방법론

본 논문은 저수준의 얼굴 인지와 고수준의 감정 의미론 사이의 간극을 메우기 위해 설계된 의사결정 수준 융합을 포함한 2단계 미세 조정 프레임워크를 제안한다.

1. 2단계 점진적 미세 조정

핵심 전략은 FER를 두 개의 연속적인 학습 단계로 분해하여 "삼중 디커플링(triple decoupling)"을 달 achieves 한다: 즉, 인지와 추론의 분리, 도메인 불가지론적 지식과 도메인 특정 지식의 분리, 그리고 물리적 관찰과 감정 라벨의 분리이다.

• 1단계: AU 탐지 미세 조정 (인지)

  • 데이터: 프레임 단위의 액션 유닛(AU) 주석을 제공하는 CAS(ME)³ 데이터셋을 활용한다.
  • 작업: AU 인식을 시각적 질의응답(VQA) 작업으로 재구성한다. 모델은 얼굴 움직임 코드 시스템(FACS)에 대한 사전 지식을 활용하여, 시각적 입력에 기반해 활성화된 AU를 식별하도록 지시받는다.
  • 모델: Qwen3-VL-32B-Instruct 멀티모달 거대 모델을 **LoRA(Low-Rank Adaptation)**를 사용하여 미세 조정한다. 이는 사전 학습된 시각-의미론적 지식을 보존하면서 AU 탐지를 학습하기 위해 매개변수의 작은 부분집합(Query 및 Value 행렬)만을 업데이트한다.
  • 목표: 미세한 얼굴의 미세 움직임에 대한 견고하고 도메인 불가지론적인 인지 능력을 구축하는 것이다.

• 2단계: 표정 인식 미세 조정 (추론)

  • 데이터: AU 주석은 없지만 감정 라벨이 있는 정적 이미지인 FER-2013 데이터셋으로 전이한다.
  • 작업: 1단계의 가중치로 초기화된 모델은 탐지된 AU 조합을 감정 범주로 매핑하도록 추가 미세 조정된다. 출력 형식은 모델이 AU로부터 최종 감정 라벨까지 추론하도록 요구하며, VQA 구조를 유지한다.
  • 전략: 새로운 감정 인식을 위한 LoRA 어댑터만을 최적화하며, 시각 인코더와 1단계 어댑터는 AU-감정 추론 체인을 보존하기 위해 동결(frozen) 상태를 유지한다.

2. 의사결정 수준 융합

미세한 기하학적 변형을 인지하는 데 있어 순수 거대 모델의 한계를 해결하기 위해, 본 프레임워크는 미세 조정된 Qwen3-VL을 특화된 경량 CNN 기반 FER 모델인 OpenFace 3.0과 통합한다.

• 메커니즘: 두 모델의 확률 분포($P_{VLM}$ 및 $P_{OpenFace}$)를 가중 선형 보간법을 통해 융합한다:
  $$P_{final} = \alpha \cdot P_{OpenFace} + (1 - \alpha) \cdot P_{VLM}$$
• 근거: OpenFace 3.0은 국소적 얼굴 랜드마크와 기하학적 특징에 대한 민감도를 제공하는 반면, 미세 조정된 MLLM은 고수준의 의미론적 이해와 맥락적 추론을 제공한다.

주요 기여

1. 거대 모델 베이스라인 검증: Qwen3-VL-32B-Instruct의 제로샷(zero-shot) 및 퓨샷(few-shot) 성능을 체계적으로 평가하여 강력한 베이스라인을 구축하였다.
2. AU 가이드 2단계 미세 조정: 모델이 FER-2013에서 감정으로 매핑하기 전에 CAS(ME)³에서 AU 탐지를 먼저 학습하도록 하는 커리큘럼 학습 패러다임을 도입하였다. 이를 통해 모델은 AU 추론 능력을 습득하고 ("AU 추론 후 감정 예측"이라는) 해석 가능한 체인을 통해 추론할 수 있게 된다.
3. 이종 모델 협업: 거대 멀티모달 모델과 특화된 소형 모델(OpenFace 3.0) 간의 의사결정 수준 융합 가능성을 입증하여, 이들의 상호 보완적인 강점을 검증하였다.
4. 강력한 경험적 성능: 제안된 프레임워크가 비 미세 조정 베이스라인 및 단독 특화 모델보다 성능이 유의미하게 우수함을 보여주었으며, 특히 소수 클래스에 대한 재현율(recall) 개선과 해석 가능성 향상에서 두드러졌다.

실험 결과

실험은 정확도(ACC), 정밀도(Precision), 재현율(Recall), F1-Score를 지표로 하여 FER-2013 테스트 세트에서 수행되었다.

• 베이스라인 대비 성능:
  • 미세 조정된 Qwen3-VL은 **66.73%**의 정확도를 달성하여, 비 미세 조정 베이스라인(58.73%)보다 8%포인트 향상된 성능을 보였다.
  • 융합 모델(Qwen3-VL + OpenFace 3.0)은 **67.37%**의 정확도를 달성하였다.
  • 전통적인 CNN과 비교했을 때, 융합 모델은 GoogLeNet(67.04%)보다는 약간 앞서지만, ResNet-50(69.33%), VGG-16(68.75%), DenseNet(69.38%)에는 뒤처진다.
  • 전체 정확도 측면에서 최적의 특화 CNN 모델들을 넘어서지는 못했으나, 융합 모델은 ResNet50(69.84%)과 유사한 수준의 우수한 **가중 정밀도(Weighted Precision, 69.47%)**를 보여주었다.
• 융합의 장점:
  • 융합 모델은 순수 거대 모델(58.64%)에 비해 **매크로 재현율(Macro-Recall, 62.71%)**이 크게 향상되었는데, 이는 혐오(disgust), 공포(fear)와 같은 소수 클래스를 더 잘 포착함을 나타낸다.
  • OpenFace 3.0 단독 모델(정확도 48.02%)과 비교했을 때, 결합된 프레임워크는 정확도가 19.35%포인트 향상되었다(상대적 개선율 40.3%).
• 해석 가능성: 모델은 특정 AU 활성화(예: AU4, AU7)를 감정 판단과 연결하는 자연어 설명을 성공적으로 생성하여, "블랙박스" 형태인 CNN에는 없는 추적 가능한 추론 체인을 제공하였다.

의의 및 주장

본 논문은 제안된 2단계 미세 조정 전략이 일반적으로 세밀한 디테일 파악에 어려움을 겪는 거대 시각 모델로부터 미세한 얼굴 기하학적 변형 및 저강도 표현을 위한 판별적 특징을 효과적으로 이끌어낸다고 주장한다.

저자들은 순수 거대 시각 모델이 강력한 고수준 의미론적 이해력을 갖추고 있음에도 불구하고, 미세한 얼굴 변형을 인지하는 데 있어 내재적인 한계를 보인다고 단언한다. 제안된 방법은 다음과 같이 이를 해결한다:

1. 해석 가능성 강화: AU를 중간 표현으로 사용함으로써 추적 가능한 모델 출력을 가능하게 하여 신뢰성을 높인다.
2. 강건성 개선: 의사결정 수준의 융합은 거대 모델의 부족한 미세 공간 사전 지식(spatial priors)을 보완하여, 소수 클래스에 대한 성능을 크게 높이고 헤드 클래스(head classes)에 대한 편향을 줄인다.
3. 새로운 경로 제시: 본 연구는 MLLM과 특화된 기하학적 모델의 상호 보완적인 강점을 활용하여 매우 견고하고 해석 가능한 FER 시스템을 구축하는 기술적 패러다임을 제공하며, 이는 단독 모델 추론보다 상당한 이득을 보여주는 경험적 결과로 검증되었다.

저자들은 현재의 정확도가 절대적인 최상위 특화 CNN을 넘어서지는 못하더라도, 본 프레임워크가 예측 신뢰도, 구조적 해석 가능성, 그리고 정서 컴퓨팅(affective computing) 분야에서 시너지 효과를 낼 수 있는 거대 모델 응용의 잠재력 측면에서 명확한 우위를 점하고 있다고 결론짓는다.