AffectNet+: A Database for Enhancing Facial Expression Recognition with Soft-Labels

기술 요약: AffectNet+: 소프트 레이블을 통한 얼굴 표정 인식 향상을 위한 데이터베이스

문제 정의
자동화된 얼굴 표정 인식(Facial Expression Recognition, FER)은 클래스 내 변이(단일 감정의 다양한 발현)와 클래스 간 유사성(서로 다른 감정 간의 중첩되는 얼굴 근육 활성화)으로 인해 상당한 어려움에 직면해 있습니다. 이러한 문제는 단일 이미지가 불연속적인 범주가 아닌 혼합된 감정을 전달하는 "복합 표현(compound expressions)"에 의해 더욱 심화됩니다. AffectNet과 같은 기존 FER 데이터셋은 "하드 레이블(hard-labels)"에 의존하여 각 이미지에 단일한 이산적 감정 범주를 할당합니다. 이러한 접근 방식은 혼합된 감정의 미묘한 차이를 무시하고 인간 주석 작업에 내재된 불확실성을 간과하며, 이는 종종 노이즈가 있는 레이블과 편향된 모델로 이어집니다. 또한, 현재의 데이터셋은 종합적인 메타데이터(예: 연령, 성별, 인종, 머리 포즈)가 부족한 경우가 많으며, "인 더 와일드(in-the-wild)" 환경에서 표정을 인식하는 데 따른 다양한 난이도 수준을 고려하지 못합니다.

저자들은 하드 레이블을 **소프트 레이블(soft-labels)**로 대체하는 Soft-FER라는 새로운 프레임워크를 제안합니다. 소프트 레이블은 단일 얼굴 이미지에 여러 감정 범주가 동시에 존재하는 정도를 나타내는 확률 점수 벡터로 정의됩니다. AffectNet+ 데이터셋을 위해 이 레이블들을 생성하기 위해, 저자들은 높은 신뢰성을 보장하기 위해 최소 2명 이상의 인간 주석가가 라벨링한 36,000장의 이미지를 포함하는 다중 주석 세트(Multi-Annotated Set, MAS)를 활용했습니다.

소프트 레이블 생성 과정은 두 가지 뚜렷한 딥러닝 방법을 사용합니다:

1. 앙상블 이진 분류기 (Ensemble of Binary Classifiers, EBC): 이 접근 방식은 하나의 감정 클래스에 대해 일대다(one-vs-rest) 방식으로 8개의 이진 분류기를 훈련시키며, 이를 위해 ResNet-50, EfficientNet-B3, XceptionNet의 세 가지 서로 다른 아키텍처 앙상블을 사용합니다. 훈련 중 클래스 불균형을 처리하기 위해, 저자들은 감정 간의 액션 유닛(Action Units, AU) 상관관계에 기반한 특정 네거티브 샘플링 전략을 제안했습니다. 각 감정에 대한 최종 시맨틱 점수는 세 분류기의 확률 출력을 각각의 신뢰도 점수(평균 정확도)에 따라 가중치를 두어 합산함으로써 계산됩니다.
2. 액션 유닛(AU) 기반 분류기: 이 방법은 감정적 얼굴 행동 코딩 시스템(EMFACS)을 활용합니다. 멀티 헤드 ResNet-50 모델이 이진 분류와 21차원 AU 표현 벡터 예측을 동시에 수행하도록 훈련됩니다. 모델은 각 감정과 관련된 특정 AU 조합을 학습합니다. 최종 확률은 이진 분류 출력과 예측된 AU 벡터와 각 감정 클래스의 정답(ground-truth) AU 벡터 사이의 유사도 점수를 결합하여 도출됩니다.

각 이미지에 대한 최종 소프트 레이블 벡터는 EBC와 AU 기반 분류기에서 생성된 시맨틱 점수의 평균입니다.

생성된 소프트 레이블과 원래의 인간 할당 하드 레이블 간의 정렬을 기준으로, AffectNet+ 데이터셋은 세 가지 하위 집합으로 분할됩니다:

• Easy (쉬움): 하드 레이블이 소프트 레이블 벡터에서 가장 높은 확률을 가진 감정과 일치하는 경우.
• Challenging (도전적): 하드 레이벨이 소프트 레이블 벡터의 상위 3개 확률 내에 있지만, 가장 높은 확률은 아닌 경우.
• Difficult (어려움): 하드 레이블이 소프트 레이블 벡터의 상위 3개 확률 내에 나타나지 않는 경우.

또한, 저자들은 사전 훈련된 딥러닝 모델을 사용하여 연령, 성별, 인종, 머리 포즈 및 두 세트의 얼굴 랜드마크(68포인트 및 28포인트)를 추가함으로써 데이터셋의 메타데이터를 업데이트했습니다.

주요 기여

• 소프트 레이블의 도입: 본 논문은 얼굴 표정 데이터셋을 위한 소프트 레이블의 개념을 도입하여, 복합 감정과 변화하는 강도를 포착하는 보다 현실적이고 다차원적인 표정 묘사를 제공합니다.
• AffectNet+ 데이터셋: 저자들은 AffectNet을 기반으로 구축된 차세대 데이터셋인 AffectNet+를 제시합니다. 여기에는 모든 이미지에 대한 소프트 레이블, 세 가지 난이도 기반 하위 집합(Easy, Challenging, Difficult), 그리고 풍부한 메타데이터(인구통계학적 정보, 포즈, 랜드마크)가 포함되어 있습니다.
• 새로운 레이블링 방법론: 본 논문은 소프트 레이블 계산을 위한 두 가지 자동화된 방법(EBC 및 AU 기반 분류기)을 제안하고 검증하여, 수동 다중 주석 작업에 소요되는 높은 비용과 시간을 해결합니다.
• 주관적 평가: 6명의 참가자가 참여한 인간 연구를 통해, 소프트 레이블이 하드 레이블보다 얼굴 표정을 설명하는 데 선호되며, 인간이 정확한 소프트 레이블을 무작위 레이블과 신뢰성 있게 구별할 수 있음을 입증했습니다.

실험 결과

• 레이블 생성: EBC 모델은 모든 감정 클래스에 대해 높은 평균 정확도(앙상블 구성에 따라 약 78%에서 93% 사이)를 달 기록했습니다. 앙상블은 개별 모델에 비해 표준 편차를 크게 감소시켰습니다. AU 기반 분류기는 대부분의 감정에 대해 강력한 성능을 보였으나, AU 중첩이 높은 공포(Fear)와 분노(Anger)에서는 어려움을 겪었습니다.
• 베이스라인 성능 (Hard-FER): 하드 레이블로 훈련된 베이스라인 ResNet-50 모델은 "Easy" 집합에서 85.86%의 정확도를 달성했으나, "Challenging" 집합에서는 51.62%, "Difficult" 집합에서는 34.34%로 크게 하락했습니다. 모델은 유사한 감정 간(예: 경멸 vs 중립/행복, 혐오 vs 분노)에 높은 혼동을 보였습니다.
• 베이스라인 성능 (Soft-FER): 소프트 레이블을 사용하여 평가했을 때, 베이스라인 모델은 "Easy" 집합에서 "Difficult" 집합보다 낮은 가중 평균 절대 오차(W-MAE)와 가중 실패율(W-FR)을 보였습니다. 특히, Soft-FER는 각 감정 클래스를 단일한 이산적 선택으로 강제하는 대신 독립적으로 처리함으로써, Hard-FER와 비교하여 중립(Neutral)과 경멸(Contempt) 사이의 혼동을 줄였습니다.
• 인간 평가: 주관적 테스트에서 65%의 참가자가 이미지를 설명하는 데 하드 레이블보다 소프트 레이블을 선호했으며, 81%가 무작위 대안에 대해 정확한 소프트 레이블을 올바르게 식별할 수 있었습니다.

의의 및 주장
본 논문은 AffectNet+가 소프트 레이블을 통해 얼굴 표정의 더 미묘한 표현을 제공함으로써 기존 FER 데이터셋의 한계를 해결한다고 주장합니다. 얼굴 표정이 흔히 복합적인 감정과 다양한 강도를 포함한다는 점을 인정함으로써, 이 데이터셋은 더 부드러운 결정 경계를 가진 모델 개발을 가능하게 합니다. 저자들은 AffectNet+가 다음과 같은 분야의 연구를 촉진할 것이라고 상정합니다:

• FER에서의 불확실성 정량화.
• 여러 표정을 동시에 예측할 수 있는 다중 레이블링 모델 개발.
• 노이즈가 있는 레이블 및 불균형한 데이터 분포의 영향 완화.
• 풍부한 메타데이터를 통한 모델 해석 가능성 및 일반화 능력 향상.
• 메타데이터를 통한 도메인 적응 및 자기 지도 학습 지원.

저자들은 결론적으로 AffectNet+가 이전의 하드 레이블 데이터셋보다 인간의 감정 표현의 복잡성을 더 잘 반영하는 자원을 제공함으로써, 감성 컴퓨팅(affective computing) 분야에서 중요한 진전을 이루었다고 밝힙니다.