The Circumplex Degeneracy Behind the Rare-Class Limit in Affect Recognition

기술 요약: 희귀 클래스 한계 이면에 숨겨진 원형 구조의 퇴화(Circumplex Degeneracy)

문제 제식 (Problem Statement)
실제 환경(in-the-wild)에서의 얼굴 표정 인식 시스템은 일반적인 감정에 대해서는 사용 가능한 수준의 정확도를 지속적으로 달나지만, 특정 희귀 클래스, 구체적으로 Aff-Wild2에서의 분노(anger)와 공포(fear), 또는 AffectNet에서의 분노(anger)와 경멸(contempt)에 대해서는 지속적인 실패를 보입니다. 기존의 해석은 이를 클래스 불균형 문제로 보고 재가중치 부여(re-weighting), 균형 샘플링(balanced sampling), 또는 포컬 로스(focal loss)와 같은 해결책을 제시해 왔습니다. 그러나 이러한 빈도 기반의 개입은 가장 어려운 클래스의 성능을 개선하는 데 실패했습니다. 본 논문은 이러한 실패가 빈도의 문제가 아니라 **감정 기하학(affect geometry)**의 문제라고 주장합니다. 즉, 희귀 클래스들은 러셀(Russell)의 원형 모델(circumplex model) 상에서 기하학적으로 퇴화(거의 일치)되어 있으며, 이러한 특성이 어떠한 손실 함수나 비용 설계의 효과성에도 한계를 설정한다는 것입니다.

연구 방법론 (Methodology)
저자들은 두 가지 벤치마크(Aff-Wild2 및 AffectNet)를 대상으로 공유 인코더와 작업별 헤드(Valence-Arousal, Expression, Action Units)를 사용하는 통제된 멀티태스크 연구를 수행합니다.

1. 원형 비용 최적 운송(Circumplex-Cost Optimal Transport, OT) 항: 주요 도구는 밸런스-각성(valence–arousal) 평면에서의 유클리드 거리에 따라 표현 혼동(expression confusion)의 가격을 책정하는 구조화된 손실 항입니다. 그 기초가 되는 메트릭은 데이터셋 자체의 VA 주석으로부터 직접 도출되며, 클래스 중심점($\mu_c$)을 계산하고 거리 $D_{cc'} = \|\mu_c - \mu_{c'}\|$를 운송 비용으로 사용합니다.
2. 통제된 비교 (Controlled Comparisons): 성능 향상이 특정 비자명한 페널티의 존재 때문인지, 아니면 구체적인 감정 기하학 때문인지를 격리하기 위해 저자들은 기존 문헌에서 거의 사용되지 않는 두 가지 중요한 통제 변수를 도입합니다.
   • 균일 비용 (Uniform Cost): 구조화된 원형 거리를 상수 값으로 대체하여, OT 항을 일반적인 신뢰도 페널티(confidence penalty)로 축소합니다.
   • 순열 비용 (Permuted Cost): 클래스 인덱스를 섞어서 쌍별 거리의 다집합(multiset)은 유지하되 의미론적 기하학은 파괴합니다.
3. 오류 구조 메트릭 (Error-Structure Metrics): 표준 Macro-F1은 어떤 잘못된 클래스가 예측되었는지는 고려하지 않으므로, 저자들은 기하학을 고려한 메트릭인 오류 심각도(Error Severity)(오분류의 평균 원형 거리), 사분면 보존(Quadrant Preservation), 그리고 **감정 가중 정확도(Affect-Weighted Accuracy)**를 도입합니다.
4. 표현 분석 (Representational Analysis): 연구는 얼굴 자기지도 학습 인코더(FSFM)를 얼굴 시각-언어 인코더(FaRL) 및 일반 시각-언어 모델(SigLIP 2)과 비교하여, 특징 공간이 이미 원형 구조를 인코딩하고 있는지 확인합니다.
5. 액션 유닛(AU) 증강 (AU Augmentation): 저자들은 AU 시그니처를 사용하여 퇴화된 쌍(예: 분노 vs 공포)을 명시적으로 분리하는 지상 비용(ground cost)을 구축함으로써, 더 높은 기하학적 해상도를 가진 비용이 표현의 한계를 극복할 수 있는지 테스트합니다.

주요 결과 (Key Results)

• 점수 향상은 일반적이며, 기하학적이지 않음: 원형 비용 OT 항은 두 데이터셋 모두에서 공식 멀티태스크 점수(PMTL)와 Expression Macro-F1을 개선합니다. 그러나 균일 비용 통제 모델 역시 이러한 이득을 완전히 재현합니다. Aff-Wild2의 경우, 균일 비용은 원형 비용과 통계적으로 구별 불가능했습니다 ($p=0.625$). AffectNet에서는 균일 비용이 원형 비용보다 유의미하게 높은 성능을 보였습니다 (기본 대비 $+0.057$ vs 원형 대비 $+0.052$). 이는 점수 향상이 감정 기하학 자체의 효과가 아니라, 일반적인 신뢰도 페널티를 추가함으로써 나타난 결과임을 시사합니다.
• 오류 구조 형성(Error Shaping)은 데이터셋 의존적임: 점수 향상은 일반적이지만, Aff-Wild2에서는 원형 기하학이 오류 구조를 재편하여 생존한 오류들이 실제 정답에 감정적으로 더 가깝게 만듭니다(낮은 오류 심각도, $p=0.031$). 이러한 효과는 AffectNet에서는 나타나지 않는데, 이는 경멸을 행복으로 오인하는 시각적 혼동(visual confound)이 기하학적 신호를 압도하기 때문입니다.
• 희귀 클래스 한계는 안정적임: 퇴화된 쌍들(Aff-Wild2의 분노-공포; AffectNet의 분노-경멸)은 모든 개입에 저항합니다. 빈도 기반 손실, 운송 항, 심지어 쌍을 성공적으로 분리하는 AU 증강 비용조차 이 클래스들의 F1 점수를 회복하는 데 실패했습니다.
• 표현의 기원 (Representational Origin): 실패의 원인은 **표현(representation)**에 있는 것으로 식별되었습니다. 시각-언어 인코더(FaRL)는 이미 특징 내에 원형 구조를 인코딩하고 있어 기하학적 손실 항이 중복됩니다. 반면, 얼굴 자기지도 학습 인코더(FSFM)는 이러한 정렬이 결여되어 있습니다. 결정적으로, 비용 기하학을 완벽하게 분리 가능하게 만들더라도(AU 시그니처를 통해), 모델은 클래스를 분리할 수 없었습니다. 이는 병목 현상이 손실 가중치가 아닌 특징 표현에 있음을 증명합니다.

핵심 기여 (Key Contributions)

1. 기하학적 효과의 격리: 본 논문은 감정 기하학적 감독의 겉보기 이점이 종종 일반적인 정규화 효과임을 입증합니다. 또한 구조화된 비용 손실을 평가할 때 셔플된 비용(shuffled-cost) 및 균일 비용 통제가 필수적인 표준임을 확립합니다.
2. 희귀 클래스 실패의 진단: 저자들은 희귀한 표정의 지속적인 실패를 **원형 퇴화(circumplex degeneracy)**로 진단합니다. 이 퇴화는 표현의 한계이며, 어떤 비용 설계도 특징 표현이 갖지 못한 분리성을 만들어낼 수 없습니다.
3. 새로운 메트릭 및 통제 도구: 기하학적 오류 형성(geometric error shaping)과 일반적인 정규화 효과를 구분하기 위해 오류 심사도, 사분면 보존, 셔플된 비용 통제를 도입하여, 기하학적 효과가 나타나는 곳과 그렇지 않은 곳을 정직하게 밝혀냈습니다.
4. 표현 분석: 사전 학습 도메인(시각-언어 vs 자기지도 학습) 간의 통제된 비교를 통해, 모델이 감정 기하학을 활용할 수 있는 능력은 사전 학습 도메인이 이미 해당 구조를 인코딩했는지 여부에 달려 있음을 보여줍니다.

의의 및 주장 (Significance and Claims)
본 논문은 희귀한 표정에 대한 진전이 더 나은 손실 함수나 비용 기하학을 통해 혼동의 '가격(repricing)'을 다시 책정함으로써 달성될 수 없다고 결론짓습니다. 대신, 해결책은 클래스를 구별할 수 있는 표현을 만드는 데 있습니다. 저자들은 학계가 기하학적 감독의 성공을 과대평가해 왔으며, 그것이 실제로는 일반적인 페널티 효과인 경우가 많다고 주장합니다. 또한, 희귀 감정 인식의 진정한 장벽은 이러한 클래스들이 특징 공간 내에서 발생하는 기하학적 퇴화로 인해 붕괴되는 것에 있다고 봅니다. 본 연구는 초점을 손실 공학(loss engineering)에서 특징 수준에서 직교하는 신호(예: Action Units)를 융합하는 방식 등, 특징 표현을 발전시키는 방향으로 전환할 것을 권고합니다.