PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

기술 요약: 얼굴 표정 인식에서의 신경망 개인화를 위한 PriorProbe

문제 정의
인공지능을 개별 사용자에게 적응시키는 것은 개인화된 의사결정을 위해 매우 중요하지만, 개인 특유의 행동을 포착하는 것은 여전히 큰 과제로 남아 있다. 최첨단 심층 신경망(DNN)은 평균적인 인간의 행동을 예측할 수는 있지만, 대인 간 변동성이 큰 미묘하거나 모호한 얼굴 표정에 관한 개인적 지각 판단을 포착하는 데는 어려움을 겪는다.

형식적으로, 얼굴 표정 인식은 베이즈 추론으로 모델링될 수 있다: $P(e|f) \propto P(e)P(f|e)$, 여기서 $P(e)$는 정서 상태에 대한 개인의 사전 믿음(prior belief)이고, $P(f|e)$는 정서 $e$가 주어졌을 때 관찰된 표정 $f$의 가능도(likelihood)이다. 자극이 모호할 때, 가능도 항은 정보력이 낮아지며, $P(e)$에서의 개인차 가 추론을 지배하게 된다. 기존의 DNN 개인화 방법들은 두 가지 근본적인 장애물에 직면해 있다:

1. 데이터 희소성: 개인 수준의 데이터로 학습하는 것은 대규모의 대표성 있는 데이터셋이 필요하기 때문에 비용이 많이 들고 실행 불가능한 경우가 많다.
2. 모델 성능 저하: 희소하고 노이즈가 많은 개인 데이터를 사용하여 DNN을 미세 조정(fine-tuning)하면 과적합(overfitting) 및 학습된 표현의 파괴적 망각(catastrophic forgetting)의 위험이 있다.

또한, 사전 확률(priors)을 이끌어내기 위한 전통적인 인지 과학 방법들은 이를 고유하게 식별하지 못하거나, 가능도 함수를 자유 매개변수 또는 임의의 매핑으로 취급함으로써 체계적인 편향을 유발할 수 있다.

방법론
저자들은 **MCMCP(Markov Chain Monte Carlo with People)**에 기반한 새로운 추출 방식인 PriorProbe를 소개한다. 매개변수 수준의 개인화(예: 가중치 미세 조정)와 달리, PriorProbe는 신경망의 가중치를 수정하지 않고도 신경망의 추론 공간에 정보를 제공할 수 있도록 세밀하고 개인 특유적인 인지적 사전 확률(priors)과 가능도(likelihoods)를 복구한다.

이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. DistFace (분리된 정서-정체성 공간):
   편향되지 않은 샘플링을 가능하게 하기 위해, 저자들은 얼굴의 정서(affect)가 얼굴의 정체성(identity)으로부터 분리된 제어된 생성 공간을 구축했다.

• 구조: 다음을 포함하는 하이브리드 변이형 오토인코더(VAE):
  • 인코더: 세 개의 사전 학습된 브랜치가 특징을 추출한다: ResEmoteNet(표정), FMAE-IAT(액션 유닛, 정체성 적대적 특징), ArcFace(정체성).
  • 잠재 공간: 이러한 특징들은 서로 다른 하위 잠재 공간($V_{af}$는 정서, $V_{id}$는 정체성)으로 매핑된다.
  • 디노이징: 디노이징 오토인코더가 128차원의 정서 공간을 효율적인 샘플링을 위한 16차원의 순수 정서 공간으로 압축한다.
• 학습: 모델은 재구성(reconstruction), 정체성 보존(identity-preservation), 정서 보존(affect-preservation) 손실을 사용하여 BU-4DFE 데이터셋에서 학습되었으며, 이를 통해 정서 브랜치는 표정을 구동하고 정체성 브랜치는 정체성을 구동하도록 보장한다.

2. PriorProbe 추출 절차:
   PriorProbe는 인간이 참여하는 블록 메트로폴리스-헤이스팅스(block Metropolis–Hastings) 알고리즘 내에서 16차원 정서 공간 내에서 작동한다. 이는 개인의 가능도 $P(f|e)$와 사전 확률 $P(e)$를 공동으로 샘플링하기 위해 두 가지 유형의 실험을 교대로 수행한다:

• 얼굴 실험 (Face Trials): 참가자에게 정서 범주 $e$와 두 가지 얼굴 옵션($f, f'$)을 보여준다. 참가자는 해당 범주를 가장 잘 나타내는 얼굴을 선택한다. 샘플링을 가속화하기 위해, "게이트키퍼(Gatekeeper)"인 ResEmoteNet이 목표 범주에 속할 가능성이 높은 얼굴을 제안하는 독립 메트로폴리스-헤이스팅스(IMH) 기법이 사용된다.
• 범주화 실험 (Categorization Trials): 참가자에게 얼굴 $f$와 두 가지 정서 범주($e, e'$)를 보여준다. 참가자는 최적의 설명을 선택한다. 범주에 대한 제안 분포 또한 게이트키퍼에 의해 유도된다.
• 복구: 결과적으로 생성된 마르코프 체인은 결합 분포 $\pi(f, e)$로 수렴한다. 개인의 사전 확률 $P(e)$는 샘플링된 범주를 $1/G_e(e|f)$로 재가중함으로써 복구되는데, 여기서 $G_e$는 게이트키퍼의 확률 할당이며, 이는 제안 편향(proposal bias)을 효과적으로 교정한다.

3. 통합 및 평가:
   복구된 개인별 사전 확률은 상태가 좋은 DNN(ResEmoteNet)과 함께 추론 공간 내에서 통합된다. 시스템은 새로운 모호한 자극(DNN의 신뢰도가 <0.25인 이미지)을 분류하는 과업을 통해 평가된다. 목표는 개인의 사전 확률을 포함하는 것이 정답 레이블에 대한 성능을 저하시키지 않으면서, 모호한 자극에 대해 인간의 분류와 모델의 정렬을 개선하는지 결정하는 것이다.

주요 기여

• PriorProbe 프레임워크: 방대한 개인별 데이터셋이나 가중치 수정 없이도 세밀하고 개인 특유적인 정신적 표현(사전 확률 및 가능도)을 효율적으로 복구하는 일반적이고 해석 가능한 방법론을 제공한다.
• DistFace 데이터셋/모델: 얼굴의 정서와 정체성을 분리하여, 얼굴 표정 과업에서 편향 없는 사전 확률 추출에 필수적인 "순수 정서 공간"을 제공하는 생성 모델이다.
• 경험적 검증: 모호한 자극에 대해 신경망 단독 모델이나 다른 사전 확률원을 사용하는 모델보다 개인의 선택을 더 잘 예측하는, 사전 확률 정보가 반영된 신경망을 입증하는 종합적인 인간 실험을 수행하였다.

결과
55명의 참가자를 대상으로 한 실험에서 저자들은 7가지 기본 정서에 대한 개인별 사전 확률을 복구하였다.

• 개인차: 복구된 사전 확률은 참가자들 사이에 상당한 이질성을 보였으며, 이는 개인이 정서 범주에 대해 뚜렷한 인지적 편향을 가지고 있음을 확인시켜 준다.
• 성능 향상: PriorProbe로부터 도출된 사전 확률을 신경망에 통합했을 때, 모호한 자극에 대한 개인의 분류를 예측하는 데 있어 상당한 성능 향상이 나타났다.
• 강건성: 개인화를 통해 정답(ground-truth) 자극에 대한 모델의 추론 성능을 저하시키지 않으면서도 개인의 판단과 일치도를 높였다.

의의 및 주장
본 논문은 딥러닝 모델을 개인화하기 위한 일반적이고, 해석 가능하며, 강건한 프레임워크를 제공한다고 주장한다. 매개변수 수준의 적응에서 인지적 사전 확률의 복구로 초점을 전환함으로써, PriorProbe는 데이터 희소성과 파괴적 망각의 한계를 해결한다. 저자들은 이 접근 방식이 특히 개인의 지각적 차이가 중요하여 표준 모델이 포착하지 못하는 얼굴 표정 인식과 같은 영역에서, 진정으로 개인화된 지원을 제공하는 디지털 시스템을 개발하기 위한 원칙적인 경로를 제시한다고 주장한다. 이 연구는 개인 수준의 인지적 사전 확률이 정확하게 추출될 수 있으며, 특정 사용자를 위한 AI 시스템의 예측력을 높이기 위해 효과적으로 활용될 수 있음을 입증한다.