FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

기술 요약: FIELDS

문제 정의
단안 3D 얼굴 재구성(Monocular 3D face reconstruction)은 단일 이미지로부터 3D 변형 가능한 모델(3DMM) 표현을 추정하는 것을 목표로 하며, 이는 얼굴 표정 인식(FER) 및 정동 이해(affect understanding)에 유용한 기하학적 인지 표현 코드를 제공한다. 현재의 파이프라인들은 상당한 진전을 이루었으나, 주로 이미지 수준의 자기 지도 학습(재구성 일관성)을 통해 학습되고 기하학적 충실도(geometric fidelity)를 기준으로 평가된다. 저자들은 이러한 접근 방식이 학습된 표정 표현의 "정동적 효용성(affective utility)"을 반드시 극대화하는 것은 아니라고 주장한다. 또한, 정동 감독(affect supervision)을 이미지 수준의 일관성 손실과 무분별하게 결합하면, 모델이 감정 제약 조건을 만족시키기 위해 과장된 표정을 생성하여 기하학적 타당성을 해치는 "강도 증폭 지름길(intensity-amplifying shortcuts)"을 유발할 수 있다. 이 간극을 메우려는 기존 방법들은 약한 이미지 수준의 감정 일관성 손실이나 외부의 사전 학습된 감정 모듈에 의존하는 경우가 많으며, 이는 정동 포착과 그럴듯한 이미지 렌더링 사이의 절충(trade-off)을 초래할 수 있다.

방법론: FIELDS
본 논문은 정동적 효용성과 기하학적 타당성 사이의 긴장을 해결하기 위해 설계된 작업 중심 프레임워크인 FIELDS(Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision)를 제안한다. FIELDS는 하이브리드 2D/3D 감독을 도입함으로써 TEASER의 자기 지도 단안 3D 얼굴 재구성 파이프라인을 확장한다.

아키텍처는 다음과 같이 구성된다:

1. 인코더(Encoder): 형상($\beta$), 표정($\Psi$), 포즈($\Theta$) 파라미터와 외관 토큰을 예측하는 FLAME 기반 인코더.
2. 신경 합성기(Neural Synthesizer): FLAME 메쉬, 배경 마스크, 외관 토큰으로부터 이미지를 재구성하는 토큰 가이드 합성기.
3. 보조 감정 헤드(Auxiliary Emotion Head): FLAME 파라미터로부터 연속적인 밸런스-각성(valence-arousal) 점수와 이산적 감정 범주를 직접 예측하도록 공동 학습되는 경량 MLP.

핵core 혁신은 **하이브리드 감독 전략(Hybrid Supervision Strategy)**에 있다:

• 스캔 유도 표정 앵커링(Scan-Derived Expression Anchoring): 표정 기하 구조를 안정화하고 강도 증폭을 방지하기 위해, 프레임워크는 제한된 "피팅 유도(fit-derived)" 타겟을 사용한다. 구체적으로, FLAME 표정 파라미터를 BP4D 3D 스캔 데이터에 피팅한다. 이러한 스캔 유도 파라미터는 MSE 손실($L_{3D-expr}$)을 통해 표정 인코더를 위한 직접적인 앵커 역할을 한다.
• 직접 파라미터 공간 정동 감독(Direct Parameter-Space Affect Supervision): 이미지 수준의 감정 일관성에 의존하는 대신, FIELDS는 3DMM 파라미터 공간에서 직접 감독을 적용하는 보조 감정 인식 헤드를 도입한다. 이 헤드는 회귀(밸런스-각성용)와 분류(이산 감정용) 손실의 조합($L_{emo}$)을 사용하여 학습된다. 이는 렌더링된 이미지와 실제 이미지 간의 지각적 비교에 의존하지 않고도 표정 코드가 정동 정보를 담도록 독려한다.
• 2D 일관성: 프레임워크는 재구성된 이미지가 시각적으로 타당함을 보장하기 위해 표준 2D 일관성 손실(광도, 지각 및 랜드마크 기반)을 유지한다.
• 정규화(Regularization): 학습된 매니폴드가 안정적으로 유지되도록 MICA와 정렬된 사전 학습된 베이스 모델이 형상 및 표정 파라미터를 정규화하는 데 사용된다.

학습 과정은 인코더 패스(2D 일관성, 3D 표정 앵커링 및 감정 감독 최적화)와 합성기 패스(2D 일관성 및 사이클 일관성을 위해 합성기만 최적화)를 교대로 수행하여, 한 구성 요소가 다른 구성 요소의 오류를 보완하는 것을 방지한다.

주요 기여

1. 프레임워크: 자기 지도 이미지 수준 일관성과 스캔 유도 표정 앵커링, 그리고 3DMM 파라미터 공간에 직접 감독을 적용하는 공동 학습 감정 인식 헤드를 결합한 작업 중심 프레임워크 FIELDS를 제안한다.
2. 스캔 유도 앵커: 직접적인 FLAME 표정 파라미터 감독을 위해 BP4D 데이터셋으로부터 스캔 기반(피팅 유도) 표정 타겟을 도출하여, 강도 증폭 지름길의 위험을 줄인다.
3. 평가: FIELDS가 홀드아웃(held-out) 및 도메인 외(out-of-domain) 벤치마크에서 경쟁력 있는 기하학적 충실도를 유지하면서도 정동 예측(이산 및 연속 모두)을 개선함을 보여주는 종합적인 평가를 제시한다.

결과
저자들은 EMOCA, SMIRK, TEASER와 같은 베이스라인과 비교하여 여러 벤치마크에서 FIELDS를 평가한다.

• 정동적 효용성: AffectNet 데이터셋에서 FIELDS는 이전 방법들을 능가하며 이산 감정 분류(정확도 56.0%)와 밸런스-각성 회귀(0.737 V-CCC) 모두에서 최첨단(SOTA) 결과를 달s성한다.
• 기하학적 타당성: BP4D 데이터셋(홀드아웃 피험자 사용)에서 FIELDS는 재구성 중심 베이스라인들과 대등한 경쟁력 있는 3D 기하학적 충실도(정점 및 키포인트 오차)를 유지한다. 결정적으로, 직접적인 3D 감독이 없는 베이스라인들에 비해 스캔 유도 표정 및 턱 파라미터와의 일치도를 크게 향상시킨다(FLAME 파라미터 MSE를 약 5.9에서 약 0.17으로 감소).
• 외부 검증: RAF-DB(표정 파라미터에 대한 KNN 프로빙 사용)에서 FIELDS는 우수한 전이성(정확도 73.0%)을 보여준다. MultiREX(도메인 외 기하 구조)에서도 기존 베이스라인들과 대등한 수준을 유지하여, 정동적 이득이 일반적인 기하학적 품질의 희생을 통해 얻어진 것이 아님을 확인한다.
• 정성적 분석: 시각적 비교를 통해 FIELDS가 베이스라인들이 흔히 보이는 과도하게 매끄럽거나 과장된 변형과 달리, 입력과 일치하는 국소 기하 구조(예: 미세한 입꼬리 모양, 하안면 긴장도)를 더 잘 보존함을 보여준다.

의의 및 주장
본 논문은 FIELDS가 야생(in the wild) 환경에서도 견고하고 다운스트림 정동 컴퓨팅 애플리케이션에 유용한 FER 준비 완료된 3DMM 표현을 얻기 위한 실질적인 경로를 제공한다고 주장한다. 스캔 유도 앵커와 직접적인 정동 레이블로 3DMM 파라미터를 명시적으로 감독함으로써, FIELDS는 정동을 포착하는 것과 그럴듯한 이미지를 렌더링하는 것 사이의 전통적인 절충안을 우회한다. 저자들은 이 접근 방식이 노이즈 요인(포즈, 조명)에 덜 민감하고 근본적인 얼굴 근육 움직임과 더 잘 정렬된, 정동 정보가 풍부한 표정 표현을 학습한다고 단언한다.

논문은 향-비디오 FER을 위한 시계열 모델링, 더 나열된 데이터셋에 대한 더 나은 견고성을 위한 다중 손실 가중치 전략 탐색, 그리고 사용 가능한 경우 액션 유닛(Action Units)과 같은 추가적인 구조적 사전 지식의 통합 등 향후 연구 과제를 언급하며 겸허하게 결론을 맺는다.