1. 문제 정의 (Problem Definition)

동적인 인간 얼굴을 이미지 시퀀스 (영상) 에서 정확하게 재구성하고 추적하는 것은 컴퓨터 비전의 핵심 과제이나, 다음과 같은 어려움으로 인해 해결이 난해합니다.

• 비강체 변형 (Non-rigid Deformations): 표정 변화와 머리의 움직임이 동시에 발생하여 기하학적 구조가 복잡하게 변형됩니다.
• 모호성 (Ambiguity): 다양한 시점 (Viewpoint) 과 표현 (Expression) 에서 기하학적 구조와 점 대응 (Correspondence) 추정이 모호해집니다.
• 기존 방법의 한계:
  • 기하학적 정밀도 vs. 일관성: 기존 방법들은 정밀한 기하학적 재구성을 하거나 시간적 일관성 있는 추적을 하는 데는 능하지만, 두 가지를 동시에 만족시키지 못합니다.
  • 운동 기반 접근법의 비효율성: 프레임 간 운동 (Motion) 이나 변형 필드 (Deformation Field) 를 예측하는 방식은 학습이 어렵고, 긴 시퀀스나 복잡한 운동에서 불안정하며 계산 비용이 높습니다.
  • 파라미터적 모델의 제약: 3DMM 과 같은 파라미터적 모델은 세부적인 주름이나 머리카락 같은 고주파 기하학적 디테일을 표현하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 **"Face Anything"**이라는 통합된 4D 얼굴 재구성 및 밀집 추적 (Dense Tracking) 방법을 제안합니다. 핵심 아이디어는 캐논ical 얼굴 좌표 (Canonical Facial Coordinates) 예측을 통한 캐논ical 맵 (Canonical Map) 예측입니다.

2.1 핵심 개념: 캐논ical 맵 예측

• 기존에는 프레임 간 운동 벡터를 예측하는 대신, 각 픽셀이 **공유된 캐논ical 공간 (Normalized Pose & Expression Space)**에서의 얼굴 좌표를 갖도록 매핑합니다.
• 이 접근법은 밀집 추적 문제를 "캐논ical 공간에서의 재구성 문제"로 변환합니다.
• 장점: 캐논ical 기하학은 자세와 표정에 관계없이 구조적으로 유사하므로 학습이 용이하며, 시간적 일관성을 자연스럽게 보장합니다.

2.2 아키텍처 (Architecture)

• Transformer 기반 단일 모델: 입력 이미지 시퀀스를 받아 깊이 (Depth), 레이 맵 (Ray Maps), **캐논ical 맵 (Canonical Maps)**을 동시에 예측하는 단일 순방향 (Feed-forward) 모델을 사용합니다.
• DA3 및 DPT 활용: Depth Anything 3 (DA3) 의 구조를 기반으로 하며, 캐논ical 예측을 위해 DPT (Dense Prediction Transformer) 헤드를 통합했습니다.
• 대응 관계 추정 (Correspondence Estimation):
  • 두 이미지 $I_i$와 $I_j$ 간의 픽셀 대응 관계는 캐논ical 공간에서의 **최근접 이웃 탐색 (Nearest-Neighbor Search)**을 통해 구합니다.
  • $q = \arg \min_{q' \in \Omega_j} \| C_i(p) - C_j(q') \|_2$
  • 이 방식은 운동 기반 방법보다 훨씬 효율적이며, 단일 Forward Pass 로 높은 정밀도의 대응 관계를 생성합니다.

2.3 데이터셋 구축 (Dataset Creation)

• 문제: 캐논ical 대응 관계에 대한 밀집 지도 (Dense Supervision) 가 기존 데이터셋에 부재합니다.
• 해결: NeRSemble 데이터셋을 기반으로 한 새로운 데이터셋을 구축했습니다.
  1. COLMAP을 사용하여 다중 뷰 (Multi-view) 에서 정밀한 3D 점 구름 (Point Cloud) 을 재구성합니다.
  2. FLAME 파라미터적 모델을 사용하여 각 프레임의 트래킹을 수행하고, 이를 기준으로 재구성된 점들을 캐논ical FLAME 좌표계로 변환 (Canonicalization) 합니다.
  3. 이 과정을 통해 기하학적 디테일 (COLMAP) 과 구조적 일관성 (FLAME) 을 모두 갖춘 지도 데이터를 생성합니다.

2.4 학습 전략

• 2 단계 학습:
  1. Pre-training: DAViD 데이터셋을 사용하여 얼굴 기하학적 사전 지식 (Priors) 을 학습합니다.
  2. Fine-tuning: 새로 구축한 NeRSemble 기반 데이터셋을 사용하여 캐논ical 맵 예측과 깊이 예측을jointly 학습합니다.
• 샘플링 전략: 다중 뷰 (동일 시간, 다른 카메라) 와 단일 뷰 (다른 시간, 동일 카메라) 를 교차하여 학습시켜 재구성과 추적 모두에 대한 일반화 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 통합된 4D 재구성 및 추적 방법론: 깊이, 레이, 캐논ical 맵을 동시에 예측하는 Transformer 기반 모델을 제안하여, 단일 모델로 시간적 일관성이 있는 4D 재구성과 밀집 추적을 가능하게 했습니다.
2. 대규모 동적 3D 얼굴 데이터셋: 다중 뷰 재구성과 FLAME 트래킹을 결합하여 캐논ical 대응 관계가 포함된 대규모 학습 데이터셋을 구축했습니다.
3. State-of-the-Art 성능: 얼굴 깊이 추정, 4D 재구성, 3D 점 추적 등 모든 태스크에서 기존 최첨단 방법 (SOTA) 보다 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 정량적 성능:
  • 대응 관계 오차: 기존 방법 (V-DPM 등) 대비 약 3 배 낮은 대응 관계 오차 (Correspondence Error) 를 기록했습니다.
  • 깊이 정확도: 깊이 추정 정확도가 16% 향상되었습니다.
  • 추적 정확도: VFHQ 및 NeRSemble 데이터셋에서 2D/3D 추적 오차 (EPE) 가 가장 낮았으며, 장기간 (Long-term) 추적에서도 안정적인 성능을 보였습니다.
• 효율성:
  • 추론 속도: 기존 동적 재구성 방법 (V-DPM) 대비 약 32 배 더 빠른 추론 속도를 보입니다 (V-DPM: 160 초 vs Face Anything: 5 초).
  • 메모리 효율성: GPU 메모리 사용량이 현저히 낮아 더 많은 이미지를 배치 (Batch) 처리할 수 있습니다.
• 정성적 결과: 표정 변화, 극단적인 시점, 머리카락 등 미세한 구조에서도 기하학적 디테일과 일관된 추적 궤적을 잘 복원합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: "운동 (Motion)"을 직접 예측하는 대신 "캐논ical 공간 (Canonical Space)"으로의 매핑을 학습함으로써, 비강체 객체 추적의 복잡성을 크게 줄이고 안정성을 확보했습니다.
• 실용성: 단일 모델로 재구성과 추적을 동시에 수행하며, 추론 속도가 빠르고 메모리 효율이 높아 실시간 애플리케이션 (가상 아바타, 텔레프레즌스, 애니메이션 등) 에 적용하기 용이합니다.
• 한계 및 향후 과제: 현재는 얼굴에 특화되어 있어 얼굴이 아닌 객체 (마이크, 손 등) 가 포함된 장면에서는 오작동할 수 있으며, 극심한 가려짐 (Occlusion) 에는 취약합니다. 향후 얼굴 외의 영역으로 확장하거나 생성 모델과 결합하는 방향으로 연구가 진행될 것으로 기대됩니다.

이 논문은 Face Anything을 통해 동적 얼굴 이해를 위한 새로운 표준을 제시하며, 캐논ical 맵 예측이 4D 재구성의 강력한 기반이 될 수 있음을 입증했습니다.