1. 문제 정의 (Problem Statement)

기존의 인간 머리 (Head) 추적 및 모델링 방법은 주로 희소 (Sparse) 한 얼굴 랜드마크나 **매개변수형 3D 모델 (3DMM)**에 의존합니다.

• 한계점: 이러한 방법들은 눈, 코, 입 등 명확한 랜드마크에는 효과적이지만, 머리카락, 액세서리, 의상 등 비정형적인 특징이나 심한 가림 (Occlusion), 극단적인 자세 변화에는 취약합니다.
• 결과: 랜드마크가 가려지거나 모델의 기하학적 범위를 벗어날 경우 추적 실패나 큰 오차가 발생합니다.
• 목표: 얼굴의 모든 부분 (피부, 머리카락, 액세서리 포함) 을 아우르는 고밀도 (Dense) 대응 관계를 학습하여, 다양한 자세와 가림 조건에서도 강인한 3D 일관성을 가진 표현을 만드는 것입니다.

2. 제안 방법: DenseMarks (Methodology)

저자들은 각 픽셀마다 3D 정규화된 공간 (Canonical Space) 내의 위치를 예측하는 DenseMarks라는 새로운 학습된 표현을 제안합니다.

2.1 아키텍처 및 표현 (Representation)

• Canonical Space (정규화 공간): 입력 이미지를 3D 단위 정육면체 (Unit Cube) 내의 좌표로 매핑합니다. 이 공간은 해석 가능하고 (Interpretable), 구조화되어 있으며, 머리 전체 (머리카락 포함) 를 포함하도록 설계되었습니다.
• Embedder Network: Vision Transformer (ViT) 백본 (DINOv3 기반) 을 사용하여 입력 이미지의 각 픽셀에 대해 3D 좌표 벡터를 예측합니다.
• Latent Grid: 정육면체 내부의 각 보크셀 (Voxel) 위치에는 학습 가능한 D 차원의 잠재 특징 (Latent Feature) 이 저장된 행렬 $E$가 존재합니다. 예측된 3D 좌표는 삼선형 보간 (Trilinear Interpolation) 을 통해 이 잠재 특징을 조회하여 의미론적 특징 (Semantic Features) 을 추출합니다.

2.2 학습 전략 (Training Strategy)

정밀한 고밀도 대응 관계의 Ground Truth 가 부족하므로, 다음과 같은 준지도 학습 (Semi-supervised) 방식을 사용합니다.

1. 데이터 수집: CelebV-HQ 와 같은 자연계 (In-the-wild) 대화형 비디오 데이터셋을 사용하며, 오프더셸 포인트 트래커 (CoTracker3) 를 통해 프레임 간 2D 포인트 매칭을 자동으로 생성합니다.
2. 손실 함수 (Loss Functions):
   • Contrastive Loss: 같은 의미의 포인트 (매칭된 점들) 가 정규화 공간에서 가까운 위치에 오도록 유도합니다 (CLIP Loss 유사).
   • Landmark Loss: 표준 300W 포맷의 68 개 얼굴 랜드마크가 정육면체 내 미리 정의된 위치에 오도록 제약합니다.
   • Segmentation Loss: 얼굴 파싱 (Face Parsing) 정보를 활용하여 의미론적 영역 (피부, 눈, 입 등) 이 공간 내에서 일관되게 매핑되도록 합니다.
   • Spatial Smoothness: 잠재 특징 그리드에 3D 가우시안 필터를 적용하여 인접한 점들의 특징이 부드럽게 변하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 고밀도 의미론적 대응 관계: 머리카락과 액세서리를 포함한 인간 머리의 전체 영역에 대해 강인한 고밀도 대응 관계를 학습했습니다.
2. 해석 가능한 3D 정규화 공간: 단순한 특징 벡터가 아닌, 3D 단위 정육면체 내의 좌표로 표현되어 사용자가 특정 부위 (예: 왼쪽 귀, 이마) 를 직접 조회 (Query) 하여 대응점을 찾을 수 있습니다.
3. 강인한 추적 및 재구성: 심한 가림, 극단적인 자세, 다양한 조명 조건에서도 안정적인 단안 (Monocular) 추적과 스테레오 재구성을 가능하게 합니다.
4. VFM 기반의 효율성: 대규모 사전 학습된 비전 모델 (VFM) 의 강점을 활용하면서도, 3D 기하학적 일관성을 위해 미세 조정 (Fine-tuning) 하여 고차원 특징보다 더 효율적인 저차원 (3D) 임베딩을 달성했습니다.

4. 실험 결과 (Results)

저자들은 Nersemble 데이터셋 등을 사용하여 다양한 벤치마크에서 기존 방법 (DINOv3, Sapiens, CSE, 3DMM 기반 방법 등) 과 비교했습니다.

• 포인트 쿼리 (Point Querying): 머리카락, 귀, 이마 등 명확하지 않은 부위의 대응점을 찾는 데 있어 기존 방법들보다 월등히 높은 정확도 (MAE 3.68 vs Baseline 7.60 이상) 를 보였습니다.
• 고밀도 워핑 (Dense Warping): 소스 이미지의 픽셀을 타겟 이미지의 대응점에 매핑할 때, 의미론적 일관성이 뛰어나고 아티팩트가 적었습니다. (기존 방법들은 색상 유사성에 의존하거나 기하학적 왜곡이 발생함).
• 단안 추적 (Monocular Tracking): 기존 3DMM 기반 추적기 (VHAP) 에 DenseMarks 임베딩을 추가한 결과, 극단적인 자세와 가림 상황에서 추적 실패율이 크게 감소하고 정렬 정확도가 향상되었습니다.
• 스테레오 재구성: 여러 뷰의 임베딩을 삼각측량하여 3D 구조를 재구성하는 데 성공했습니다.
• 강인성 분석: 포인트 트래커의 노이즈 (가우시안 노이즈, 트랙 누락) 에 대해 기존 방법들보다 훨씬 더 강인한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 완전한 머리 모델링: 기존 3DMM 이나 랜드마크 기반 방법이 다루지 못했던 머리카락과 액세서리까지 포함하는 '완전한' 머리 표현을 가능하게 하여, AR/VR, 영화 제작, 텔레커뮤니케이션 분야에서 더 높은 품질의 인간 모델링을 지원합니다.
• 실용성: 고해상도 3D 모델 데이터가 부족한 인간 머리 분야에서, 비디오 기반의 포인트 트래킹을 통해 고품질의 대응 관계를 학습할 수 있는 새로운 패러다임을 제시했습니다.
• 확장성: 이 방법은 얼굴뿐만 아니라 신체의 다른 부분이나 다른 객체 (의자 등) 로도 확장 가능함을 실험을 통해 보였습니다.

결론적으로, DenseMarks 는 기하학적 일관성과 의미론적 이해를 결합한 새로운 3D 정규화 공간을 통해 인간 머리 추적 및 재구성 분야에서 State-of-the-Art 성능을 달성한 획기적인 연구입니다.