기술 요약: GeoFace

문제 정의

단일 입력으로부터 사진처럼 사실적인 다중 뷰 얼굴 이미지를 생성하는 것은 3D 재구성, 디지털 아바타 및 몰입형 콘텐츠 제작을 위한 핵심적인 과제입니다. 최근의 확산 기반(diffusion-based) 다중 뷰 모델들은 개별 뷰 수준에서는 높은 시각적 충실도를 달eras하지만, 서로 다른 관점 간에 공유된 3D 구조를 강제하는 명시적인 메커니즘이 부족한 경우가 많습니다. 결과적으로, 이러한 모델들은 큰 포즈 변화가 있는 상황에서 기하학적 불일치를 빈번하게 발생시키며, 정체성 저하나 구조적 불일치(예: 코나 턱선의 형태 불일치)와 같은 아티팩트를 초래합니다. 3DMM이나 FLAME과 같은 파라메트릭 모델을 단일 이미지에 피팅하는 기존 방식은 본질적으로 부적정(ill-posed)하며, 피사체 고유의 기하학적 구조보다는 통계적으로 평균화된 구조로 수렴하는 경향이 있습니다. 이와 유사하게, 기하학적 큐(예: 노멀 맵)를 포함하는 외관 중심의 확산 방법론 역시 통합된 공유 3D 표현보다는 뷰별 신호에 의존하기 때문에, 전역적인 기하학적 정렬 문제를 해결하지 못합니다.

방법론

GeoFace는 단일 참조 이미지로부터 다중 뷰 RGB 이미지와 3D 얼굴 기하학을 공동으로 생성하는 **통합 이중 스트림 확산 프레임워크(unified dual-stream diffusion framework)**를 제안함으로써 이러한 한계를 해결합니다.

1. 이중 스트림 아키텍처

GeoFace는 다중 뷰 확산 백본(CAT3D 기반)을 확장하여 단일 U-Net 내에서 두 개의 병렬 스트림을 작동시킵니다:

• 외관 스트림(Appearance Stream): $N-1$개의 새로운 뷰 RGB 이미지를 생성하기 위해 Plücker 레이 임베딩을 조건으로 하여 타겟 뷰 잠재 변수(latents)를 디노이징합니다.
• 기하 스트림(Geometry Stream): FLAME 메쉬 상의 밀집된 3D 표면 좌표를 인코딩하는 **정준 UV 위치 맵(canonical UV position map)**을 나타내는 공유 기하 잠재 변수를 디노이징합니다.

두 스트림은 공유 3D 어텐션 레이어를 통해 상호작용하며, 이를 통해 외관 스트림과 기하 스트림이 디노이징 과정 동안 서로를 상호 제약할 수 있도록 합니다. 이러한 통합은 기하학을 단순한 보조 신호가 아니라 모든 뷰에 걸쳐 공유되는 내재적 표현으로 취급합니다.

2. 기하 표현 및 컨디셔닝

• 정준 UV 위치 맵(Canonical UV Position Map): 3D 기하학은 각 텍셀(texel)이 FLAME 메쉬의 해당 지점에 대한 3D 정준 좌표를 저장하는 $H \times W \times 3$ 그리드 형태의 이미지와 같은 표현으로 나타냅니다. 이 표현은 토폴로지 인식형(topology-aware)이며 뷰 불변(view-invariant)적이어서, 수정 없이 2D 합성곱 아키텍처와 직접 호환됩니다.
• 학습 가능한 카메라 토큰(Learnable Camera Token): 정준 UV 맵은 특정 카메라 뷰포인트에 대응하지 않으므로, 표준 Plücker 레이 임베딩은 학습 가능한 토큰($e_{geo}$)으로 대체됩니다. 이 토큰은 정준 기하를 위한 암시적 위치 임베딩으로서 엔드투엔드(end-to-end)로 최적화되어, 잘못된 뷰포인트 가정을 방지합니다.

3. 기하 가이드 어텐션 정렬 손실(Geometry-Guided Attention Alignment Loss)

기하 스트림과 외관 스트림 간의 3D 일관적인 교차 모달 어텐션을 명시적으로 강제하기 위해, 저자들은 기하 가이드 어텐션 정렬 손실을 도입합니다.

• 이 손실은 FLAME UV 위치 맵과 보정된 카메라 포즈로부터 도출된 3D 일관적 대응 관계를 사용하여 기하 토큰(UV 맵)과 외관 토큰(얼굴 이미지) 사이의 교차 어텐션을 감독합니다.
• 손실은 예측된 어텐션 맵과 실제 대응 관계(3D 위치의 쌍별 L2 거리 기반) 사이의 양방향 교차 엔트로피로 정의됩니다.
• 이 메커니즘은 외관 스트림이 특히 폐쇄되거나 모호한 영역에서 견고한 정렬을 위해 뷰 불변적인 기하학적 큐를 참조하도록 유도하는 동시에, 외관 맥락에 기하 스트림을 접지(grounding)시킵니다.

4. 데이터셋 구축

정준화된 다중 뷰 기하학 감독 신호는 기본적으로 제공되지 않기 때문에, 저자들은 다중 뷰 얼굴 비디오 컬렉션(RenderMe-360 및 NeRSemble v2)으로부터 데이터셋을 구축했습니다. 이들은 VGGTFace 파이프라인을 활용하여 포인트 맵과 UV 좌표를 집계하고, 번들 조정(bundle adjustment)을 통해 이를 정교화한 뒤 프로크루스테스 정렬(Procrustes alignment)을 통해 공유 FLAME 정준 공간으로 매핑하여 뷰 불변 기하 감독 신호를 생성했습니다.

주요 기여

1. 통합 이 Dual-Stream 프레임워크: 공유 어텐션 레이어를 통해 외관과 기하 스트림이 상호작용하여, 생성 과정의 내재적 속성으로서 교차 뷰 기하학적 일관성을 강제하는 새로운 확산 아키텍처를 제안합니다.
2. 기하 가이드 어텐션 정렬: 3D 일관적 대응 관계를 사용하여 교차 모달 어텐션을 감독함으로써 두 스트림이 서로를 상호 제약하도록 보장하는 손실 함수를 도입합니다.
3. 정준 UV 위치 맵: 확산 모델과 네이티브하게 호환되는 FLAME 공간 내의 뷰 불변 기하 표현을 정의하여, 공유 기하 제약 생성을 용이하게 합니다.
4. 실증적 검증: 공동 생성된 기하학이 외관 전용 베이스라인에 비해 시각적 품질과 기하학적 일관성을 모두 크게 향상시킨다는 것을 광범한 실험을 통해 입증했습니다.

실험 결과

GeoFace는 정면에서 측면 뷰 범위에 걸쳐 RenderMe-360 및 NeRSemble v2 데이터셋에 대해 평가되었습니다.

• 정량적 성능: GeoFace는 모든 지표(PSNR, SSIM, LPIPS, 정체성 보존을 위한 Cosine Similarity(CSIM))에서 기존 베이스라인(PanoHead와 같은 NeRF 기반 방법 및 CAP4D, DiffPortrait360, SEVA와 같은 확산 기반 방법 포함)을 일관되게 능가했습니다. 특히, 외관 전용 방법들이 큰 포즈 변화에 어려움을 겪는 측면 뷰에서 성능 격차가 더 커졌습니다.
• 정성적 개선: 이 방법은 큰 포즈 변화 하에서도 얼굴 구조(코, 턱선, 이마)를 더 잘 보존하며 기하학적으로 일관된 결과를 생성했습니다. 또한 외관 전용 모델이 실패하는 자가 폐쇄(self-occlusion) 영역에서의 깊이 모호성을 효과적으로 해결했습니다.
• 다운스트림 유용성: 공동 생성된 기하학은 3D Gaussian Splatting을 위한 효과적인 초기화 사전 정보(prior) 역할을 했습니다. 무작위 또는 COLMAP 기반 초기화와 비교했을 때, 메쉬 기반 초기화는 재구성 과정에서 더 빠른 수렴과 더 낮은 LPIPS를 이끌어냈으며, 이는 생성된 기하학이 다운스트림 3D 작업에 유용함을 보여줍니다.
• 절제 연구(Ablation Studies): 기하 스트림을 제거하거나, 학습 가능한 토큰 대신 고정된 카메라 토큰을 사용하거나, 정렬 손실을 생략하는 경우 모두 측정 가능한 성능 저하를 초래하여 각 구성 요소의 필요성을 확인했습니다.

의의 및 주장

본 논문은 GeoFace가 외관 중심의 생성을 넘어, 생성 과정 중에 기하학적 일관성이 내재적으로 강제되는 프레임워크로 나아감으로써 중요한 진전을 이루었다고 주장합니다. 외관과 정준 기하 표현을 공동으로 모델링함으로써, GeoFace는 특히 큰 뷰포인트 변화가 수반되는 도전적인 시나리오에서 우수한 정체성 보존과 구조적 충실도를 달성합니다. 저자들은 이 접근 방식이 강력한 구조적 사전 정보를 제공함으로써 더 효율적이고 정확한 다운스트림 3D 재구성을 용이하게 한다고 상정합니다.

본 논문은 FLAME를 기하학적 백본으로 사용하는 것에 대한 의존도가 얼굴 표면 외부의 영역(예: 머리카락, 귀)에 대한 표현을 제한할 수 있으며, 이는 복잡한 헤어스타일이나 액세서리를 가진 피사체에 영향을 미칠 수 있다는 한계를 인정합니다. 향-후 연구로는 기하학적 표현을 얼굴 영역 너다로 확장하고, 인 더 와일드(in-the-wild) 이미지에 대한 일반화 성능을 추가로 검증하는 것이 제안되었습니다.