WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering

1. 문제 정의 (Problem Statement)

기존의 고품질 얼굴 반사도 (Albedo) 캡처 기술은 대부분 조절 가능한 조명 환경 (예: Light Stage, 스마트폰 플래시 등) 에 의존합니다. 이는 높은 장비 비용과 복잡한 촬영 절차를 요구하여 일상적인 활용도를 제한합니다. 반면, 자연스러운 환경 (In-the-wild) 에서 촬영된 이미지나 비디오로부터 고품질 얼굴 반사도를 복원하려는 시도는 다음과 같은 어려움에 직면해 있습니다.

• 모델 기반 방법 (Model-based): 물리 기반 렌더링을 최적화하지만, 복잡한 조명 (그림자, 간접 조명 등) 이 존재하는 자연 환경에서는 최적화가 불안정하고 ill-posed(잘 정의되지 않음) 문제가 발생합니다.
• 데이터 기반 방법 (Data-driven): 신경망을 통해 직접 반사도를 예측하여 자연 환경에 강인하지만, 물리 법칙을 완전히 이해하지 못해 **쉐도우 베이킹 (Shadow-baking)**과 같은 비물리적인 아티팩트가 예측 결과에 남는 문제가 있습니다.

따라서, 조절 가능한 조명 없이 스마트폰 비디오만으로 고품질의 얼굴 확산 반사도 (Diffuse Albedo) 를 복원하는 것이 본 논문의 핵심 목표입니다.

2. 방법론 (Methodology)

저자들은 하이브리드 역렌더링 (Hybrid Inverse Rendering) 프레임워크를 제안하여 데이터 기반 방법의 강인함과 모델 기반 방법의 물리적 정확성을 결합합니다.

2.1. 하이브리드 역렌더링 파이프라인

1. 데이터 기반 전처리 (SwitchLight): 입력된 자연 환경 비디오 프레임들을 먼저 데이터 기반 방법인 SwitchLight를 통해 확산 반사도 이미지로 변환합니다. 이 단계에서 대부분의 조명 효과가 제거되지만, 신경망의 한계로 인해 그림자 등이 '베이킹'된 아티팩트가 남게 됩니다.
2. 모델 기반 정제: 이 '베이킹된' 예측 이미지를 실제 이미지로 간주하고, 이를 조명 효과와 **깨끗한 확산 반사도 (Clean Albedo)**로 분리하기 위해 모델 기반 역렌더링을 수행합니다. 즉, 신경망이 만들어낸 비물리적인 아티팩트를 물리적으로 설명 가능한 '국소적인 어두운 조명'으로 해석하여 제거합니다.

2.2. 텍셀 그리드 조명 모델 (Texel Grid Lighting Model)

기존의 환경 맵 (Environment Map) 기반 조명 모델은 신경망이 생성한 비물리적인 아티팩트를 설명하기 어렵습니다. 이를 해결하기 위해 저자들은 텍셀 그리드 조명 모델을 제안합니다.

• 개념: UV 공간에서 2 차원 그리드를 형성하고, 각 그리드 셀 (Texel) 마다 구면 조화 함수 (Spherical Harmonics, SH) 파라미터를 할당합니다.
• 작동 원리: 그림자 베이킹 아티팩트가 발생하는 영역 (Shadow Mask $M$) 에서는 국소적인 SH 조명 ($\gamma_V$) 을 적용하고, 나머지 영역에서는 전역 조명 ($\gamma_g$) 만 적용합니다. 이를 통해 비물리적인 그림자를 "깨끗한 반사도에 비친 국소적인 어두운 빛"으로 모델링하여 아티팩트를 제거합니다.

2.3. 확산 사전 분포를 활용한 최적화 (Diffusion Prior Optimization)

텍셀 그리드 모델의 표현력이 높아지면 최적화가 불안정해지고 스케일 모호성 (Scale Ambiguity) 문제가 발생합니다. 이를 해결하기 위해 **확산 사전 (Diffusion Prior)**을 활용합니다.

• 사전 학습: 고품질 Light Stage 스캔 데이터를 기반으로 얼굴 반사도 패치 (Patch) 단위의 확산 모델 (Diffusion Model) 을 학습합니다.
• 후사 샘플링 (Posterior Sampling): 최적화 과정에서 확산 모델의 사전 분포를 따르면서, 관측된 데이터 (베이킹된 이미지) 와 일치하도록 확산 모델에서 반사도 맵을 샘플링하고 조명 파라미터를 동시에 최적화합니다.
• 초해상도: 1K 해상도의 반사도 맵을 먼저 복원한 후, 초해상도 (Super-Resolution) 네트워크를 통해 4K 해상도로 업샘플링하여 고품질 결과를 도출합니다.

3. 주요 기여 (Key Contributions)

1. WildCap 프레임워크: 조절 가능한 조명 없이 스마트폰 비디오만으로 고품질 얼굴 반사도를 복원하는 새로운 하이브리드 역렌더링 방법론을 제안했습니다. 이는 자연 환경과 조절 가능한 환경 간의 품질 격차를 크게 좁혔습니다.
2. 텍셀 그리드 조명 모델: 신경망 예측 이미지에서 발생하는 비물리적인 베이킹 아티팩트를 설명하기 위한 새로운 조명 표현 방식을 제안했습니다. 이는 물리 기반 모델로는 불가능했던 아티팩트 제거를 가능하게 합니다.
3. 확산 사전 기반 최적화: 고품질 반사도 복원을 위해 조명 모델과 확산 사전 (Diffusion Prior) 을 공동으로 최적화하는 방식을 도입하여, ill-posed 문제를 효과적으로 해결하고 4K 해상도의 정밀한 텍스처를 생성했습니다.

4. 실험 결과 (Results)

• 정성적 평가: 다양한 자연 환경 (실내/실외, 다양한 조명 조건) 에서 촬영된 비디오에 대해 기존 방법 (DeFace, FLARE 등) 보다 그림자 베이킹 아티팩트가 현저히 적고, 모반 (Nevus) 과 같은 개인적인 얼굴 특징이 잘 보존된 고품질 반사도 맵을 생성했습니다.
• 정량적 평가: 얼굴 재구성 (Re-rendering) 및 반사도 복원 지표 (PSNR, SSIM, LPIPS) 에서 기존 In-the-wild 방법들보다 우수한 성능을 보였습니다. 특히, DoRA (조절 조명 환경용 SOTA) 와 비교했을 때, 조절 조명 없이도 유사한 수준의 품질을 달성했습니다.
• 효율성: DoRA 가 4K 맵을 직접 샘플링하는 데 508 분이 소요되는 반면, WildCap 은 1K 샘플링 후 SR 네트워크를 사용하여 24GB NVIDIA 4090 기준 약 8 분 만에 고품질 결과를 생성하여 효율성이 뛰어났습니다.

5. 의의 및 중요성 (Significance)

• 접근성 향상: 고가의 Light Stage 장비 없이도 일반 스마트폰으로 고품질의 디지털 휴먼 (Digital Human) 자산 (재조명 가능한 3D 얼굴) 을 생성할 수 있게 하여, 메타버스 및 가상 현실 콘텐츠 제작의 진입 장벽을 낮췄습니다.
• 기술적 혁신: 신경망의 비물리적 아티팩트를 물리 기반 최적화 프레임워크 내에서 '조명'으로 해석하여 제거하는 아이디어는 역렌더링 분야에서 새로운 패러다임을 제시합니다.
• 실용성: 복잡한 조명 조건에서도 견고하게 작동하여, 일상적인 환경에서의 얼굴 스캐닝을 상용화할 수 있는 가능성을 열었습니다.

결론적으로, WildCap 은 데이터 기반 방법의 강인함과 모델 기반 방법의 물리적 정확성, 그리고 생성형 AI(확산 모델) 의 사전 지식을 융합하여 자연 환경에서의 고품질 얼굴 반사도 캡처 문제를 해결한 획기적인 연구입니다.