Learning a Delighting Prior for Facial Appearance Capture in the Wild

"Learning a Delighting Prior for Facial Appearance Capture in the Wild" 논문에 대한 상세한 기술 요약입니다.

문제 제기

사진처럼 사실적인 디지털 인간을 제작하는 데 필수적인 고품질 얼굴 외관 캡처는 전통적으로 비용이 많이 들고 통제된 스튜디오 환경 (예: Light Stage) 에 의존해 왔습니다. 최근에는 제약이 없는 스마트폰 영상을 이용해 '야외 (in the wild)'에서 얼굴을 캡처하려는 시도가 있었으나, 이러한 접근 방식은 상당한 어려움에 직면해 있습니다. 구체적으로, 모델 기반 역렌더링 패러다임은 복잡한 반사율 (알베도) 을 알려지지 않은 실제 세계의 조명과 분리하는 데 어려움을 겪습니다. 이로 인해 종종 불안정한 최적화와 재구성된 텍스처에 '구워진 (baked-in)' 그림자나 조명 아티팩트가 발생하게 됩니다. 기존 데이터 기반 솔루션들은 독점적이라서 (재현성 제한) 또는 FaceOLAT 와 같은 기존 오픈소스 데이터셋으로 학습할 때 공간적 흐림과 물리적으로 부정확한 확산 알베도를 겪습니다. 또한, 데이터 기반 딜라이트팅과 역렌더링을 결합한 WildCap 과 같은 하이브리드 접근 방식은 아티팩트를 수정하기 위해 수동 개입이 필요하여 확장성을 저해합니다.

방법론

저자들은 OpenDelight를 제안합니다. 이는 얼굴 외관 캡처의 초점을 강력한 딜라이트팅 사전 (delighting prior) 학습으로 전환하는 완전 자동화 시스템입니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 이질적 학습을 위한 데이터셋 잠재 변조 (Dataset Latent Modulation, DLM)
강력한 딜라이트팅 네트워크를 학습시키기 위해 저자들은 두 가지 상호 보완적인 데이터 소스를 결합합니다:

• OLAT 데이터셋 (FaceOLAT): 실제 세계 이미지 분포를 제공하지만, 불완전한 정렬과 편광의 부재로 인해 공간적 흐림과 반사광 구워짐 (specular baking) 아티팩트가 발생합니다.
• 렌더링된 Light Stage 스캔 데이터셋: Light Stage (재료 모드) 에서 120 명의 피사체를 캡처하고 렌더링한 맞춤형 데이터셋입니다. 선명한 디테일과 물리적으로 정확한 확산 알베도를 제공하지만, 실제 세계 이미지와의 도메인 격차가 큽니다.

네트워크가 타협된 해결책에 머무르지 않고 이러한 소스를 매끄럽게 통합하기 위해 저자들은 **데이터셋 잠재 변조 (DLM)**를 도입합니다.

• 메커니즘: 코어 네트워크 (합성곱 디코더가 있는 ViT 기반 인코더) 는 학습 가능한 **소스 인식 토큰 (source-aware tokens)**에 조건부적으로 작동합니다.
• 분리: 엔드투엔드 학습 중 이러한 토큰은 데이터셋별 스타일 (예: 색상 분포, 선명도) 을 흡수하는 반면, 코어 네트워크는 얼굴 딜라이트팅의 보편적 원리를 증류합니다.
• 추론: 고품질 렌더링 스캔 데이터셋과 관련된 토큰으로 네트워크에 조건을 부여함으로써, 모델은 실제 세계 OLAT 데이터에서 학습된 일반화 능력을 유지하면서 선명하고 물리적으로 정확한 예측을 생성합니다.

2. 디테일 향상 네트워크
ViT 기반 아키텍처는 스킵 연결이 부족하여 미세한 디테일을 잃을 수 있음을 인식한 저자들은 2 차 UNet 기반 디테일 향상 네트워크를 활용합니다. 이 네트워크는 원본 이미지와 예측된 확산 알베도를 입력으로 받아 미세한 디테일을 복원하며, 노이즈를 시뮬레이션하기 위해 확률적 열화를 적용한 렌더링 데이터셋으로 특별히 학습됩니다.

3. 사전 기반 재구성 파이프라인
딜라이트팅 사전은 얼굴 외관 캡처 파이프라인에 통합됩니다:

• 입력: 캐주얼한 스마트폰 비디오 시퀀스.
• 프로세스: OpenDelight 는 각 뷰에 대한 확산 알베도를 추정합니다. 이러한 정제된 알베도는 통합된 텍스처 맵으로 융합됩니다.
• 최적화: 아티팩트를 수정하기 위해 복잡한 지역별 역렌더링이 필요했던 이전 방법과 달리, 저자들은 텍스처 맵에 구워짐 아티팩트가 거의 없다고 발견합니다. 결과적으로 최적화는 전역 구면 조화 (Spherical Harmonics, SH) 조명 추정과 패치 수준 확산 사전 샘플링으로 단순화됩니다.
• 출력: 고해상도 (4K) 재조명 가능한 얼굴 자산 (베이스 메쉬, 확산, 반사, 정규 맵).

주요 기여

• OpenDelight: 단일 뷰 야외 얼굴 이미지에서 복잡한 조명과 그림자를 제거하는 데 있어 선도적인 독점 모델 (예: SwitchLight) 보다 우수한 성능을 보이는 강력하고 오픈소스인 딜라이트팅 사전.
• 데이터셋 잠재 변조 (DLM): 소스 인식 토큰을 사용하여 데이터셋별 스타일을 핵심 물리 원리에서 분리함으로써, 합성 스캔과 실제 OLAT 데이터와 같은 이질적 데이터 소스에서의 효과적인 공동 학습을 가능하게 하는 새로운 학습 기법.
• NeRSemble-Scan 데이터셋: 저자들은 기존 다중 뷰 NeRSemble 데이터셋을 캡처 방법을 사용하여 4K 해상도의 재조명 가능한 대규모 Light Stage 스캔 컬렉션으로 변환했습니다.
• 완전 자동화 파이프라인: 수동 아티팩트 수정이나 전문화된 지역 기반 역렌더링의 필요성을 제거하여, 인간 개입이 필요한 방법과 비교 가능한 고품질 결과를 달성하는 시스템.

결과

• 딜라이트팅 성능: FaceOLAT 및 3DRFE 테스트 세트에서 OpenDelight 는 SwitchLight, IC-Light, DreamLight 보다 우수한 정량적 지표 (PSNR, SSIM, LPIPS) 를 달성합니다. 정성적 결과는 특히 어려운 그림자 영역에서 구워짐 아티팩트가 적은 훨씬 깨끗한 확산 알베도를 보여줍니다.
• Ablation 연구:
  • FaceOLAT 만으로 학습하면 흐릿하고 물리적으로 부정확한 알베도가 생성됩니다.
  • 렌더링된 스캔 만으로 학습하면 도메인 격차 (잘못된 피부 톤) 가 발생합니다.
  • DLM 을 제거하면 추론 시 네트워크가 데이터셋 분포 사이를 예측 불가능하게 전환하여 뷰 불일치를 초래합니다.
  • 디테일 향상 네트워크는 ViT 인코더로 인해 손실된 미세한 얼굴 특징을 복원하는 데 필수적입니다.
• 외관 캡처: 이 방법은 새로운 조명 하에서 재렌더링 시 실제 캡처된 이미지와 밀접하게 일치하는 4K 재조명 가능 아셋을 생성합니다 (실제 이미지 대비 평균 LPIPS 0.0576). 이는 모델 기반 방법 (FLARE, DeFace) 보다 우수하며, 완전 자동화임에도 불구하고 동시 진행 중인 WildCap 방법의 품질과 일치하거나 초과합니다.

의의 및 주장

이 논문은 강력한 딜라이트팅 사전 학습이 얼굴 외관 캡처 문제를 근본적으로 단순화한다고 주장합니다. 정확한 빛 전달을 사전에 내재화함으로써, 저자들은 복잡하고 개입이 많은 역렌더링 파이프라인이 더 간단하고 자동화된 최적화 프로세스로 대체될 수 있음을 보여줍니다.

저자들은 고급 얼굴 캡처의 민주화를 강조합니다:

1. 재현성: 모델, 코드, NeRSemble-Scan 데이터셋을 오픈소스로 공개함으로써 연구 커뮤니티가 독점 블랙박스에 의존하지 않고 고품질 얼굴 캡처를 구축할 수 있는 도구를 제공합니다.
2. 품질 격차 축소: 이 시스템은 제약 없는 스마트폰 녹화와 통제된 스튜디오 캡처 간의 품질 격차를 크게 줄입니다.
3. 미래 연구의 기반: NeRSemble-Scan 의 공개는 사실적인 디지털 인간 구축과 초상화 딜라이트팅 및 재조명 연구 발전을 위한 새로운 기반을 제공합니다.

저자들은 잠재적인 정체성 손실 (색소성 모반이 조명과 혼동될 수 있음) 과 데이터셋 불균형으로 인한 밝은 피부 톤에 대한 편향과 같은 한계를 인정하며, 이를 향후 개선 영역으로 제안합니다.