High-Quality Facial Geometry and Appearance Capture at Home

1. 문제 정의 (Problem)

기존의 고품질 얼굴 기하학 및 외관 (Appearance) 캡처 기술은 스튜디오 환경에서 고가의 장비 (예: Light Stage) 와 전문 인력을 필요로 하므로, 일반 사용자가 일상에서 접근하기 어렵습니다. 최근 연구들은 스마트폰 플래시나 햇빛 등을 활용하여 이를 민주화하려는 시도를 했으나, 다음과 같은 한계가 존재했습니다.

• 불편한 촬영 환경: 특정 조명 (햇빛), 편광 필터, 또는 완전한 암실 (Darkroom) 이 필요하여 일상적인 사용에 부적합함.
• 부분적인 모델링: 대부분 피부 (Skin) 만을 대상으로 하여, 눈 (Eyes), 입 안 (Mouth interior), 머리카락 (Hair) 등 반사율이 매우 다른 부위를 포함한 '완전한 얼굴'을 재구성하지 못함. 특히 눈은 높은 반사율 (Specularity) 을 가지므로 기존 신경장 (Neural Field) 기반 방법으로는 기하학과 외관을 정확히 복원하기 어려움.

2. 제안 방법론 (Methodology)

이 논문은 **어두운 방 (Dim Room)**에서 스마트폰 플래시를 켜고 촬영한 단일 동위 (Co-located) 비디오 시퀀스만으로 고품질의 재조명 가능한 (Relightable) 3D 얼굴 자산을 생성하는 방법을 제안합니다.

가. 하이브리드 얼굴 표현 (Hybrid Face Representation)

얼굴의 각 영역별 반사 특성을 고려하여 서로 다른 모델을 결합한 하이브리드 방식을 도입했습니다.

• 눈 (Eyeballs): 눈은 매우 높은 반사율을 가지므로, 신경장만으로는 복원이 어렵습니다. 이를 위해 **두 개의 구형 메쉬 (Sphere Meshes)**를 사전 정의된 Specular Lobes 와 함께 사용합니다. 눈의 위치, 반지름, 그리고 공간적으로 변하는 Diffuse Albedo 만을 데이터에서 학습합니다.
• 기타 영역 (피부, 입 안, 머리카락): 신경 SDF (Signed Distance Field) 필드와 신경 BRDF 필드를 사용하여 기하학과 Disney BRDF 파라미터 (Diffuse, Specular, Roughness) 를 표현합니다.
• 통합: 메쉬 기반 눈과 신경장 기반 나머지 영역을 매끄럽게 통합하기 위해 메쉬 인식 볼륨 렌더링 (Mesh-Aware Volume Rendering) 기술을 개발했습니다. 이는 볼륨 렌더링 과정에서 메쉬의 SDF 값을 선택적으로 적용하여 두 영역이 자연스럽게 결합되도록 합니다.

나. 결합 조명 모델 (Combined Lighting Model)

촬영 환경의 조명을 효율적으로 모델링하기 위해 두 가지 요소를 결합했습니다.

• 고주파수 플래시: 스마트폰 플래시를 카메라와 동일한 위치에 있는 점광원 (Point Light) 으로 모델링합니다.
• 저주파수 환경광: 어두운 방의 잔류 조명 (Ambient Light) 은 2 차 구면 조화 함수 (Spherical Harmonics, SH) 로 표현하여 Diffuse 조명 성분만 모델링합니다.
• 이 방식을 통해 단일 플래시 켜진 시퀀스만으로도 조명과 외관을 분리 (Disentanglement) 할 수 있습니다.

다. 학습 전략 및 정규화 (Training & Regularization)

• Composition Loss: 얼굴 파싱 네트워크 (Face Parsing Network) 를 활용하여 눈 영역 (E) 과 나머지 영역 (S) 의 오버랩을 방지하고, 각 영역이 자신의 영역만 학습하도록 제약합니다.
• Reflectance Regularization (AlbedoMM): Light Stage 스캔 데이터로 학습된 3D Morphable Face Albedo 모델 (AlbedoMM) 을 Prior 로 활용합니다. 이를 통해 Diffuse 와 Specular 알베도의 분리를 강화하고, 특히 머리카락 영역에서는 Specular 값을 0 으로 제한하여 아티팩트를 줄입니다.

3. 주요 기여 (Key Contributions)

1. 저비용 고품질 캡처 시스템: 특수 장비나 암실 없이, 일반 사용자의 스마트폰과 어두운 방 환경만으로 피부, 입 안, 머리카락, 눈을 포함한 완전한 얼굴을 재구성할 수 있는 시스템을 제안했습니다.
2. 혁신적인 하이브리드 표현: 눈의 높은 반사율 문제를 해결하기 위해 메쉬 (Mesh) 와 신경장 (Neural Field) 을 결합한 새로운 표현 방식과 이를 학습하기 위한 메쉬 인식 볼륨 렌더링 기법을 개발했습니다.
3. 강력한 조명 및 외관 분리: 결합 조명 모델과 AlbedoMM 기반의 정규화 기법을 통해 단일 플래시 시퀀스에서도 Diffuse 와 Specular 성분을 효과적으로 분리하여 재조명이 가능한 고품질 3D 자산을 생성했습니다.

4. 실험 결과 (Results)

• 재조명 (Relighting): Blender 와 같은 일반적인 CG 소프트웨어와 호환되는 3D 메쉬와 UV 맵 (Normal, Diffuse, Specular, Roughness) 을 내보내어 새로운 조명 환경에서 사실적인 렌더링이 가능합니다.
• 비교 평가:
  • NextFace++ 와 비교: BFM(3D Morphable Model) 기반의 NextFace++ 는 눈과 코, 입 주변의 개인적 특징을 표현하는 데 한계가 있었으나, 제안된 방법은 하이브리드 표현을 통해 더 정교한 기하학과 외관을 복원했습니다.
  • WildLight 와 비교: WildLight 는 두 개의 시퀀스 (플래시 ON/OFF) 가 필요하지만, 제안된 방법은 단일 시퀀스로 더 나은 기하학과 외관 재구성을 달성했습니다.
  • Light Stage 와 비교: 스튜디오 기반 Light Stage 에 비해 해상도나 Diffuse/Specular 분리 정확도는 다소 낮지만, 저비용 환경에서 매우 높은 수준의 품질을 달성했습니다.
• 성능: NVIDIA RTX 3090 에서 약 70 분 만에 학습이 완료되며, 다양한 표정과 조명 조건 (밤, 낮, 커튼 유무) 에서 견고한 결과를 보입니다.

5. 의의 및 결론 (Significance)

이 논문은 **일상적인 환경 (At Home)**에서 고품질의 3D 얼굴 디지털 트윈을 생성하는 데 있어 중요한 이정표가 됩니다.

• 접근성 향상: 고가의 스튜디오 장비나 복잡한 촬영 절차 없이도 일반인이 고품질 3D 얼굴 데이터를 얻을 수 있게 하여 메타버스, 게임, 영화 등 디지털 콘텐츠 제작의 진입 장벽을 낮춥니다.
• 완전한 얼굴 모델링: 기존 연구가 간과했던 눈, 입 안, 머리카락 등을 포함한 '완전한 얼굴'의 재구성을 가능하게 하여, 더욱 사실적인 디지털 아바타 제작을 지원합니다.
• 확장성: 제안된 하이브리드 표현 방식과 조명 모델링 기법은 향후 더 복잡한 얼굴 부위 (예: 더 정교한 눈 모델링, 머리카락 스트랜드) 나 다른 객체 캡처로 확장될 수 있는 잠재력을 가지고 있습니다.

요약하자면, 이 연구는 단일 스마트폰 플래시 비디오를 입력으로 받아 눈을 포함한 완전한 얼굴의 기하학과 외관을 고품질로 복원하는 저비용 솔루션을 제시함으로써, 3D 얼굴 캡처 기술의 대중화를 크게 앞당긴다고 평가할 수 있습니다.