기술 요약: DiFaReli++: 일관된 그림자 생성을 위한 확산 기반 얼굴 재조명

문제 제기

야외 환경에서의 단일 뷰 얼굴 재조명은 글로벌 조명, 피하 산란, 자기 가림 (그림자) 과 같은 복잡한 물리적 현상을 고려하면서 얼굴의 명암을 새로운 조명 조건에 맞게 조정해야 하는 까다로운 작업입니다. 기존 최첨단 방법들은 일반적으로 내재적 이미지 분해에 의존하여 3D 형태, 반사율, 조명 파라미터를 추정하고 이미지를 다시 렌더링합니다. 그러나 이 접근법은 특히 머리카락, 귀, 가려진 영역에 대한 정확한 기하학적 추정이 어려운 실제 세계 시나리오에서는 오류가 발생하기 쉽습니다. 또한, 이러한 방법들은 종종 강렬한 하이라이트나 그림자를 현실적으로 제거하거나 추가하는 데 어려움을 겪어 잔류 아티팩트와 물리적으로 불가능한 결과를 초래합니다. 더 나아가, 많은 고성능 접근법은 야외 환경에 적용하기 어려운 다중 뷰 이미지, 라이트 스테이지 데이터, 또는 조명 정답 데이터와 같은 광범위한 학습 데이터를 필요로 합니다.

방법론

저자들은 정확한 내재적 분해가 필요하지 않으며 3D 스캔, 재조명된 이미지 쌍, 또는 조명 정답 데이터 없이 2D 이미지만으로 학습 가능한 프레임워크인 **DiFaReli++**를 제안합니다. 이 방법의 핵심은 **조건부 탈노이즈 확산 암시적 모델 (Conditional Denoising Diffusion Implicit Model, DDIM)**을 활용합니다.

1. 특징 인코딩 및 분리

이 방법은 이미지를 물리적 구성 요소로 분해하는 대신, 입력 이미지를 조명과 다른 속성들을 분리하는 특징 벡터로 인코딩합니다. 이 벡터는 다음을 포함합니다:

• 조명: 오프더셸 (off-the-shelf) 추정기인 DECA 를 통해 추정된 구면 조화 (Spherical Harmonic, SH) 계수.
• 형태 및 카메라: DECA 에서 제공된 3D 얼굴 형태 파라미터 (FLAME 모델) 및 카메라 포즈.
• 정체성: ArcFace 에서 추출된 심층 특징 임베딩.
• 그림자 및 배경: 그림자 강도에 대한 스칼라 값 (기본 버전) 또는 그림자 맵 (DiFaReli++), 그리고 세그멘테이션 마스크 또는 배경 이미지.

2. 새로운 조건부 기법

DDIM 을 위한 조건부 메커니즘은 입력을 "공간적" 및 "비공간적" 조건으로 분리하는 핵심 혁신입니다:

• 공간적 조건부: 목표 조명 및 형태 파라미터를 사용하여 **명암 참조 (회색조로 음영 처리된 얼굴 메쉬)**를 렌더링합니다. 이 참조는 그림자 맵 및 세그멘테이션 마스크와 함께 모듈레이터 네트워크에 입력됩니다. 모듈레이터는 DDIM 의 잔차 블록 출력과 곱해지기 위한 레이어별 공간 변조 가중치를 계산합니다. 이를 통해 네트워크는 공간적 구조를 유지하면서 복잡한 조명 - 기하학적 상호작용을 암시적으로 학습할 수 있습니다.
• 비공간적 조건부: 정체성, 형태, 카메라 파라미터는 다층 퍼셉트론 (MLP) 을 통해 처리되어 적응형 그룹 정규화 (AdaGN) 를 사용하여 DDIM 에 주입되며, 정체성과 구조적 일관성을 유지합니다.

3. 일관된 그림자 (DiFaReli++ 특화 사항)

스칼라 그림자 강도 제어의 한계를 해결하기 위해 DiFaReli++ 는 그림자 맵 조건부 전략을 도입합니다:

• 학습: 사전 학습된 DiFaReli 모델을 사용하여 입력 이미지의 "강한" 그림자 버전과 "약한" 그림자 버전을 생성함으로써 그림자 맵을 추론합니다. 이 두 버전 간의 픽셀 차이를 임계값 처리하여 이진 그림자 마스크를 생성한 후, 추정된 그림자 강도로 스케일링합니다.
• 추론: 테스트 시에는 추정된 깊이와 목표 조명으로부터 레이 트레이싱된 그림자 맵을 생성합니다. 이 맵은 DDIM 이 목표 조명 방향과 일치하는 새로운 물리적으로 타당한 그림자를 합성하도록 안내하여, 동적 조명 시나리오에서 시간적 일관성을 보장합니다.

4. 확장된 재조명 영역

이 프레임워크는 원시 배경 픽셀 조건부 대신 세그멘테이션 마스크 (예: 의류, 모자, 목) 를 사용하여 재조명 영역을 얼굴 너머로 확장합니다. 이를 통해 네트워크는 정적 배경으로 취급하는 대신 구조적 무결성을 유지하면서 얼굴이 아닌 부분들도 재조명할 수 있습니다.

5. 단일 샷 증류

확산 모델의 느린 추론 속도 (여러 탈노이즈 단계 필요) 를 극복하기 위해 저자들은 단일 샷 재조명 프레임워크를 제안합니다. DiFaReli++ 와 동일한 아키텍처를 가진 지도 학습 네트워크를 교사 모델 (DiFaReli++) 이 생성한 합성 데이터로 단순한 L2 손실 함수를 사용하여 학습합니다. 이렇게 증류된 네트워크는 단일 패스로 재조명을 수행하여 1,000 배의 속도 향상을 달성하면서도 놀랍게도 시각적 지표에서 교사 모델을 능가합니다.

주요 기여

1. 최첨단 프레임워크: 정확한 내재적 분해 또는 3D/조명 정답 데이터 없이 사실적인 결과를 생성하는 조건부 DDIM 기반 얼굴 재조명 시스템.
2. 새로운 조건부 기법: 렌더링된 명암 참조를 DDIM 을 위한 공간 변조 가중치로 변환하여 복잡한 조명 - 기하학적 상호작용을 효과적으로 모델링하는 방법.
3. 일관된 그림자: 동적 조명 하에서 시간적으로 일관되고 물리적으로 타당한 그림자를 생성하기 위해 추론 및 레이 트레이싱된 그림자 맵을 활용하는 확장 (DiFaReli++).
4. 확장된 범위: 세그멘테이션 마스크를 사용하여 얼굴이 아닌 부분 (의류, 모자) 을 재조명할 수 있는 능력으로, 이전 작업들의 얼굴만 재조명한다는 한계를 넘어섬.
5. 단일 샷 효율성: 확산 기반 교사 모델에 비해 뛰어난 성능 지표와 압도적인 속도 향상을 달성한 증류된 단일 샷 네트워크.

결과

이 방법은 Multi-PIE 벤치마크와 FFHQ 데이터셋에서 최근 최첨단 방법들 (Total Relighting, DiffusionRig, IC-Light, HoloRelighting 등) 과 비교하여 평가되었습니다.

• 정량적 성능: DiFaReli++ 는 동일 피사체 및 교차 피사체 목표 조명 시나리오 모두에서 Multi-PIE 데이터셋의 모든 지표 (DSSIM, MSE, LPIPS) 에서 최고의 점수를 기록했습니다.
• 사용자 연구: 세 가지 사용자 연구 (얼굴/비얼굴 부분의 재조명 품질, 이동 조명, 회전 HDR 맵) 에서 제안된 방법은 대부분의 비교에서 모든 베이스라인보다 선호되었습니다 (예: 70-72% 선호도).
• 정성적 개선: 이 방법은 기존 딱딱한 그림자를 효과적으로 제거하고 목표 조명과 일치하는 새로운 그림자를 합성합니다. 또한 머리카락, 피부 질감 같은 고주파 세부 사항을 유지하며 경쟁사보다 액세서리와 의류를 더 잘 처리합니다.
• 속도: 사전 처리된 데이터를 기준으로 단일 샷 증류 모델은 이미지당 약 0.07 초에 실행되며, 여러 단계를 필요로 하고 1 초 이상 소요되는 확산 가속화 기법 (DPM-Solver, UniPC) 보다 훨씬 뛰어납니다.

중요성 및 주장

이 논문은 DiFaReli++ 가 명시적 물리적 분해에서 확산 모델을 통한 암시적 학습으로 패러다임을 전환함으로써 중요한 발전을 이루었다고 주장합니다. 새로운 조건부 기법과 그림자 맵 추론을 활용함으로써, 이 방법은 단일 네트워크 패스로 일관된 그림자가 있는 사실적인 재조명을 달성합니다.

저자들은 기하학적 추정이 신뢰할 수 없는 "야외 환경" 시나리오에서 그들의 접근법이 견고하다고 강조합니다. 또한 단일 샷 증류 모델이 추론을 가속화할 뿐만 아니라 확산 기반 교사 모델의 성능을 능가한다고 지적하며, 증류 과정이 학생 네트워크가 재조명 작업을 더 직접적이고 효과적으로 학습하도록 허용한다고 설명합니다. 이 작업은 내재적 분해가 더욱 어려운 전체 인체 및 객체로 재조명을 확장할 가능성을 열어줍니다.

저자들은 생성된 그림자가 완벽한 물리적 정확성을 결여할 수 있으며, 목표 조명을 위한 조명 추정기 (DECA) 의 품질에 의존한다는 한계를 인정합니다. 이는 훈련 데이터에 잘 표현되지 않은 극단적이거나 비정상적인 조명 조건 (예: 강한 주황색 또는 녹색 색조) 에서 어려움을 겪을 수 있습니다. 그러나 프레임워크는 유연하며 새로운 조명 모델이나 추정기에 맞게 조정될 수 있다고 주장합니다.