기술 요약: LightCrafter

문제 정의

비디오 재조명(Video relighting)은 콘텐츠, 기하 구조, 재질 및 움직임을 보존하면서 장면의 외형을 편집해야 하며, 동시에 시간적 일관성과 물리적 일관성을 유지해야 합니다. 기존의 접근 방식은 일반적으로 다음 두 가지 패러다임으로 나뉘며, 두 방식 모두 상당한 한계가 있습니다:

1. 역 렌더링 + 순방향 렌더링 (Inverse Rendering + Forward Rendering): 이 방법들은 장면의 고유 속성(기하 구조, 재질, 조명)을 명시적으로 재구성한 후 새로운 조명 아래에서 다시 렌더링합니다. 정밀한 제어와 시간적 일관성을 제공하지만, 단안 역 렌더링(monocular inverse rendering)의 불량한 결정성(ill-posed nature)으로 인해 노이즈가 있는 재구성이 발생하기 쉽습니다. 기하 구조나 재질 추정의 오류는 출력물로 직접 전파되며, 복잡한 전역 조명(global illumination) 효과를 모델링하는 데 어려움을 겪습니다.
2. 생성적 비디오 투 비디오 변환 (Generative Video-to-Video Translation): 이 방법들은 재조명을 타겟 조명(예: 환경 맵 또는 텍스트)에 조건화된 생성 작업으로 프레임화합니다. 강력한 확산 사전 지식(diffusion priors)을 활용하여 사진과 같은 사실감을 제공하지만, 정밀한 그림자 및 셰이딩 제어가 부족하고, 제한된 컨텍스트 창으로 인해 긴 영상의 시간적 일관성을 유지하기 어려우며, 쌍을 이룬 실제 데이터의 부족으로 인해 제약을 받습니다.

방법론

저자들은 비디오 재조명을 PBR 조건부 비디오 정제(PBR-conditioned video refinement) 작업으로 재정의하는 하이브리드 파이프라인인 LightCrafter를 제안합니다. 이 방법은 입력 비디오를 타겟 조명으로 직접 변환하는 대신, 물리 기반 렌더링(PBR) 프록시 비디오(타겟 조명 아래에서 렌더링된)를 사진과 같은 사실적인 출력물로 변환합니다.

파이프라인은 세 가지 주요 단계로 작동합니다:

1. 역 렌더링 (장면 복구)

단안 입력 비디오가 주어지면, 시스템은 기성(off-the-shelf) 방법들을 사용하여 장면의 고유 속성을 복구합니다:

• 기하 구조 및 카메라: 깊이 맵(depth maps)과 카메라 파라미터를 추출하여(예: MegaSAM 활용) 월드 좌표계 상에서 픽셀 단위로 정렬된 메쉬를 구축합니다.
• 재질: 알베도(albedo), 노멀 맵, BRDF 파라미터(거칠기, 금속성)를 추출합니다(예: DiffusionRenderer 활용).
• 소스 조명: 입력 비디오와 일치하도록 미분 가능한 렌더링을 통해 환경 맵을 추정하고 정제합니다.
  이를 통해 복구된 장면 상태 $S$와 소스 조명 추정치를 얻습니다.

2. 순방향 렌더링 (PBR 프록시 생성)

복구된 고유 속성 $S$와 사용자가 지정한 타겟 조명 $L_{target}$을 사용하여, 물리 기반 렌더러가 프록시 비디오 $P$를 생성합니다.

• 렌더러는 람베르시안 확산 로브(Lambertian diffuse lobe)와 등방성 스펙큘러 로브(isotropic specular lobe, Cook-Torrance 미세면 모델)를 사용하여 렌더링 방정식을 해결합니다.
• 렌더링이 결정론적이고 복구된 기하 구조에 근거하기 때문에, 결과물인 프록시 $P$는 구조적으로 **프레임 정렬(frame-aligned)**되어 있으며 시간적으로 일관됩니다.
• 결정적으로, 프록시 $P$는 대부분의 구조적인 조명 변화(그림자, 셰이딩, 하이라이트)를 포착하지만, 불완전한 역 렌더링으로 인한 아티팩트(예: 깜빡임, 거친 그림자, 가려짐 영역의 구멍)는 그대로 유지합니다.

3. PBR 조건부 확산 정제 (PBR-Conditioned Diffusion Refinement)

CogVideoX-5B로부터 초기화된 비디오 확산 모델을 미세 조정하여, 노이즈가 있는 PBR 프록시 $P$를 사진과 같은 사실적인 재조명 비디오로 정제합니다.

• 학습 목표: 모델은 PBR 프록시의 잠재 표현(latent representation)을 조건으로 하여, 실제 재조명된 비디오에 추가된 노이즈를 예측하도록 학습됩니다.
• 아티팩트 매칭: 학습-테스트 간의 불일치를 해결하기 위해, 모델이 추론 시 마주하게 될 것과 동일한 유형의 아티팩트(노이즈, 기하 구조 오류)를 포함하도록 학습 데이터를 큐레이션합니다.
• 장기 일관성 (Long-Form Consistency): 모델의 학습 윈도우보다 긴 비디오를 처리하기 위해, 저자들은 **중첩 융합 시간적 타일링(overlap-fused temporal tiling)**을 사용합니다. 비디오를 중첩되는 윈도우로 나누고, 노이즈 예측 공간에서 시간적 텐트 가중치(temporal tent weights)를 사용하여 융합합니다. 이는 단일한 일관된 디노이징 궤적을 보장하여, 청크 경계에서의 조명 드리프트(drift)를 방지합니다.

데이터 큐레이션 전략

저자들은 합성 데이터와 실제 데이터 사이의 간극을 메우기 위해 새로운 데이터 큐레이션 파이프라인을 도입합니다:

• 합성 쌍 (Synthetic Pairs): 그라운드 트루스 비디오를 렌더링한 후, 이를 다시 역 렌더링하고 재렌더링하여 (노이즈가 있는 PBR, 그라운드 트루스) 쌍을 생성합니다. 이는 모델이 재구성 아티팩트를 수정하도록 가르칩니다.
• 실제 세계 의사 쌍 (Real-World Pseudo-Pairs): 실제 비디오를 역 렌더링하고 자체 추정된 조명 아래에서 재렌더링합니다. 이 (재렌더링된 입력, 원래 입력) 쌍은 그라운드 트루스 재조명 비디오 없이도 실제 외형의 아티팩트를 수정하는 법을 가르칩니다.

주요 기여

1. 하이브리드 파이프라인: 비디오 재조명을 PBR 프록시가 명시적인 조명 제어와 시간적 일관성을 제공하고, 확산 모델이 사실감과 아티팩트 수정을 담당하는 정제 작업으로 재정의했습니다.
2. PBR 프록시의 우수성: 저자들은 PBR 렌더링만으로도 조명 제어 및 일관성 측면에서 기존의 최첨단 엔드투엔드 방식들을 능가함을 입증하였으며, 이는 현대적 역 렌더러의 품질을 검증합니다.
3. 아티팩트 매칭 학습: 모델이 추론 시의 실제 환경 조건에 더 잘 일반화될 수 있도록, 학습 과정에서 현실적인 렌더링 아티팩트에 노출시키는 데이터 큐레이션 전략을 제시했습니다.
4. 장기 일관성: 청크 처리 시 발생하는 드리프트 문제를 해결하여 임의 길이의 비디오에 대해 일관된 재조명을 가능하게 하는 시간적 타일링 및 융합 메커니즘을 구현했습니다.
5. 다운스트림 편집: 이 프레임워크는 수정된 입력을 사용하여 PBR 프록시를 단순히 재렌더링함으로써, 확산 모델의 재학습 없이도 장면 편집 작업(재질 변경, 객체 삽입, 조명 삽입)을 자연스럽게 지원합니다.

실험 결과

본 방법은 합성 및 실제 세계 벤치마크(MIT Multi-Illumination, DL3DV)에서 평가되었습니다.

• 정량적 성능: LightCrafter는 LightX, UniRelight, DiffusionRenderer와 같은 베이스라인과 비교하여 PSNR, SSIM, LPIPS에서 최첨단 성능을 달립니다. 특히 시간적 일관성 지표(T-CLIP, Warp-SSIM)에서 베이스라인을 크게 앞섭러갑니다.
• 정성적 결과: 본 방법은 긴 시퀀스 동안 안정적인 그림자, 하이라이트 및 전역 외형을 생성하는 반면, 베이스라인들은 눈에 띄는 성능 저하, 일관되지 않은 그림자, 색상 드리프트 현상을 보입니다.
• 어블레이션 연구 (Ablation Studies): 실험 결과, 합성 데이터와 실제 데이터 모두에서 학습하는 것이 매우 중요하다는 것을 보여줍니다. 실제 데이터를 제거하면 환각된 구조가 나타나고, 합성 데이터를 제거하면 재조명 정확도가 떨어집니다. 아티팩트 매칭 큐레이션은 인 더 와일드(in-the-wild) 아티팩트를 수정하는 데 필수적입니다.

의의

이 논문은 LightCrafter가 비디오 재조정에서 **제어 가능성(controllability)**과 사실감(photorealism) 사이의 새로운 균형을 달 Achieve 한다고 주장합니다. PBR 렌더링의 명시적인 물리적 근거를 구조와 일관성을 위해 활용하고, 확산 모델의 생성 능력을 정제를 위해 활용함으로써, 이 방법은 순수 역 렌더링(노이즈/아티팩트)과 순수 생성적 접근 방식(제어 부족/시간적 드리프트)의 한계를 극복합니다. 저자들은 이 접근 방식이 일관된 장기 재조명을 가능하게 하고 장면 편집 작업으로 자연스럽게 확장됨을 강조하며, 데이터셋, 벤치마크 및 코드를 커뮤니티에 공개합니다.