Lighting-Consistent Object Transfer Across Radiance Fields

기술 요약: 라디언스 필드 간의 조명 일관성을 갖춘 객체 전송 (DOT3D)

문제 정의
3D 가우시안 스플래팅(3DGS)은 실제 장면을 효율적으로 캡처하고 실시간으로 렌더링할 수 있게 해준다. 그러나 이러한 표현식을 편집하는 것은 어려운데, 이는 캡처 시점에 재질과 조명이 서로 얽혀 있기 때문이다. 한 캡처된 장면에서 객체를 다른 장면으로 합성하는 것은 VFX, 건축 및 마케팅 분야에서 응용 가치가 높지만, 단순한 전송(가우시안 프리미티브 복사)은 비현실적인 결과물을 초래한다. 주요 실패 모드는 조명 불일치이다. 전송된 객체는 대상 환경에 적합한 그림자, 반사 및 하이라이트가 부족하여, 통합된 것이 아니라 붙여넣은 것처럼 보이게 된다. 기존 솔루션들은 비용이 많이 드는 수동 3D 모델링 및 조명 추정을 요구하거나, 2D 이미지 조화(harmonization)에 국한되어 다중 뷰 일관성을 가진 3D 결과를 생성하지 못한다.

방법론: DOT3D
저자들은 소스 3DGS 장면에서 객체를 추출하여 타겟 3DGS 장면에 배치하고, 새로운 환경에 맞춰 조명을 조화시키는 파이프라인인 DOT3D(Diffusion Object Transfer in 3D)를 제안한다. 이 과정은 세 가지 주요 단계로 구성된다:

1. 대화형 객체 합성 (Interactive Object Composition):

   • 세그멘테이션 (Segmentation): 소스 장면은 3DGS로 재구성된다. 객체를 추출하기 위해, 이 방법은 각 가우시안 프리미티브에 이진 분류 특징($d=1$)을 할당한다. 이 특징들은 3D에서 객체를 분할하기 위해 2D 마스크(BiRefNet에 의해 생성됨)에 대한 이진 교차 엔트로피 손실을 사용하여 최적화된다.
   • 전송 (Transfer): 사용자는 세그멘테이션된 객체를 타겟 3DGS 장면에 대화형으로 배치하며, 위치, 방향 및 크기를 조정한다. 이는 객체가 원래의 조명을 유지하여 시각적 불일치를 초래하는 초기 "단순 합성(naive composite)"을 생성한다.

2. 단일 뷰 조화 (Single-View Harmonization - 확산 모델):

   • 이 방법의 핵심은 미세 조정된 확산 모델(FLUX.1-schnell 기반)이며, 이는 불일치한 합성 이미지를 조화된 뷰로 변환한다.
   • 입력 (Input): 모델은 단순 합성 렌더링, 객체의 이진 마스크, 그리고 합성 이미지 자체를 입력으로 받는다.
   • 학습 데이터 (Training Data): 모델을 학습시키기 위해 저자들은 세 가지 소스로 구성된 이종 데이터셋을 구축하였다:
     • 합성 데이터 (Synthetic Data): 그라운드 트루스(ground-truth) 전역 조명을 가진 Blender 렌더링 실내 장면으로, 조명이 맞지 않는 배경에 객체가 붙여넣어진 상태로 렌더링되었다.
     • 생성 데이터 (Generated Data): FLUX로 생성된 이미지들을 커스텀 객체 제거 네트워크(합성 데이터로 학습됨)를 통해 배경을 생성하고, DiffusionRenderer를 사용하여 재조명함으로써 만든 불일치한 합성 이미지들이다.
     • 실제 데이터 (Real Data): DiffusionRenderer를 통한 재조명 처리가 된 ORIDa 데이터셋의 서브샘플링된 이미지들이다.
   • 과정 (Process): 모델은 변이형 오토인코더(VAE)의 잠재 공간(latent space)에서 작동하며, 노이즈가 섞인 잠재 변수를 올바른 그림자, 반사 및 조명 통합을 포함하는 조화된 이미지로 변환하기 위해 속도(velocity)를 회귀한다.

3. 다중 뷰 통합 (Multi-View Consolidation - 3DGS 사후 최적화):

   • 확산 모델은 뷰를 독립적으로 처리하므로, 결과물인 조화된 이미지들은 3D 일관성이 결여될 수 있다.
   • 저자들은 이러한 뷰들을 단일 3DGS 표현식으로 통합하기 위한 사후 최적화 단계를 제안한다.
   • 최적화 (Optimization): 단순 합성 3DGS로부터 시작하여, 이 방법은 지각적 손실(perceptual loss, LPIPS)을 사용하여 가우시안 프리미티브의 색상(모든 구면 조화 밴드)만을 최적화한다.
   • 제약 조건 (Constraints): 보이지 않는 뷰에서의 아티팩트를 방지하기 위해 소스 장면의 뷰 의존적 효과(높은 SH 밴드)를 0으로 재설정한다. 기하 구조와 불투명도는 고정된다. 이 단계는 확산 모델이 생성한 고충실도 조화를 보존하면서도 최종 장면이 다중 뷰 일관성을 갖도록 보장한다.

주요 기여

• 특화된 확산 모델: 합성, 생성 및 실제 데이터를 결합한 이종 데이터셋으로 학습된, 객체 삽입을 위한 2D 조명 조화용 미세 조정 모델.
• 3DGS 사후 최적화: 지각적 손실을 사용하여 가우시안 색상을 최적화함으로써, 독립적으로 조화된 2D 뷰들을 일관된 3DGS 장면으로 변환하는 통합 전략 (반복적인 데이터셋 업데이트 없이도 가능).
• 대화형 파이프라인: 일관된 조명, 그림자 및 반사를 통해 서로 다른 3DGS 장면 간에 객체를 추출, 배치 및 조화할 수 있는 완전한 워크플로우.

결과 및 평가
본 방법은 다양한 실제 데이터셋(Mip-NeRF-360, DL3DV, Ref-NeRF 등)과 그라운드 트루스가 있는 고품질 합성 장면에서 평가되었다.

• 정성적 성능 (Qualitative Performance): 2D 방법(LBM, MV-CoLight, Nano Banana) 및 3D 역렌더링 접근 방식(Gaussian Shader, GS-IR, 3DGS-DR)과 비교했을 때, DOT3D는 현저히 더 사실적인 결과를 생성한다. 기존 방법들은 접촉 그림자를 생성하지 못하거나, 색 번짐(color bleeding)이 발생하거나, 표면이 과하게 채도가 높아지는 등의 문제를 보이는 경우가 많았다. DOT3D는 그럴듯한 그림자와 반사를 생성하며 객체를 성공적으로 통합한다.
• 정량적 성능 (Quantitative Performance): 그라운드 트루스가 있는 합성 장면에서, DOT3D는 모든 지표(PSNR, SSIM, LPIPS, FID, KID)에서 역렌더링 베이스라인들을 능가한다. 예를 들어, DOT3D는 차순위 방법인 Gaussian Shader의 18.66에 비해 22.53의 PSNR을 달 기록했다.
• 일관성 (Consistency): 다양한 객체 포즈에 따른 조명 일관성에 대한 절제 연구(ablation study)를 통해, 본 방법이 새로운 뷰에서도 일관된 조명을 유지함을 입증하였다.
• 절제 연구 (Ablations): 연구는 합성 Blender 데이터셋이 확산 모델 학습에 있어 가장 결정적인 요소임을 확인하였다. 또한, 단일 단계 사후 최적화 접근 방식이 반복적인 데이터셋 업데이트 전략보다 더 효과적이고 효율적임을 보여준다.

의의 및 주장
논문은 DOT3D가 객체 전송을 쉽게 만들어 주는 "시각적으로 설득력 있는" 솔루션을 제공하며, 이전 방법들보다 품질을 크게 향эр시킨다고 주장한다. 2D 조화에 대한 확산 모델의 사전 지식(prior)과 3D 일관성을 위한 경량화된 사후 최적화를 활용함으로써, DOT3D는 명시적인 기하 구조 재구성이나 복잡한 조명 추정 없이도 조명 조화라는 어려운 역문제를 해결한다. 저자들은 이 방법이 절대적인 물리적 정확성보다는 "그럴듯한(plausible)" 결과를 생성하지만, 서로 다른 캡처 환경 간의 현실적인 자산 재사용을 가능하게 한다고 언급한다. 이 작업은 3DGS 표현식을 VFX 및 인테리어 디자인과 같은 실제 응용 분야에서 편집 가능하게 만드는 진일보한 단계로 제시된다.