GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers

이 논문은 단일 이미지에서 인물의 재조명 (Relighting) 과 3D 기하학적 재구성을 동시에 수행하는 새로운 프레임워크인 GeoRelight를 제안합니다. 기존 방법들의 한계를 극복하고 물리적으로 타당한 결과물을 생성하기 위해, 다중 모달 확산 트랜스포머 (Multi-Modal Diffusion Transformer) 를 기반으로 한 통합 접근법을 도입했습니다.

1. 문제 정의 (Problem)

단일 2D 이미지에서 인물의 조명 환경을 변경하는 작업은 본질적으로 **잘못 정의된 문제 (ill-posed task)**입니다. 2D 이미지는 3D 기하학, 내재적 외관 (알베도, 질감), 조명이라는 세 가지 요소가 얽혀 있기 때문입니다.

• 기존 방법의 한계:
  • 엔드 - 투 - 엔드 변환기 (Translator) 모델: 기하학적 모델링이 부재하여 물리적으로 타당한 그림자나 하이라이트를 생성하지 못합니다.
  • 순차적 파이프라인 (Sequential Pipelines): 먼저 알베도나 법선 (Normal) 등을 예측한 후 렌더링하는 방식인데, 초기 단계의 기하학적 추정 오차가 렌더링 단계로 전파되어 누적 (Error Accumulation) 되는 문제가 있습니다.
  • 결론: 재조명과 3D 기하학 추정은 서로 분리된 작업이 아니라 상호 보완적이며, 이를 동시에 (Jointly) 해결해야 물리적으로 일관된 결과를 얻을 수 있습니다.

2. 방법론 (Methodology)

GeoRelight 는 사전 훈련된 비디오 잠재 확산 트랜스포머 (Video Latent Diffusion Transformer, DiT) 를 기반으로 구축되었습니다. 주요 기술적 구성 요소는 다음과 같습니다.

2.1. 유연한 다중 모달 확산 (Flexible Multi-Modal Diffusion)

• 아키텍처: 기존 비디오 DiT 의 시간 차원 (Temporal dimension, $T$) 을 **모달리티 차원 (Modality dimension, $M$)**으로 재사용합니다.
• 동시 생성: 입력 이미지, 알베도, 법선, 3D 기하학, 재조명된 이미지 등 5 가지 모달리티를 하나의 시퀀스 (프레임) 로 쌓아 병렬로 처리합니다.
• 조건부 제어: 학습 가능한 모달리티 타입 임베딩과 **모달리티 스위치 마스크 (Modality Switch Mask)**를 사용하여, 특정 모달리티는 '조건 (Condition)'으로 제공하고 다른 모달리티는 '생성 (Generation)' 대상으로 설정할 수 있습니다. 이를 통해 다양한 입력 조합에 유연하게 대응합니다.

2.2. 등방성 정규 직교 깊이 (Isotropic Normalized Orthographic Depth, iNOD)

잠재 확산 모델 (VAE 기반) 과 호환되면서 왜곡 없는 3D 기하학을 표현하기 위해 제안된 새로운 표현 방식입니다.

• 문제점: 기존 포인트 맵은 VAE 인코딩 시 노이즈가 심해지고, 일반적인 깊이 맵은 비등방성 (anisotropic) 정규화로 인해 3D 형태가 왜곡됩니다.
• 해결책:
  1. 3D 포인트 클라우드를 생성합니다.
  2. 등방성 정규화 (Isotropic Normalization): $z$축이 아닌 3D 공간 전체를 가장 긴 변을 기준으로 $[-1, 1]$ 박스에 맞춥니다. 이는 절대 크기는 버리지만 상대적인 3D 형태와 종횡비를 보존합니다.
  3. 직교 투영 (Orthographic Projection): 정규화된 3D 점들의 $z$값을 2D 맵에 매핑합니다.
• 장점: VAE 압축에 강하며, 카메라 내부 파라미터 없이도 3D 형태를 복원할 수 있습니다.

2.3. 전략적 혼합 데이터 학습 (Strategic Mixed-Data Training)

실제 데이터의 기하학적 정답 (Ground Truth) 부재를 해결하기 위한 학습 전략입니다.

• 데이터 소스:
  1. Synthetic Data: 완벽한 정답 레이블이 있지만 현실감이 부족함.
  2. Light Stage (Dome): 고품질 실제 데이터이지만 조명 쌍 (Pair) 이 제한적임.
  3. In-the-Wild (ITW): 다양한 실제 이미지지만 정답 레이블이 없음.
• 학습 프로세스:
  1. 1 단계 (Synthetic Pre-training): 합성 데이터로만 학습하여 기하학과 내재적 속성의 기본 해리 (Disentanglement) 를 학습.
  2. 오토-레이블링 (Auto-Labeling): 1 단계 모델을 사용하여 Dome 및 ITW 데이터의 알베도, 법선, 기하학 등을 **가짜 정답 (Pseudo-ground-truth)**으로 자동 생성.
  3. 2 단계 (Mixed Post-training): 합성 데이터 (정답 기반) 와 자동 레이블링된 실제 데이터 (현실감 기반) 를 혼합하여 학습.
     • 합성/돔 데이터: 완전한 조도 (Geometry $\leftrightarrow$ Relighting) 학습.
     • ITW 데이터: 자동 생성된 내재적 속성을 조건으로 주어, 실제 이미지의 재조명만 학습 (Intrinsic $\to$ Relit).

3. 주요 기여 (Key Contributions)

1. 통합 다중 모달 DiT 프레임워크: 재조명 이미지, 내재적 색상, 표면 법선, 3D 기하학을 단일 프레임워크에서 동시에 생성하는 최초의 접근법.
2. iNOD (Isotropic Normalized Orthographic Depth): VAE 친화적이면서도 3D 기하학적 왜곡을 제거한 새로운 깊이 표현 방식.
3. 전략적 혼합 데이터 학습: 합성 데이터의 정확성과 실제 데이터의 현실감을 결합하여 시공간의 간극 (Synthetic-Real Gap) 을 극복하는 학습 방법론.

4. 실험 결과 (Results)

GeoRelight 는 재조명, 3D 재구성, 내재적 속성 추정 모두에서 기존 최첨단 (SOTA) 방법들을 압도하는 성능을 보였습니다.

• 재조명 (Relighting): HumanOLAT, Light Stage 등 다양한 벤치마크에서 PSNR, SSIM, LPIPS, RMSE 등 모든 지표에서 기존 방법 (IC-Light, NeuralGaffer, DiffusionRenderer 등) 보다 우수한 성능을 기록했습니다. 특히 그림자, 주름, 옷감의 질감 등 기하학에 의존하는 디테일을 물리적으로 타당하게 재현합니다.
• 3D 기하학 재구성: VGGT, MoGe2 와 같은 전용 3D 추정 모델보다 정밀도가 높습니다. VGGT 는 과도하게 평탄화된 (over-smoothed) 형태를, MoGe2 는 노이즈가 많은 형태를 보이는 반면, GeoRelight 는 머리카락, 옷 주름 등 고주파수 디테일을 정확하게 복원합니다.
• 내재적 속성 (Intrinsics): 알베도와 법선 추정에서도 SOTA 성능을 달성했습니다.
• 사용자 연구 (User Study): 실제 이미지에서 재조명 및 3D 재구성 결과에 대해 사용자들이 GeoRelight 를 다른 방법들보다 압도적으로 선호했습니다 (재조명 93.8%, 3D 재구성 93.4% 선호도).

5. 의의 및 의의 (Significance)

• 상호 보완적 학습의 증명: 기하학 추정이 재조명의 물리성을 높이고, 재조명의 명암 정보가 기하학 추정을 정교하게 만든다는 '상호 시너지 (Synergy)'를 입증했습니다.
• 단일 프레임워크의 효율성: 별도의 파이프라인 없이 하나의 모델로 여러 작업을 수행함으로써 오류 누적 문제를 해결하고 효율성을 높였습니다.
• 확장성: iNOD 표현 방식은 인간뿐만 아니라 다양한 객체에 적용 가능하며, 향후 비디오 재조명 및 3D 아바타 생성과 같은 다운스트림 작업의 기반이 될 수 있습니다.

결론적으로 GeoRelight 는 단일 이미지로부터 물리적으로 일관된 재조명 이미지와 고품질 3D 기하학을 동시에 생성하는 새로운 패러다임을 제시하며, 컴퓨터 비전과 컴퓨터 그래픽스 분야에서 중요한 진전을 이루었습니다.