기술 요약: LuxRemix

문제 정의

실내 장면의 조명 제어는 사진 촬영, 영화 제작 및 가상 제작의 핵심 요소입니다. 그러나 이미지나 3D 재구성이 촬영된 후에는 조명이 외관 내에 '구워져(baked)' 있어 촬영 후 조정을 어렵게 만듭니다. 기존 접근 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 데이터 기반 방법은 실제 시나리오에서는 비현실적인 밀집된 제어된 다중 조명 촬영을 요구합니다.
• 최적화 기반 역 렌더링은 계산 집약적이며 조명 조건이 크게 변할 때 타당한 결과를 생성하는 데 종종 실패합니다.
• 사전 지식 기반 방법(확산 모델 사용) 은 유망한 결과를 보였으나 주로 원거리 조명 하의 객체, 초상화, 또는 단순한 장면에 집중합니다. 다수의 근거리 광원을 가진 복잡한 공간적으로 변하는 조명을 가진 실내 장면에서는 어려움을 겪습니다.
• 단일 이미지 방법은 여러 뷰포인트 간 3D 일관성이 부족하고, 다중 뷰 방법은 개별 광원에 대한 세밀한 제어가 부족하거나 제어된 촬영 설정을 요구합니다.

핵심 과제는 3D 일관성과 실시간 성능을 유지하면서 단일 다중 뷰 촬영으로부터 복잡한 실내 장면의 개별 광원 (켜기/끄기, 강도 및 색상 조정) 을 상호작용적으로 세밀하게 편집할 수 있게 하는 것입니다.

방법론

LuxRemix 는 생성적 이미지 분해, 다중 뷰 조화, 그리고 3D 가우스 스플래팅을 결합한 3 단계 파이프라인을 통해 이 과제를 해결합니다.

1. 합성 데이터 생성

필요한 모델을 학습시키기 위해 저자들은 12,000 개 이상의 절차적으로 생성된 실내 장면으로 구성된 대규모 합성 데이터셋을 생성했습니다. Infinigen을 사용하여 천장, 벽, 바닥, 테이블 램프, 환경 조명 등 최대 6 개의 제어 가능한 광원으로 이러한 장면을 확장했습니다.

• 렌더링: 장면은 Blender 의 Cycles 렌더러를 사용하여 두 가지 모드로 렌더링되었습니다: 완전 조명 모드와 나머지 모든 조명을 끄고 하나만 켜는 여러 "One-Light-At-a-Time"(OLAT) 구성 모드.
• 효율성: 모든 원근 뷰를 미리 렌더링하는 대신, 장면은 360° 이구면적 HDR 이미지로 렌더링되었습니다. 이는 학습 중 다양한 카메라 뷰포인트의 동적 샘플링을 가능하게 하여 저장 및 렌더링 비용을 크게 줄이면서도 데이터 다양성을 유지했습니다.
• 정답 데이터 (Ground Truth): 데이터셋에는 광원에 대한 정답 마스크와 해당 OLAT 렌더링이 포함되어 분해를 위한 지도 학습을 가능하게 합니다.

2. 단일 이미지 조명 분해 (LuxRemix-SV)

첫 번째 단계는 단일 입력 이미지를 환경 성분과 여러 개별 OLAT 성분으로 분해하는 것입니다.

• 모델 아키텍처: 이 방법은 저랭크 적응 (LoRA) 을 사용하여 사전 학습된 이미지 편집 확산 트랜스포머 (DiT) 를 미세 조정합니다.
• 조건부 입력: 모델은 입력 이미지, 텍스트 프롬프트 (예: "선택된 조명 외 모든 조명 끄기"), 그리고 단일 레이어 MLP 를 통해 처리된 공간 조명 선택 마스크에 조건부적으로 설정됩니다.
• 작업: 모델은 두 가지 주요 작업을 학습합니다:
  1. OLAT 분해: 다른 조명을 끄면서 단일 광원을 분리합니다.
  2. 조명 제거: 다른 조명을 활성화한 채 특정 조명을 끕니다 (결과를 환경으로 간주).
• HDR 재구성: 고동적 범위를 처리하기 위해 모델은 세 가지 밝기 수준 (높음, 중간, 낮음) 으로 프롬프트됩니다. 생성된 이미지들은 노출 브래이킹 기법을 사용하여 병합되어 전체 HDR OLAT 성분을 재구성합니다.

3. 다중 뷰 조명 조화 (LuxRemix-MV)

단일 이미지 분해는 서로 다른 뷰포인트 간 일관되지 않은 결과를 생성할 수 있으므로, 두 번째 단계는 이러한 분해들을 모든 뷰에 걸쳐 일관되게 전파합니다.

• 접근법: CAT3D, SEVA 와 같은 다중 뷰 확산 방법에 영감을 받아, 이 단계는 사전 학습된 다중 뷰 확산 U-Net 을 사용합니다.
• 입력: 네트워크는 원래 다중 뷰 이미지와 희소하며 부분적으로 분해된 뷰 (SV 단계에서 생성됨) 와 함께 플뤼커 (Plücker) 광선 임베딩 및 참조 마스크를 입력받습니다.
• 과정: U-Net 은 희소 참조 뷰에서 모든 다른 뷰로 조명 분해를 전파하도록 완전히 미세 조정되어 기하학적 및 광도학적 일관성을 보장합니다. 이 단계는 뷰를 독립적으로 처리할 때 발생할 수 있는 그림자 및 조명 외관의 불일치를 해결합니다.

4. 실시간 재조명 가능 3D 표현

마지막 단계는 분해되고 일관된 조명을 실시간 상호작용을 위한 3D 가우스 스플래팅 표현으로 인코딩합니다.

• 표현: 표준 3D 가우스 스플래팅을 기반으로 하여, 각 가우스는 광원별 HDR RGB 계수로 확장됩니다. 이러한 계수는 각 광원 (환경 포함) 의 외관 기여도를 별도로 저장합니다.
• 학습:
  1. 사전 학습: 원래 다중 뷰 이미지를 기반으로 표준 3DGS 모델을 학습하여 기하학을 확립합니다.
  2. 조명 피팅: 기하학적 매개변수를 고정합니다. 분해된 다중 뷰 이미지를 사용하여 광원별 RGB 계수를 도입하고 최적화합니다.
• 최적화: 학습은 개별 조명 렌더링에 대한 L1 손실, 재결합된 조명이 원래 입력과 일치하도록 보장하는 구성 손실, 그리고 고주파수 노이즈와 아티팩트를 방지하기 위한 공간 평활화 손실 (K-최근접 이웃 기반) 을 최소화합니다.
• 렌더링: 런타임 시 최종 이미지는 사용자 제어 강도 및 색상 설정에 따라 광원별 기여도를 선형 결합하여 생성되므로, 모든 뷰포인트에서 실시간 상호작용 조작이 가능합니다.

주요 기여

1. 단일 이미지 분해 모델: 복잡한 실내 조명을 개별적으로 제어 가능한 광원 (OLAT) 과 환경 조명으로 분해하여 상태, 색도 및 강도의 독립적 조작을 가능하게 하는 생성 모델.
2. 다중 뷰 조명 조화: 다중 뷰 간 조명 분해를 전파하여 3D 일관성을 보장하고 뷰 의존적 아티팩트를 해결하는 새로운 방법.
3. 재조명 가능 3D 가우스 스플래팅: 분해된 조명을 3D 가우스 표현으로 인코딩하여 새로운 뷰포인트에서 개별 근거리 광원을 실시간으로 상호작용적으로 조작할 수 있게 하는 기술.
4. 대규모 합성 데이터셋: 정답 광원별 분해가 포함된 12,000 개 이상의 실내 장면을 포함하는 데이터셋 공개로, 제어 가능한 장면 조명에 대한 향후 연구를 촉진.

결과 및 평가

저자들은 합성 및 실제 데이터셋 모두에서 LuxRemix 를 평가했습니다:

• 정량적 성능: 30 개 장면의 합성 테스트 세트에서 LuxRemix-SV 는 PSNR, SSIM, LPIPS 지표에서 베이스라인 (ScribbleLight, Qwen-Image) 보다 우수한 성능을 보였습니다. 다중 뷰 조화 (LuxRemix-MV) 는 독립적인 단일 뷰 처리에 비해 일관성을 크게 향상시켰습니다.
• 정성적 결과: 이 방법은 광원을 사실적으로 분리하고 켜고 끄며 색상을 조정하는 능력을 입증했습니다. 단일 뷰 접근법에서 관찰되는 깜빡임 및 그림자 불일치를 피하면서 뷰 간 3D 일관성을 성공적으로 유지했습니다.
• 실제 적용: 이 방법은 실제 촬영 (예: Zip-NeRF 및 VR-NeRF 에서) 에 테스트되어 복잡한 실내 환경에서 조명을 분해하고 리믹스하는 데 설득력 있는 결과를 보여주었습니다.
• 실시간 성능: 3D 가우스 표현은 많은 기존 역 렌더링 또는 NeRF 기반 접근 방식에서 부족했던 실시간 상호작용 재조명을 가능하게 했습니다.

중요성 및 주장

이 논문은 단일 다중 뷰 촬영에서 실내 장면을 위한 다중 뷰 조명 분해 및 리믹싱을 제시하는 최초의 방법이라고 주장합니다. 그 중요성은 단일 이미지 분해의 세밀한 제어와 다중 뷰 방법의 3D 일관성 사이의 간극을 메우는 데 있습니다.

분해를 위한 현대 확산 모델의 풍부한 사전 지식과 일관성을 위한 다중 뷰 데이터의 기하학적 제약을 활용함으로써, LuxRemix 는 제어된 다중 조명 촬영 없이도 개별 광원의 촬영 후 편집을 유연하게 가능하게 합니다. 저자들은 이 작업을 제어 가능한 다중 뷰 장면 조명에 대한 향후 연구의 기초로 위치시키며, 사실적이고 세밀한 조명 제어가 필수적인 상호작용 장면 편집, 가상 제작, 몰입형 경험 등에 잠재적 응용 분야가 있음을 시사합니다.

저자들은 모델이 정적 합성 실내 장면으로 학습되었으며 야외 또는 동적 장면에는 완벽하게 일반화되지 않을 수 있음을 겸손하게 인정합니다. 또한, 학습 데이터의 원뿔형 조명 확산에 대한 편향은 확산 조명에 대한 분해 정확도에 영향을 미칠 수 있으며, 현재 모델은 HDRi 를 통한 원거리 전역 조명 편집을 지원하지 않습니다.