기술 요약: SRUG: 생성 모델을 활용한 그림자 유도 재조명 도시 장면

문제 정의

다중 뷰 이미지나 비디오로부터 재조명이 가능한 3D 도시 장면을 재구성하는 것은 자율 주행, 디지털 트윈, 월드 모델링과 같은 응용 분야에서 중요한 작업입니다. 그러나 조명과 재질 속성을 분리하는 것이 어렵기 때문에 이 작업은 본질적으로 잘 정의되지 않은 (ill-posed) 문제입니다. 도시 환경은 이러한 문제를 더욱 악화시키는 구체적인 도전 과제를 제시합니다:

1. 무한한 범위: 도시 장면은 가시 영역을 넘어 확장됩니다. 보이지 않는 기하학 구조가 가시 영역에 그림자를 드리울 수 있어, 이러한 숨겨진 영역을 복원하지 않고는 정확한 그림자 모델링이 어렵습니다.
2. 복잡한 조명: 도시 조명은 햇빛, 하늘빛, 간접광이 혼합되어 있어 재질 분해에 심각한 모호성을 초래합니다.
3. 희소 뷰: 제한된 입력 뷰는 재질과 조명의 분리를 더욱 복잡하게 만들어, 조명 정보가 추정된 알베도 (albedo) 에 잘못 인코딩되는 '조명 베이킹 (lighting bake-in)' 아티팩트를 종종 유발합니다.
4. 기존 방법의 한계: 신경 방사선 필드 (NeRF) 기반의 이전 접근 방식은 표현력이 낮고 계산 비용이 높다는 단점이 있습니다. 최근의 3D 가우스 스플래팅 (3DGS) 방법은 효율성을 개선했지만, 종종 보이지 않는 영역을 간과하거나 복잡한 도시 조명 하에서 견고한 재질 분해에 어려움을 겪습니다. 대형 재질 모델 (LMM) 을 활용하는 방법들은 종종 합성 훈련 데이터와 실제 도시 시나리오 간의 도메인 격차를 극복하지 못합니다.

방법론

저자들은 이러한 도전 과제를 해결하기 위해 세 가지 핵심 구성 요소를 통해 설계된 SRUG(생성 모델을 활용한 그림자 유도 재조명 도시 장면) 라는 프레임워크를 제안합니다:

1. 그림자 유도 숨겨진 기하학 구조 완성

도시 장면의 무한한 범위를 처리하기 위해 SRUG 는 그림자를 물리적 가이드로 활용하여 보이지 않는 영역의 기하학 구조를 복원합니다.

• 3D 완성: 프레임워크는 Difix3D 와 같은 사전 훈련된 3D 완성 모델을 사용하여 새로운 뷰를 렌더링하고 참조 이미지를 기반으로 이를 복구함으로써 보이지 않는 영역에 대한 의사-지도 (pseudo-supervision) 를 생성합니다.
• 미분 가능 가우스 그림자 매핑 (DGSM): 물리적 일관성을 보장하기 위해 저자들은 DGSM 을 도입합니다. 하드 이진 깊이 비교를 사용하여 미분 가능성을 깨는 표준 그림자 매핑과 달리, DGSM 가시성을 연속적이고 미분 가능한 확률 함수로 재구성합니다: $V = \text{Sigmoid}(k(z_s - z))$. 이를 통해 그림자는 보이지 않는 영역의 3D 기하학 구조를 최적화하기 위한 지도 신호로 활용되어 물리적으로 타당한 그림자의 합성을 가능하게 합니다.

2. 반복적 재질 분해

복잡한 조명과 희소 뷰 하에서 견고한 재질 분해를 달성하기 위해 SRUG 는 대형 재질 모델 (LMM) 을 활용하지만, 합성에서 실제로의 도메인 격차를 해결합니다.

• LMM 지도: 확산 기반 LMM 인 WeatherDiffusion 이 RGB 이미지로부터 재질 속성 (알베도, 금속성, 거칠기) 을 예측합니다.
• 반복적 정제: 실제 장면에 LMM 을 직접 적용하면 비현실적인 결과가 자주 나옵니다. SRUG 는 LMM 이 현재 가우스 재질 추정에 조건부로 작용하는 반복적 방식을 제안합니다. 각 주기에서 LMM 은 가우스에서 래스터화된 재질 맵에 확산 기반 인페인팅을 수행하여 예측을 정제합니다. 이러한 정제된 맵은 다음 최적화 주기를 지도합니다. 이 과정은 점진적으로 도메인 격차를 메워 일관되고 견고한 재질 분해를 보장합니다.

3. 물리 기반 조명 및 셰이딩

SRUG 는 신뢰할 수 있는 재조명을 지원하기 위해 물리 기반 조명 모델을 사용합니다.

• 조명 분해: 나가는 복사조도 (radiance) 는 직접 햇빛 ($L_{sun}$), 하늘빛 ($L_{sky}$), 간접광 ($L_{ind}$) 의 세 가지 구성 요소로 분해됩니다.
• 디퍼드 셰이딩: 프론트 셰이딩에서 흔히 발생하는 노멀 블러 아티팩트를 피하기 위해, 프레임워크는 디퍼드 셰이딩을 사용하여 셰이딩 전에 G-버퍼에 노멀과 재질 속성을 래스터화합니다.
• 학습 가능한 환경 차폐 (AO): 복잡한 기하학 구조로 인한 하늘빛 차폐를 근사하기 위해 각 가우스 프리미티브에 학습 가능한 환경 차폐 속성이 도입됩니다.
• 간접광 네트워크: 신경 네트워크는 G-버퍼와 직접 조명 구성 요소를 기반으로 간접 나가는 복사조도를 예측합니다.

최적화 전략

프레임워크는 두 단계로 훈련됩니다:

1. 초기화: 표준 3DGS 손실 (색상, 노멀 일관성, 정규화) 을 사용하여 가시 기하학 구조와 외관을 재구성하는 데 중점을 둡니다.
2. 재조명: 재질 속성, 조명 파라미터, 그림자 유도, 재질 일관성 (LMM 을 통해), 그리고 가시성에 대한 특정 손실을 도입합니다.

주요 기여

이 논문은 세 가지 주요 기여를 식별합니다:

1. SRUG 프레임워크: 다중 뷰 이미지나 비디오로부터 재조명이 가능한 도시 장면을 구축하고 조명과 재질 속성을 효과적으로 분리하는 새로운 프레임워크.
2. 그림자 유도 숨겨진 기하학 구조 완성: DGSM 을 통해 그림자를 지도 신호로 활용하여 3D 완성 모델을 보이지 않는 영역을 복원하고 물리적으로 타당한 그림자를 합성하도록 유도하는 모듈.
3. 반복적 재질 분해: LMM 을 재질 지도로 활용하면서 재질 속성을 반복적으로 정제하여 합성 데이터와 실제 도시 장면 간의 도메인 격차를 메우는 방식.

결과

저자들은 SRUG 를 실제 세계 데이터셋 (KITTI-360, Waymo, Tanks and Temple) 과 합성 도시 데이터셋 모두에서 평가했습니다.

• 정량적 성능: SRUG 는 대부분의 지표 (PSNR, SSIM, LPIPS, MAE) 에서 새로운 뷰 합성 (NVS), 재조명, 재질 분해 분야에서 최첨단 성능을 달성합니다. 특히, UrbanIR, GS-IR, R3DG 와 같은 경쟁자들과 비교하여 희소 뷰 조건 (예: TandT50 서브셋) 에서 뛰어난 견고성을 보여줍니다.
• 시각적 품질: 시각적 비교는 SRUG 가 알베도 추정에서 조명 베이킹 아티팩트를 효과적으로 완화하고 변화하는 태양 방향 하에서 일관된 그림자를 생성함을 보여줍니다. 기존 방법들에 비해 부유 아티팩트를 피하고 환경 맵 기반 조명 하에서 더 신뢰할 수 있는 재조명 결과를 생성합니다.
• 효율성: 3D 완성 및 반복적 분해의 통합으로 인해 순수 가우스 기반 방법들에 비해 훈련 시간이 증가하지만, SRUG 는 UrbanIR 대비 훈련 속도는 2 배, 추론 속도는 약 10 배 가속화를 달성합니다.

중요성 및 주장

이 논문은 SRUG 가 무한한 환경과 복잡한 조명의 특정 도전 과제를 해결함으로써 도시 장면 재조명 분야에서 최첨단 기술을 크게 발전시켰다고 주장합니다.

• 물리적 일관성: 그림자를 사용하여 기하학 구조 완성을 유도함으로써, 이 방법은 보이지 않는 영역이 가시 장면과 물리적으로 일관되게 재구성되도록 보장하며, 이는 이전 접근 방식에 결여된 기능입니다.
• 견고한 분해: 반복적 재질 분해 방식은 합성 훈련된 LMM 을 실제 세계 데이터에 적용하는 한계를 성공적으로 극복하여, LiDAR 와 같은 추가 센서 없이 재질을 조명으로부터 분리하는 견고한 솔루션을 제공합니다.
• 실용성: 이 프레임워크는 방향성 햇빛과 환경 맵 모두에서 물리적으로 타당한 재조명을 지원하므로, 월드 모델과 디지털 트윈이 필요한 응용 분야에 적합합니다.

저자들은 한계를 인정하며, 반복적 방식이 긴 시퀀스 입력에서 다중 뷰 불일치를 초래하여 재질 추정이 흐려질 수 있으며, 현재 구현은 동적 장면을 기본적으로 처리하지 않는다고 명시합니다. 향후 연구는 긴 시퀀스 LMM 과 동적 가우스 표현을 통해 이러한 문제를 해결할 것을 제안합니다.