R3GW: Relightable 3D Gaussians for Outdoor Scenes in the Wild

이 논문은 야외의 자유로운 조명 조건에서 촬영된 장면을 재조명 가능하게 표현하기 위해 전경과 배경 (하늘) 을 분리하고 물리 기반 렌더링을 3D 가우시안 스플래팅에 통합한 새로운 방법인 R3GW 를 제안합니다.

핵심

이 논문은 **"R3GW"**라는 새로운 기술을 소개합니다. 쉽게 말해, **"실제 야외에서 찍은 사진들만 가지고, 햇빛이나 날씨를 마음대로 바꿀 수 있는 3D 장면을 만드는 방법"**입니다.

기존의 기술로는 사진 속의 빛을 바꾸기 어려웠는데, 이 기술은 마치 "3D 장면을 레고 블록으로 다시 조립하듯" 빛과 재질을 분리해서 다룰 수 있게 해줍니다.

이 기술을 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "사진 속의 빛은 고장 난 조명"

기존의 3D 복원 기술 (3D Gaussian Splatting) 은 마치 사진 속의 모든 것을 하나의 '고정된 조명' 아래에 있는 것처럼 처리했습니다.

• 비유: 마치 박물관에 전시된 조각상을 한 번만 켜진 조명 아래에 두고 찍은 사진이라고 생각해보세요. 그 사진만으로는 "조명을 끄고 다시 켜면 어떻게 보일까?"를 상상하거나 실제로 바꿀 수 없습니다.
• 한계: 야외에서 찍은 사진들은 해가 움직이고 구름이 지나가며 빛이 계속 변합니다. 기존 기술은 이런 변덕스러운 빛을 구분하지 못해서, 빛을 바꾸려고 하면 장면이 뭉개지거나 이상하게 변해버렸습니다.

2. 해결책: "하늘과 땅을 나누는 두 개의 레고 세트"

R3GW 는 이 문제를 해결하기 위해 장면을 두 가지 다른 레고 세트로 나눕니다.

• ① 앞쪽의 사물 (건물, 나무 등) = "반짝이는 거울 레고"

  • 이 레고들은 빛을 받아 반사합니다. 이 기술은 이 레고들이 **어떤 재질 (매끄러운지, 거친지)**로 만들어졌는지, 그리고 어떤 빛을 받고 있는지를 따로 계산합니다.
  • 그래서 나중에 "오늘은 해가 더 강하게 비추자"라고 명령하면, 이 레고들이 새로운 빛을 받아 반짝이는 모습을 자연스럽게 보여줍니다.

• ② 뒤쪽의 하늘 = "빛을 받지 않는 천막"

  • 하늘은 빛을 반사하는 물체가 아니라, 그냥 배경입니다. 기존 기술들은 하늘도 사물처럼 빛을 받아야 한다고 착각해서, 하늘이 건물과 섞이거나 깊이가 꼬이는 문제가 생겼습니다.
  • R3GW 는 하늘을 **별도의 천막 (Gaussian)**으로 처리합니다. 이 천막은 빛의 방향이나 세기에 상관없이 그냥 그 자리에 고정되어 있습니다.
  • 효과: 이렇게 하늘과 건물을 분리했더니, 건물의 윤곽선이 훨씬 선명해지고 하늘과 건물이 만나는 부분에서 생기는 흐릿한 번짐 (아티팩트) 이 사라졌습니다.

3. 마법 같은 결과: "날씨를 마음대로 바꾸는 필터"

이제 이 기술로 만든 3D 장면을 보면:

• 햇빛을 바꾸기: 아침 햇살을 오후의 노을빛으로, 혹은 비 오는 날의 흐린 빛으로 바꿀 수 있습니다.
• 새로운 각도: 카메라를 움직여도 빛이 자연스럽게 따라옵니다.
• 물리 법칙: 빛이 건물의 구석에 그림자를 만들거나, 유리창에 반사되는 모습까지 물리 법칙에 따라 자연스럽게 재현됩니다.

---

💡 요약하자면?

이 기술은 **"야외 사진으로 만든 3D 세상"**을 다음과 같이 업그레이드했습니다.

1. 분리: 빛을 받는 '사물'과 빛을 받지 않는 '하늘'을 완전히 분리했습니다. (하늘은 그냥 배경 천막, 사물은 빛을 반사하는 거울)
2. 조절: 이렇게 분리했기 때문에, 나중에 햇빛의 방향이나 색깔을 마음대로 조절할 수 있게 되었습니다.
3. 정밀함: 하늘과 건물이 만나는 경계가 훨씬 선명해져서, 마치 실제 사진을 보는 것처럼 생생합니다.

결국 이 기술은 실제 야외에서 찍은 사진들을 가지고, 마치 영화 촬영장에서 조명 기사를 부르는 것처럼 "빛을 마음대로 조종할 수 있는 3D 세상"을 만들어낸 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 3D Gaussian Splatting (3DGS) 의 한계: 3DGS 는 정적 장면에 대한 3D 재구성과 새로운 뷰 합성 (Novel View Synthesis) 에서 뛰어난 렌더링 품질과 빠른 학습 속도를 보여주지만, 장면의 조명 (Illumination) 을 명시적으로 모델링하지 않습니다. 따라서 조명 조건을 변경하는 리라이팅 (Relighting) 작업에는 적합하지 않습니다.
• 야외 (In-the-Wild) 장면의 복잡성: 기존 조명 분리 (Decomposition) 기반의 3DGS 연구들은 고정된 조명 환경의 정적 장면을 가정합니다. 그러나 야외에서 촬영된 unconstrained(제약 없는) 사진 컬렉션은 조명 변화, 일시적 객체, 그리고 **하늘 (Sky)**이라는 특수한 요소를 포함합니다.
• 하늘 모델링의 어려움: 전경 (Foreground) 물체는 빛과 물질의 상호작용 (반사) 을 따르지만, 하늘은 비반사성 (Non-reflective) 표면으로 조명과 물질의 상호작용에 의해 색상이 결정되지 않습니다. 기존 방법들은 이를 구분하지 않고 단일 가우스 집합으로 표현하려 하거나, NeRF 기반 방법들은 학습 및 렌더링 속도가 느리고 간접 조명이나 반사 효과를 무시하는 경우가 많습니다.

2. 방법론 (Methodology)

저자들은 R3GW라는 새로운 프레임워크를 제안하며, 야외 장면을 **전경 (Foreground)**과 **하늘 (Sky)**로 분리하여 두 개의 독립적인 3D 가우스 집합으로 모델링합니다.

가. 분리된 표현 (Decoupled Representation)

• 전경 가우스 (Foreground Gaussians): 조명 변화에 따라 반사되는 물체들을 모델링합니다.
• 하늘 가우스 (Sky Gaussians): 배경인 하늘을 모델링하며, 조명이나 물질 속성과 무관하게 독립적으로 표현됩니다. 이는 깊이 재구성 아티팩트를 줄이고 하늘 - 전경 경계선에서의 렌더링 품질을 향상시킵니다.

나. 조명 및 반사 모델링 (PBR Integration)

전경 가우스는 **Physically Based Rendering (PBR)**을 통합하여 조명, 재질, 기하학을 분리합니다.

• 조명 (Lighting): 각 이미지별 환경 조명 (Environment Map) 을 학습하며, 구면 조화 함수 (Spherical Harmonics, SH) 로 파라미터화합니다. (고차 SH 사용으로 뷰 의존적 효과 포착)
• 재질 (Material): Cook-Torrance BRDF 모델을 사용하며, Disney 재질 모델을 기반으로 한 알베도 (Albedo) 와 거칠기 (Roughness) 를 학습합니다. 금속성은 0 으로 고정 (비금속 표면 가정).
• 반사 계산:
  • Diffuse: 2 차 SH 계수를 사용하여 계산 (LumiGauss 방식 참조).
  • Specular: Split-sum approximation 기법을 적용하여 적분 계산을 효율화합니다. 조명 변화가 있는 환경에서 큐브맵을 학습하는 대신, 환경 조명의 SH 계수에 가우시안 커널을 적용하여 블러링 (Smoothing) 을 수행하고 이를 반사 방향에서 평가하여 스펙큘러 색상을 계산합니다.

다. 하늘 표현 (Sky Representation)

• 하늘 가우스는 전경 기하학 뒤쪽의 상반구 (Upper Hemisphere) 영역에 위치하도록 제약받습니다.
• 위치는 구면 좌표계 (반경, 극각, 방위각) 로 파라미터화되며, 색상은 1 차 SH 계수로 표현됩니다.
• 하늘 가우스는 재질 속성 (Normal, BRDF) 을 가지지 않으며, 환경 조명과 무관하게 독립적으로 학습됩니다.

라. 손실 함수 (Loss Functions)

학습을 위해 다음과 같은 정규화 손실 함수를 추가합니다:

• 조명 양수 제약: 환경 조명이 음수가 되지 않도록 제한.
• Normal Consistency: 전경 가우스의 법선 벡터가 표면 법선과 일치하도록 유도.
• Scale Regularization: 전경 가우스가 평평하게 (Flat) 되도록 유도.
• fg-sky Loss: 하늘 가우스가 전경 영역에, 전경 가우스가 하늘 영역에 영향을 미치지 않도록 분리.
• Sky-depth Loss: 하늘 가우스의 평균 깊이가 전경 가우스보다 멀리 있도록 강제하여 깊이 아티팩트 제거.

3. 주요 기여 (Key Contributions)

1. 야외 장면용 리라이팅 가능한 3DGS 프레임워크: 제약 없는 환경에서 촬영된 야외 장면을 처리하고, 임의의 환경 맵 (Environment Map) 하에서 리라이팅을 지원하는 새로운 3DGS 프레임워크를 제시했습니다.
2. 가변 조명 환경의 PBR 통합: Cook-Torrance BRDF 와 Split-sum approximation 기법을 결합하여, 조명 변화가 있는 환경에서도 물리 기반 렌더링이 가능한 3DGS 표현을 구현했습니다.
3. 분리된 하늘 - 전경 표현: 하늘을 별도의 가우스 집합으로 모델링하여 물리적으로 타당한 장면 표현을 가능하게 했으며, 이는 깊이 추정 정확도를 높이고 하늘 - 전경 경계에서의 렌더링 아티팩트를 줄였습니다.

4. 실험 결과 (Results)

• 데이터셋: NeRF-OSR 데이터셋 (8 개의 야외 장면) 을 사용하여 평가했습니다.
• 성능 비교:
  • 정량적: R3GW 는 NeRF 기반 방법 (NeRF-OSR, NeuSky 등) 과 비교하여 학습 시간 (약 2 시간 vs 14 시간) 에서 압도적인 효율성을 보이며, PSNR 과 SSIM 에서 경쟁력 있는 성능을 달성했습니다. 특히 SSIM 점수에서 모든 방법 중 가장 높은 평균 점수를 기록했습니다.
  • 기존 3DGS 기반 방법 대비: LumiGauss 와 비교했을 때, 전경 (lk2) 에서 모든 지표에서 우월한 성능을 보였으며, 다른 장면 (lwp, st) 에서는 유사하거나 더 나은 성능을 보였습니다.
• 정성적:
  • 깊이 및 경계선: 분리된 하늘 표현 덕분에 하늘과 전경 경계에서 Halo 현상이 줄어들고 더 선명한 윤곽선을 생성했습니다 (Fig 3, 4).
  • 재질 분리: 알베도 (Albedo) 맵과 표면 법선 (Surface Normals) 을 더 선명하고 물리적으로 타당하게 예측했습니다 (Fig 5).
  • 리라이팅: 학습된 환경 맵을 사용하여 새로운 조명 조건 (HDR 환경 맵) 하에서 사실적인 새로운 뷰를 합성할 수 있음을 시연했습니다 (Fig 7, 8).

5. 의의 및 결론 (Significance & Conclusion)

• 실제 적용 가능성: R3GW 는 AR/VR, 콘텐츠 제작 등 조명 제어가 필요한 몰입형 경험에 필수적인 "야외 장면의 리라이팅" 문제를 해결합니다.
• 효율성과 품질의 균형: NeRF 기반 방법들의 느린 학습/렌더링 속도를 극복하면서도, 물리 기반 조명 분리 (PBR) 를 통해 높은 시각적 충실도를 유지합니다.
• 하늘 모델링의 혁신: 하늘을 단순한 배경이 아닌, 전경과 물리적으로 분리된 독립적인 요소로 모델링함으로써 깊이 추정 및 경계선 렌더링의 근본적인 문제를 해결했습니다.
• 향후 과제: 현재는 그림자 (Cast shadows) 와 간접 조명을 명시적으로 모델링하지는 않지만, 향후 방향성으로 제안되었습니다.

요약하자면, R3GW는 3D Gaussian Splatting 을 야외 환경의 복잡한 조명 변화와 하늘 표현에 맞게 확장하여, 빠른 학습 속도와 물리 기반의 리라이팅 가능성을 동시에 달성한 획기적인 연구입니다.