DenoiseSplat: Feed-Forward Gaussian Splatting for Noisy 3D Scene Reconstruction

이 논문은 잡음이 포함된 다중 뷰 이미지로부터 3D 장면을 재구성하기 위해, 깨끗한 2D 렌더링만으로 학습 가능한 경량 피드포워드 백본과 대규모 잡음 - 청정 벤치마크를 제안하는 'DenoiseSplat'을 소개합니다.

핵심

흐릿한 사진으로 3D 세상을 만드는 마법: 'DenoiseSplat' 소개

안녕하세요! 오늘 소개해 드릴 연구는 **"흐릿하고 노이즈가 낀 사진들로부터 깨끗한 3D 세상을 재구성하는 방법"**에 대한 것입니다.

이론적인 설명보다는 일상생활에 비유해서 쉽게 이해해 보겠습니다.

---

1. 문제 상황: "흐릿한 사진으로 3D 모델을 만들면?"

상상해 보세요. 여러분이 여행지에서 찍은 사진들이 있다고 칩시다. 그런데 그 사진들이 모래알이 섞인 것처럼 거칠고 (노이즈), 색감이 번져서 (흐림) 선명하지 않다면 어떨까요?

기존의 3D 재구성 기술 (NeRF 나 3D 가우시안 스플래팅 같은 것들) 은 **"사진이 아주 깨끗해야만 잘 작동한다"**는 전제를 가지고 있습니다. 마치 고급 요리를 하려면 최고의 신선한 재료가 필수인 것과 비슷하죠.

하지만 현실은 다릅니다. 스마트폰으로 찍은 사진, 인터넷에서 다운로드한 영상 등은 항상 **노이즈 (잡음)**나 압축 흔적을 가지고 있습니다. 이런 "상한 재료"로 요리를 하려고 하면, 기존 기술들은 3D 모델을 만들 때 형체가 뭉개지거나 색이 엉망이 되어버립니다.

2. 기존의 해결책: "사진을 먼저 다듬고, 그다음 3D 만들기"

지금까지 사람들이 취했던 방법은 **두 단계 (Two-stage)**로 나누는 것이었습니다.

1. 1 단계: 흐릿한 사진 하나하나를 AI 로 다듬어 (노이즈 제거) 깨끗하게 만든다.
2. 2 단계: 그 깨끗해진 사진들을 가지고 3D 모델을 만든다.

하지만 이 방법에는 치명적인 단점이 있습니다.

• 과도한 정리: AI 가 사진을 다듬다가 **세부적인 디테일 (예: 머리카락, 벽지 무늬)**까지 지워버리는 경우가 많습니다.
• 불일치: 사진 하나하나를 따로따로 다듬다 보니, 사진들 사이의 연결고리가 끊어집니다. 3D 모델을 만들 때는 여러 각도의 사진이 서로 완벽하게 맞아야 하는데, 각기 다른 방식으로 다듬어지면 3D 공간이 뒤틀리게 됩니다.
• 비효율: 두 번이나 처리를 해야 하니 시간이 오래 걸립니다.

3. 이 연구의 해결책: "DenoiseSplat (데노이즈 스플랫)"

이 연구는 **"사진을 따로 다듬지 말고, 3D 모델을 만드는 과정 자체에서 노이즈를 제거하자!"**라고 제안합니다.

🎨 비유: "요리사가 재료를 손질하는 방식의 변화"

• 기존 방식: 재료를 손질하는 사람 (노이즈 제거 AI) 이 재료를 다듬어서 요리사 (3D 모델링 AI) 에게 넘겨줍니다. 요리사는 다듬어진 재료만 보고 요리합니다.
• DenoiseSplat 방식: 요리사 자신이 직접 재료를 손질하면서 요리합니다. 요리사는 흐릿한 재료를 보더라도, "아, 이 부분은 노이즈니까 무시하고 이 부분을 살려야겠다"라고 3D 구조를 이해하며 동시에 재료를 정리하고 요리를 완성합니다.

4. 핵심 기술: "두 개의 뇌를 가진 AI"

이 연구의 가장 멋진 부분은 3D 모델을 만드는 AI 가 두 가지 역할을 나누어 수행한다는 점입니다.

1. 형체 담당 (Geometry Branch): "이 사물의 모양과 위치는 어때?"라고 생각합니다. 노이즈는 주로 색깔이나 질감에 영향을 주므로, 모양을 담당하는 부분은 노이즈에 덜 흔들리는 안정적인 신호만 받아서 뼈대를 잡습니다.
2. 색깔/질감 담당 (Appearance Branch): "이 사물의 색과 질감은 어때?"라고 생각합니다. 이 부분은 노이즈를 흡수하고 세부적인 색감을 다듬는 역할을 합니다.

왜 이렇게 할까요?
노이즈가 심할 때 모양 (뼈대) 이 흔들리면 3D 모델이 완전히 망가집니다. 하지만 모양은 단단하게 잡고, 색깔만 유연하게 다듬으면 노이즈가 있어도 3D 구조는 튼튼하게 유지됩니다. 마치 비 오는 날 우산을 쓰면서 걷는 것과 같습니다. 우산 (형체 담당) 이 비 (노이즈) 를 막아주면, 옷 (색깔 담당) 은 조금 젖을지라도 전체적인 모습은 흐트러지지 않죠.

5. 실험 결과: "기존 방법보다 훨씬 선명해!"

연구진은 유튜브의 부동산 영상 (RE10K) 을 가져와서 인위적으로 다양한 노이즈 (소금-후추 노이즈, 빛의 번짐 등) 를 넣은 뒤, 이 기술로 3D 모델을 만들어 보았습니다.

• 기존 방식 (사진 먼저 다듬기): 사진은 깨끗해졌지만, 3D 모델의 세부적인 질감이 뭉개지고 경계선이 흐릿해졌습니다.
• DenoiseSplat: 노이즈를 제거하면서도 벽돌의 무늬, 나뭇잎의 디테일을 선명하게 살려냈습니다. 특히 새로운 각도에서 본 모습 (Novel View) 에서도 자연스럽고 일관성이 있었습니다.

6. 요약: 왜 이 기술이 중요한가요?

이 기술은 **" imperfect (불완전한) 현실의 데이터"**를 **"perfect (완벽한) 3D 콘텐츠"**로 바꾸는 새로운 길을 열었습니다.

• VR/로봇: 흐릿한 카메라로 찍은 영상으로도 정확한 3D 지도를 만들 수 있습니다.
• 콘텐츠 제작: 고화질 카메라가 없어도, 스마트폰으로 찍은 흐릿한 영상만으로도 멋진 3D 장면을 만들 수 있습니다.
• 효율성: 사진을 따로 다듬는 과정 없이, 한 번에 3D 모델을 만들어내므로 빠르고 효율적입니다.

한 줄 요약:

"흐릿하고 노이즈가 낀 사진들만으로도, AI 가 스스로 노이즈를 걸러내며 선명하고 튼튼한 3D 세상을 재구성하는 마법 같은 기술!"

이 기술은 앞으로 우리가 만나는 모든 3D 콘텐츠가 더 현실적이고, 더 쉽게 만들어질 수 있는 기반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 3D 장면 재구성 및 새로운 뷰 합성 (Novel View Synthesis) 은 VR, 로봇 공학, 콘텐츠 제작에 필수적입니다. 최근 3D 가우시안 스플래팅 (3DGS) 은 실시간 렌더링과 높은 화질을 제공하며, MVSplat 과 같은 피드-포워드 (feed-forward) 프레임워크는 장면별 최적화 없이 희소 뷰에서 3D 를 직접 예측합니다.
• 한계점: 기존 방법들은 대부분 청결한 (clean) 입력 이미지를 가정합니다. 그러나 실제 웹 비디오나 모바일 기기에서 촬영된 데이터는 센서 노이즈, 압축 아티팩트, 저조도 열화 등으로 인해 노이즈가 포함되어 있습니다.
• 기존 해결책의 문제:
  1. 2 단계 파이프라인 (Denoise-Then-Reconstruct): 먼저 2D 이미지에서 노이즈를 제거한 후 3D 재구성을 수행하는 방식은 과잉 평활화 (over-smoothing) 로 인해 세부 정보가 손실되고, 뷰 간 일관성 (multi-view consistency) 이 약화되며, 추론 지연이 발생합니다.
  2. 직접 입력: 노이즈가 있는 이미지를 그대로 3DGS 나 MVSplat 에 입력하면 노이즈 강도가 증가함에 따라 재구성 품질이 급격히 저하됩니다.
• 목표: 3D 표현 내부에서 노이즈를 처리하여, 노이즈가 있는 다중 뷰 입력으로부터 깨끗한 3D 가우시안 장면을 직접 예측하는 단일 피드-포워드 프레임워크를 개발하는 것입니다.

2. 방법론 (Methodology)

A. 데이터 구성: 노이즈 - 클린 페어 데이터셋

• RE10K 기반: RealEstate10K(RE10K) 데이터셋을 기반으로 대규모 노이즈 - 클린 벤치마크를 구축했습니다.
• 노이즈 주입: 가우시안, 포아송, 스펙클, 소금 - 후추 (salt-and-pepper) 노이즈 등 4 가지 유형을 2D RGB 도메인에 주입했습니다.
• 장면 일관성 (Scene-level Consistency): 실제 촬영 조건을 모방하기 위해, 동일한 장면의 모든 뷰에 동일한 노이즈 유형과 강도를 적용하여 노이즈가 일관되게 유지되도록 설계했습니다.

B. 아키텍처: DenoiseSplat

기존 MVSplat 아키텍처를 기반으로 하되, 노이즈에 강인하도록 다음과 같이 개선되었습니다.

1. 피드-포워드 가우시안 스플래팅 네트워크:

   • 입력: 노이즈가 있는 다중 뷰 이미지 및 카메라 파라미터.
   • 학습: 3D 지상 진실 (Ground Truth) 없이, 클렌 2D 렌더링을 통해 지도 학습 (Supervised Learning) 을 수행합니다.
   • 출력: 단일 순전파 (forward pass) 로 깨끗한 3D 가우시안 표현과 고품질 새로운 뷰 렌더링을 생성합니다.

2. 이중 분기 가우시안 헤드 (Dual-branch Gaussian Head):

   • 기하 - 외관 분리 (Geometry-Appearance Decoupling): 노이즈에 민감한 외관 정보와 상대적으로 안정적인 기하 정보를 분리하여 예측합니다.
     • 기하 분기 (Geometric Branch): 중심 (center), 회전 (rotation), 스케일 (scale), 불투명도 (opacity) 를 예측. 노이즈에 덜 민감한 구조적 단서를 활용합니다.
     • 외관 분기 (Appearance Branch): 구면 조화 함수 (Spherical Harmonics) 계수와 색상을 예측. 잔여 노이즈와 색상 변동을 흡수하도록 설계되었습니다.

3. 교차 분기 경계 안내 외관 보정 (CBC, Cross-Branch Boundary-Guided Appearance Correction):

   • 기하 분기에서 예측된 깊이/불일치 (disparity) 정보와 신뢰도 (confidence) 를 활용하여 경계 (boundary) 맵을 생성합니다.
   • 이 맵을 게이트 (gate) 신호로 사용하여 외관 분기의 잔류 보정 (residual refinement) 을 제어합니다.
   • 효과: 기하학적 불확실성이 높은 경계 영역에서 발생하는 아티팩트를 억제하고, 고신뢰도 영역에서는 불필요한 수정을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 노이즈가 있는 다중 뷰 재구성을 위한 프레임워크 제안: MVSplat 기반의 피드-포워드 3DGS 프레임워크인 DenoiseSplat을 제안하여, 장면별 최적화 없이 노이즈가 있는 입력에서도 강인한 재구성을 가능하게 합니다.
2. 이중 분기 구조 및 CBC 메커니즘: 기하와 외관을 분리하고 경계 정보를 활용한 보정 메커니즘을 도입하여, 강한 노이즈 하에서도 구조적 일관성과 선명한 텍스처를 유지합니다.
3. 다중 노이즈 - 장면 일관성 벤치마크 구축: RE10K 기반의 재현 가능한 노이즈 - 클린 페어 데이터셋을 공개하여, 노이즈가 있는 3D 재구성을 연구하기 위한 표준 평가 환경을 제공합니다.
4. 종합적인 실험 및 검증: 다양한 노이즈 유형과 강도에서 기존 방법 (Vanilla MVSplat, 2 단계 파이프라인) 대비 우수한 성능을 입증하고, 설계 선택에 대한 애벌레이션 연구를 수행했습니다.

4. 실험 결과 (Results)

• 데이터셋: 노이즈가 주입된 RE10K 테스트셋.
• 비교 대상:
  • MVSplat-GT (클린 입력 기준 상한선)
  • MVSplat-Noisy (노이즈 입력을 그대로 처리)
  • Denoise-Then-MVSplat (최신 2D 디노이저 IDF + MVSplat 의 2 단계 파이프라인)
  • DenoiseSplat (제안 방법)
• 성능 지표 (PSNR, SSIM, LPIPS):
  • DenoiseSplat 은 모든 노이즈 유형과 강도에서 MVSplat-Noisy와 2 단계 파이프라인을 능가하는 성능을 보였습니다.
  • 특히 LPIPS(지각적 품질) 와 SSIM(구조적 유사성) 에서 2 단계 파이프라인보다 우위를 점하며, 클린 입력 기준 (MVSplat-GT) 과의 격차를 크게 줄였습니다.
• 시각적 품질:
  • 2 단계 파이프라인은 에지가 흐려지거나 미세한 텍스처가 손실되는 경향이 있었으나, DenoiseSplat 은 노이즈를 제거하면서도 **경계 선명도 (boundary sharpness)**와 텍스처 세부 사항을 잘 보존했습니다.
  • 새로운 뷰 합성 (Novel View Synthesis) 에서도 기하학적 일관성이 더 우수하게 유지되었습니다.
• 효율성: 추가적인 2D 디노이징 단계가 없어 추론 시간이 2 단계 파이프라인보다 짧고 메모리 사용량이 효율적입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실제 적용 가능성: 실제 세계의 불완전한 데이터 (센서 노이즈, 저조도 등) 에서도 고품질 3D 재구성이 가능함을 입증하여, VR/AR, 로봇 내비게이션 등 실제 응용 분야로의 확장성을 높였습니다.
• 패러다임 전환: 노이즈 처리를 전처리 (2D) 가 아닌 3D 표현 학습 과정 내부로 통합함으로써, 뷰 간 일관성을 해치지 않으면서 노이즈를 효과적으로 제거하는 새로운 접근법을 제시했습니다.
• 한계 및 향후 과제: 현재는 합성 노이즈에 기반하고 있으며, 실제 카메라 노이즈나 모션 블러, 압축 아티팩트 등 더 복잡한 열화 현상에 대한 연구와 다양한 데이터셋으로의 일반화 검증이 필요하다고 언급했습니다.

이 논문은 노이즈가 있는 환경에서도 고품질의 3D 가우시안 스플래팅을 가능하게 하는 최초의 피드-포워드 프레임워크 중 하나로, 노이즈 강인성 (Robustness) 과 재구성 품질을 동시에 달성하는 중요한 진전을 이룩했습니다.