CuriGS: Curriculum-Guided Gaussian Splatting for Sparse View Synthesis

이 논문은 3D 가우스 스플래팅 (3DGS) 을 희소 뷰 합성에 적용할 때 발생하는 과적합 문제를 해결하기 위해, 점진적으로 난이도가 조절되는 커리큘럼 학습과 '학생 뷰' 증강 기법을 도입한 CuriGS 프레임워크를 제안합니다.

핵심

CuriGS: 3D 재구성을 위한 '교육 과정'이 있는 마법 같은 기술

이 논문은 **3D Gaussian Splatting (3DGS)**이라는 최신 3D 그래픽 기술을 더 적은 사진으로도 훨씬 더 잘 작동하게 만든 획기적인 방법인 CuriGS를 소개합니다.

이 기술을 일반인이 이해하기 쉽게, **'사진으로 3D 세상을 만드는 일'**과 **'학생과 선생님의 교육 과정'**에 비유해서 설명해 드리겠습니다.

---

1. 문제: "사진이 너무 적어요!" (희소 뷰 합성)

상상해 보세요. 여러분이 어떤 건물을 3D 로 재현하려고 합니다.

• 기존 방식 (3DGS): 보통은 건물을 360 도 모두 찍은 수백 장의 사진이 필요합니다. 이걸로 3D 모델을 만들면 정말 선명하고 빠릅니다.
• 현실의 문제: 하지만 실제로는 건물을 한두 장, 혹은 아주 적은 수의 사진만 찍을 수 있는 경우가 많습니다. (예: 고궁 한 구석, 위험한 지역, 혹은 드론이 날아갈 수 없는 곳)
• 결과: 사진이 너무 적으면 컴퓨터는 "어? 이 부분은 뭐지?"라고 헷갈려서 망가진 3D 모델을 만들거나, 찍은 사진만 외워서 새로운 각도에서는 엉망이 되는 과적합 (Overfitting) 현상이 발생합니다.

2. 해결책: CuriGS (교육 과정을 가진 3DGS)

저자들은 이 문제를 해결하기 위해 **'Curriculum (교육 과정)'**이라는 개념을 도입했습니다. 마치 선생님이 학생을 가르칠 때, 쉬운 것부터 어려운 것까지 단계별로 가르치는 방식과 같습니다.

🎓 핵심 비유: 선생님 (Teacher) 과 학생 (Student)

• 선생님 (Teacher): 우리가 실제로 찍은 진짜 사진들입니다. 이 사진들의 위치 (카메라 각도) 가 기준이 됩니다.
• 학생 (Student): 컴퓨터가 가상으로 만들어낸 새로운 사진들입니다. 진짜 사진 주변에 아주 살짝 다른 각도로 찍은 것처럼 만들어낸 '가짜' 사진들입니다.

3. CuriGS 가 작동하는 3 단계 과정

이 기술은 다음과 같은 3 단계로 작동합니다.

1 단계: 쉬운 문제부터 시작하기 (Curriculum Scheduling)

처음에는 컴퓨터에게 아주 살짝만 다른 각도의 '학생 사진'을 보여줍니다.

• 비유: 선생님이 학생에게 "너는 진짜 사진에서 1 도만 왼쪽으로 고개를 돌린 것처럼 그려봐"라고 시킵니다.
• 이유: 너무 멀리서 보면 헷갈려서 망가질 수 있으니까, 아주 가까운 곳에서부터 시작해서 3D 모델을 안정화시킵니다.

2 단계: 점점 어려운 문제로 (Progressive Unlocking)

모델이 익숙해지면, 컴퓨터는 점점 더 멀리서 찍은 듯한 학생 사진을 만들어냅니다.

• 비유: "자, 이제 5 도, 10 도, 20 도... 점점 더 멀리서 찍은 것처럼 그려봐."
• 효과: 모델이 다양한 각도에서도 건물을 제대로 이해하도록 훈련시킵니다.

3 단계: 잘한 학생만 채용하기 (Evaluation & Promotion)

모든 '학생 사진'을 다 쓰는 게 아닙니다. 컴퓨터는 만든 가짜 사진들을 꼼꼼히 검사합니다.

• 검사 기준:
  1. 구조적 유사성 (SSIM): 진짜 사진과 모양이 비슷한가?
  2. 감각적 유사성 (LPIPS): 사람이 봤을 때 자연스러운가?
  3. 화질 점수: 흐릿하거나 이상한 점이 없는가?
• 채용: 이 점수가 높은 '우수 학생'들만 진짜 훈련 데이터로 합쳐서 모델에게 더 가르칩니다. 점수가 낮은 나쁜 가짜 사진은 버립니다.

4. 왜 이것이 특별한가요?

기존 방법들은 단순히 "가상 사진을 많이 만들어서 훈련해라"라고 했지만, CuriGS 는 **"어떤 순서로, 어떤 질의 사진을 넣을지"**를 철저히 관리합니다.

• 과적합 방지: 나쁜 가짜 사진을 걸러내기 때문에, 모델이 엉뚱한 것을 외우는 것을 막습니다.
• 기하학적 일관성: 건물의 모양이 뒤틀리지 않고 자연스럽게 유지됩니다.
• 실제 성능: 실험 결과, 기존에 가장 잘하던 기술들보다 더 선명한 이미지와 더 정확한 3D 구조를 만들어냈습니다.

5. 요약: 한 문장으로 정리

"CuriGS 는 아주 적은 수의 사진만으로도 3D 세상을 재현할 때, 컴퓨터에게 '선생님의 진짜 사진'을 바탕으로 '학생용 가짜 사진'을 단계별로 만들어내게 하고, 그중에서 가장 잘 만든 것만 골라서 가르쳐줌으로써, 적은 자료로도 완벽한 3D 모델을 완성하게 해주는 똑똑한 교육 시스템입니다."

이 기술은 가상 현실 (VR), 디지털 유산 보존, 자율 주행 등 적은 데이터로도 고품질 3D 가 필요한 모든 분야에 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

3D 가우시안 스플래팅 (3DGS) 은 실시간 장면 재구성 및 렌더링을 위한 효율적이고 고품질의 표현 방식으로 등장했습니다. 그러나 희소 뷰 (Sparse View) 환경, 즉 제한된 수의 입력 이미지만으로 장면을 재구성할 때는 다음과 같은 근본적인 한계가 존재합니다.

• 감독 신호의 부족 (Supervision Scarcity): 제한된 뷰포인트는 3D 구조 학습에 필요한 다중 뷰 정보를 제공하지 못합니다.
• 과적합 (Overfitting): 모델은 제한된 입력 뷰에 과도하게 적합되어, 새로운 뷰에서 렌더링 시 기하학적 불일치 (Geometric Inconsistency) 나 아티팩트가 발생합니다.
• 기존 방법의 한계: 기존 NeRF 기반 또는 3DGS 기반 희소 뷰 방법들은 주로 외부 깊이 사전 지식 (Depth Priors) 이나 정규화 기법을 도입하여 과적합을 완화하려 했습니다. 하지만 이는 근본적인 '감독 신호의 부재' 문제를 해결하지 못하며, 외부 정보의 품질에 의존하거나 복잡한 계산 오버헤드를 초래합니다.

2. 제안 방법: CuriGS (Methodology)

저자들은 CuriGS(Curriculum-Guided Gaussian Splatting) 를 제안합니다. 이는 '커리큘럼 학습 (Curriculum Learning)' 개념을 3DGS 에 적용하여, 실제 카메라 (Teacher) 주변에 생성된 가상의 뷰 (Student) 를 점진적으로 학습 데이터에 통합하는 데이터 중심 프레임워크입니다.

핵심 구성 요소:

1. 학생 뷰 생성 (Student View Generation):

   • 실제 카메라 (Teacher) 의 외향 파라미터 (Extrinsics) 를 기반으로 가상의 카메라 (Student) 를 생성합니다.
   • Teacher 뷰를 중심으로 회전 (Yaw, Pitch) 과 반경 방향 (Radial) 에 작은 섭동 (Perturbation) 을 가하여 다양한 각도의 가시점을 만듭니다.
   • 섭동의 크기는 여러 단계 (Level) 로 나누어 정의됩니다.

2. 커리큘럼 스케줄링 (Curriculum Scheduling):

   • 모든 학생 뷰를 한 번에 도입하는 것이 아니라, 점진적解锁 (Unlocking) 전략을 사용합니다.
   • 초기 학습 단계에서는 작은 섭동 (Small $\sigma$) 을 가진 학생 뷰만 활성화하여 국소적 기하 일관성을 확보합니다.
   • 학습이 진행됨에 따라 더 큰 섭동 크기의 학생 뷰 그룹을 순차적으로 해제하여 모델이 점차 더 다양한 관점에 적응하도록 유도합니다.

3. 학생 뷰 평가 및 승진 (Evaluation & Promotion):

   • 멀티-신호 평가 지표: SSIM(구조적 유사성), LPIPS(지각적 유사성), 무참조 이미지 품질 점수 (No-reference quality) 를 결합하여 학생 뷰의 품질을 평가합니다.
   • 승진 메커니즘: 각 Teacher 와 섭동 레벨별로 가장 성능이 좋은 학생 뷰를 유지하며, 사전 정의된 품질 임계값을 통과한 경우만 최종 학습 세트 (Training Set) 에 추가합니다. 이를 통해 저품질의 가시점 생성을 방지하고 신뢰할 수 있는 감독 신호만 확장합니다.

4. 최적화 목적 함수 (Optimization Objective):

   • 동적 학습 손실 (Dynamic Training Loss): 원본 뷰와 승진된 학생 뷰 모두를 포함한 현재 학습 세트를 기반으로 계산됩니다.
   • 앵커 손실 (Anchor Loss): 원본 Ground Truth 뷰에 대한 손실을 고정하여, 생성된 데이터에 과적합되거나 의미적 드리프트 (Semantic Drift) 가 발생하는 것을 방지합니다.
   • 학생 정규화 (Student Regularization):
     • 깊이 상관관계 (Depth-correlation): 사전 학습된 단안 깊이 추정 모델을 사용하여 렌더링된 깊이와 3DGS 의 메트릭 깊이의 상관관계를 일치시킵니다.
     • 공정규화 (Co-regularization): 두 개의 독립적으로 초기화된 모델을 동시에 학습시켜, 동일한 학생 뷰에 대한 렌더링 결과가 일관되도록 강제합니다.

3. 주요 기여 (Key Contributions)

1. 커리큘럼 기반 희소 뷰 확장: 희소 입력에서 직접적으로 감독 신호를 확장하는 최초의 커리큘럼 가이드 3DGS 프레임워크를 제안했습니다. 이는 과적합과 기하 불일치를 동시에 완화합니다.
2. 통합된 가시점 학습 메커니즘: 가시점 생성, 평가, 통합을 위한 원칙 있는 프레임워크를 제공하여, 재구성 및 합성 작업에서 가상 뷰 학습의 새로운 방향을 제시합니다.
3. 우수한 성능 및 일반화: 다양한 합성 및 실제 희소 뷰 시나리오에서 기존 SOTA(최첨단) 방법들보다 렌더링 충실도, 지각적 품질, 기하학적 일관성 면에서 일관되게 우월한 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 LLFF, MipNeRF-360, DTU 등 세 가지 널리 사용되는 벤치마크에서 실험을 수행했습니다.

• 정량적 평가:
  • LLFF (3 뷰): PSNR 21.10, SSIM 0.732, LPIPS 0.193 로 기존 3DGS 기반 방법들 (FSGS, CoR-GS 등) 보다 우수한 성능을 기록했습니다.
  • MipNeRF-360 (24 뷰): 대규모 무경계 장면에서 PSNR 24.21, SSIM 0.761 을 달성하여 가장 높은 성능을 보였습니다.
  • DTU (3 뷰): 기하학적 민감도 지표인 SSIM 에서 0.873 을 기록하며 얇은 구조와 세부 사항을 잘 보존함을 입증했습니다.
• 정성적 평가:
  • 다른 방법들에서 발생하는 텍스처 드리프트 (Texture drift) 나 블러링 현상이 현저히 감소했습니다.
  • 특히 DTU 데이터셋에서 얇은 구조물과 미세한 기하학적 디테일이 다른 방법들보다 훨씬 선명하게 재구성되었습니다.
• 애블레이션 연구 (Ablation Study):
  • 커리큘럼 가이드를 제거할 경우 모든 데이터셋에서 성능이 크게 저하됨을 확인했습니다 (예: DTU 3 뷰에서 PSNR 4dB 이상 감소).
  • 앵커 손실과 학생 정규화 손실 모두 모델의 기하학적 안정성과 과적합 방지에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

CuriGS 는 희소 뷰 3D 재구성의 근본적인 문제인 감독 신호의 부족을 해결하기 위해, 외부 데이터에 의존하지 않고 학습 과정 내에서 자체적으로 고품질의 가상 뷰를 생성하고 선별하는 혁신적인 접근법을 제시합니다.

• 데이터 효율성 극대화: 제한된 입력 이미지로부터 최대한의 정보를 추출하여 모델의 일반화 능력을 향상시킵니다.
• 안정성: 커리큘럼 학습을 통해 학습 초기의 불안정성을 방지하고, 점진적인 관점 확장을 통해 안정적인 수렴을 보장합니다.
• 실용성: 실시간 렌더링이 가능한 3DGS 의 장점을 유지하면서, 희소 뷰 환경에서도 고품질의 기하학적 구조와 사실적인 외관을 재구성할 수 있어, 가상 현실 (VR), 디지털 트윈, 문화유산 보존 등 다양한 분야에서 활용 가능성이 큽니다.

이 연구는 희소 뷰 재구성 분야에서 단순한 정규화 기법을 넘어, 학습 전략 (Curriculum) 과 데이터 증강 (Data Augmentation) 을 통합한 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.