The Less You Depend, The More You Learn: Synthesizing Novel Views from Sparse, Unposed Images with Minimal 3D Knowledge

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 새로운 뷰 합성 (Novel View Synthesis, NVS) 은 컴퓨터 비전과 그래픽스의 핵심 과제입니다. 최근에는 경량화된 신경망을 통해 입력 이미지를 기반으로 새로운 시점을 생성하는 피드 - 포워드 (Feed-forward) 방식이 주류를 이루고 있습니다.
• 기존 접근법의 한계: 기존 피드 - 포워드 NVS 방법들은 크게 두 가지 철학으로 나뉩니다.
  1. 편향 주도 (Bias-driven): 명시적인 3D 지식 (NeRF, 3DGS 와 같은 수작업 3D 표현, COLMAP 등을 통한 카메라 포즈 추정) 을 아키텍처에 직접 주입하는 방식.
  2. 데이터 중심 (Data-centric): 대규모 2D 이미지 데이터로부터 3D 구조를 암시적으로 학습하는 방식.
• 핵심 문제: 데이터가 폭발적으로 증가하는 시대에, 어떤 패러다임이 더 확장 가능 (Scalable) 하고 성능이 우수한가? 또한, SfM(Structure-from-Motion) 으로 추정된 카메라 포즈나 명시적인 3D 표현에 의존하는 것이 오히려 성능의 병목 현상을 초래하지는 않는가?
• 가설: "적게 의존할수록 더 많이 학습한다 (The Less You Depend, The More You Learn)." 즉, 명시적인 3D 지식 (장면 구조, 포즈 주석) 에 대한 의존도를 낮출수록 데이터 양이 증가함에 따라 성능이 더 급격히 향상된다는 가설을 제기합니다.

2. 제안 방법 (Methodology): UP-LVSM

저자들은 위 가설을 검증하고, 명시적인 3D 지식과 포즈 주석 없이도 고품질 NVS 를 수행하는 새로운 프레임워크 UP-LVSM (Unposed Large View Synthesis Model) 을 제안합니다.

2.1 핵심 아키텍처

• Transformer 기반 Encoder-Decoder: DINOv2 를 사용하여 입력 이미지를 패치 토큰으로 인코딩하고, Transformer 를 통해 장면의 잠재 표현 (Scene Latent) 을 복원합니다.
• 암시적 장면 표현: NeRF 나 3DGS 와 같은 명시적인 3D 표현 대신, 장면을 잠재 토큰 (Latent Tokens) 으로 표현하여 데이터로부터 직접 학습합니다.

2.2 Latent Plücker Learner (핵심 혁신)

• 문제: 기존 'Unposed' 설정에서도 타겟 뷰의 포즈 ($P_T$) 를 학습 과정에서 주석으로 사용하거나, SfM 으로 추정된 포즈를 의존하는 경우가 많습니다. 이는 간접적인 3D 지식 의존성입니다.
• 해결: UP-LVSM 은 Latent Plücker Learner를 도입하여 타겟 뷰의 포즈 정보를 자기지도 학습 (Self-supervised) 방식으로 학습합니다.
  • 정보 누출 방지: 타겟 이미지 자체의 내용을 잠재 포즈에 포함시키지 않도록, 이미지를 매우 컴팩트한 7 차원 잠재 포즈 토큰 (이동량 $x$ 와 회전량 $q$) 으로 압축합니다.
  • 세밀한 렌더링: 이 컴팩트한 토큰을 Plücker Ray Embedding을 통해 픽셀 단위의 세밀한 조건 (Conditioning) 으로 변환하여 렌더러에 제공합니다. 이를 통해 3D 주석 없이도 정확한 기하학적 관계를 학습합니다.

2.3 카메라 제어 가능성 (Camera Control)

• 학습된 잠재 공간 (Latent Space) 은 명시적이지 않아 직접적인 카메라 제어가 어렵다는 단점이 있습니다.
• 이를 해결하기 위해, 소량의 포즈가 있는 데이터 (RealEstate10K 의 1.8%) 를 사용하여 SE(3) 공간에서 학습된 잠재 공간으로의 선형 매핑 (Linear Mapper) 을 미세 조정 (Fine-tuning) 합니다. 이를 통해 사용자가 지정한 카메라 궤적을 직접 입력하여 렌더링할 수 있게 합니다.

3. 주요 실험 결과 (Results)

3.1 확장성 (Scalability) 분석

• 실험 설정: RealEstate10K, DL3DV, ACID, Objaverse 등 다양한 데이터셋을 사용하여 데이터 양 (1K ~ 128K) 을 변화시키며 성능을 비교했습니다.
• 결과:
  • 3D 지식 의존도 감소 = 성능 향상 가속화: 명시적인 3D 구조나 포즈에 의존하는 방법 (MVSplat, NoPoSplat 등) 은 소량 데이터에서는 잘 작동하지만, 데이터가 증가함에 따라 성능 향상이 둔화되거나 정체됩니다.
  • UP-LVSM 의 우위: 3D 지식에 의존하지 않는 UP-LVSM 은 데이터가 증가할수록 성능이 급격히 향상되어, 포즈가 주어진 최첨단 방법들 (LVSM 등) 을 능가합니다.
  • SfM 포즈의 노이즈 문제: SfM 으로 추정된 포즈는 기하학적 편향과 노이즈를 포함하고 있어, 데이터가 커질수록 이 노이즈가 학습을 방해하여 성능 상한을 낮추는 것으로 분석되었습니다.

3.2 정량적 성능 (Quantitative Performance)

• RealEstate10K: UP-LVSM 은 포즈 주석이 없는 설정에서 PSNR 28.82, SSIM 0.891 을 기록하여, 포즈가 주어진 기존 최상위 방법 (LVSM: PSNR 27.60) 보다 우수한 성능을 보였습니다.
• Zero-Shot Generalization: RealEstate10K 에서 학습하여 ACID 데이터셋에서 테스트했을 때, ACID 에서 직접 학습한 방법보다 더 좋은 일반화 성능을 보였습니다.
• 3D 인식 능력 (3D Awareness): Attention 맵 시각화와 3D 인식 프로빙 (Probing) 실험을 통해, 명시적인 3D 지식을 주입받지 않았음에도 모델이 공간 관계와 3D 기하학을 효과적으로 학습했음을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 3D 지식 의존성과 확장성의 상관관계 규명: NVS 분야에서 명시적인 3D 지식 (장면 구조, 포즈) 에 대한 의존도를 줄일수록 데이터 양 증가에 따른 성능 향상 폭이 커진다는 "The Less You Depend, The More You Learn" 라는 핵심 원칙을 발견하고 체계적으로 증명했습니다.
2. UP-LVSM 프레임워크 제안: 명시적인 3D 표현과 카메라 포즈 주석 없이도, 2D 이미지만으로 3D 공간 추론을 학습하는 새로운 데이터 중심 NVS 모델을 개발했습니다.
3. Latent Plücker Learner: 자기지도 학습 방식으로 카메라 기하학을 학습하고 정보 누출을 방지하는 새로운 모듈을 설계하여, 포즈 없는 설정에서도 고품질 합성을 가능하게 했습니다.
4. 실용적 카메라 제어: 학습된 잠재 공간과 실제 SE(3) 공간 간의 매핑을 통해, 포즈 주석 없이도 사용자가 지정한 카메라 경로로 렌더링을 제어할 수 있는 방법을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 NVS 분야의 패러다임 전환을 시사합니다. 과거에는 정확한 3D 기하학이나 포즈 정보를 전제로 하는 것이 고성능의 필수 조건으로 여겨졌으나, 본 연구는 대규모 2D 데이터를 통해 3D 구조를 암시적으로 학습하는 것이 더 확장 가능하고 강력한 접근법임을 입증했습니다.

• 데이터 중심 AI 의 승리: 수작업으로 설계된 3D 편향 (Inductive Bias) 보다 방대한 데이터에서 학습된 암시적 표현이 더 높은 성능 상한을 가질 수 있음을 보여줍니다.
• 실용성: 카메라 포즈를 추정하거나 주석으로 제공하는 비용과 오류를 제거함으로써, 실제 응용 (예: 스마트폰 사진, 웹 이미지 등) 에 훨씬 더 유연하게 적용 가능한 NVS 기술을 제시합니다.
• 미래 방향: 3D 지식에 대한 의존을 최소화하는 방향으로 NVS 연구가 나아가야 함을 강조하며, 향후 더 큰 규모의 데이터셋과 결합될 경우 그 잠재력이 무한할 것임을 시사합니다.