True Self-Supervised Novel View Synthesis is Transferable

이 논문은 기존 자기지도 학습 방식의 새로운 뷰 합성 모델들이 전이성이 부족하다는 문제를 지적하고, 3D 기하학적 인덕티브 바이어스나 SE(3) 와 같은 명시적 포즈 파라미터화 없이도 입력과 출력의 증강을 통해 카메라 포즈와 장면 내용을 분리하여 진정한 전이 가능한 새로운 뷰 합성을 실현한 'XFactor' 모델을 제안합니다.

핵심

🎬 핵심 아이디어: "진짜 카메라 조작자" vs "가짜 편집자"

이 논문의 저자들은 새로운 장면을 만들어내는 AI 모델들이 두 부류로 나뉜다고 말합니다.

1. 가짜 편집자 (기존 모델들):

   • 상황: 영화 촬영 현장에서 감독이 "저기서 찍어줘"라고 하면, 배우들이 이미 찍힌 장면을 이어 붙여서 (Interpolation) 그 장면을 만들어냅니다.
   • 문제: 만약 배우들이 다른 세트장으로 이동하면, 이 '가짜 편집자'는 다시 그 장면을 만들 수 없습니다. 왜냐하면 그들이 기억한 건 '특정 배우들의 움직임'이지, '카메라의 실제 위치'가 아니기 때문입니다.
   • 결과: 같은 명령을 다른 장소에 내리면, 전혀 엉뚱한 결과가 나옵니다.

2. 진짜 카메라 조작자 (이 논문의 제안, XFactor):

   • 상황: 이 모델은 배우나 배경을 보지 않고, 오직 **"카메라가 어떻게 움직였는지"**만 기억합니다.
   • 능력: "카메라를 왼쪽으로 10 도, 위로 5 미터 이동시켜"라는 명령을 내리면, 이 모델은 그 명령을 어떤 세트장이든 (산, 바다, 거실) 적용할 수 있습니다.
   • 핵심: 이 능력을 **'이전성 (Transferability)'**이라고 부릅니다. 즉, 한 장면에서 배운 카메라 움직임이 다른 장면에서도 똑같이 작동하는지 여부가 진짜 NVS 의 기준입니다.

---

🧩 기존 기술이 실패한 이유: "치트키"를 썼다?

기존의 AI 모델들은 (RayZer, RUST 등) 카메라의 위치를 3D 공간 (SE(3)) 의 수학적 좌표로 정확히 표현하려고 노력했습니다. 하지만 저자들은 이것이 오히려 독이 되었다고 말합니다.

• 비유: 마치 학생이 수학 문제를 풀 때, 공식 (3D 좌표) 을 외우기만 하고 문제의 맥락을 이해하지 못하는 것과 같습니다.
• 실제: 기존 모델들은 카메라 위치를 예측할 때, **화면의 픽셀 정보 (배경, 사물의 모습)**를 훔쳐서 답을 맞추는 '치트키'를 썼습니다. 그래서 같은 카메라 명령을 다른 배경에 적용하면, 배경 정보가 달라져서 엉망이 되는 것입니다.

---

🚀 XFactor 의 해결책: "눈 가리고 아웅" 훈련법

이 논문에서 제안한 XFactor는 이런 치트키를 못 쓰게 막기 위해 아주 창의적인 훈련 방법을 고안했습니다.

1. 스테레오 - 모노큘러 (Stereo-Monocular) 모델:

   • 기존 모델은 여러 장의 사진을 동시에 보며 "중간을 이어붙여라"라고 배웠다면, XFactor 는 오직 한 장의 사진과 한 장의 목표 사진만 보게 합니다.
   • 비유: 두 장의 사진을 동시에 보지 못하게 하니까, AI 는 "어떻게 이어붙일까?"라고 생각할 수 없습니다. 대신 **"카메라가 어떻게 움직였을까?"**라는 질문에만 집중하게 됩니다.

2. 이동성 훈련 (Transferability Objective):

   • 훈련 방식:
     1. A 라는 영상에서 카메라 움직임을 추출합니다.
     2. 그 움직임을 B 라는 완전히 다른 영상에 적용해 봅니다.
     3. 만약 B 영상의 결과가 B 의 실제 카메라 움직임과 일치한다면 성공!
   • 치트키 방지 (Augmentation): AI 가 화면의 내용 (픽셀) 을 훔쳐보지 못하게 하기 위해, 훈련 중에는 화면의 일부를 가리고 (마스크) 색상을 바꾸는 등의 장난을 칩니다. 이렇게 하면 AI 는 "화면의 내용"이 아니라 "카메라의 움직임"만 기억해야만 정답을 맞출 수 있습니다.

---

🏆 결과: 왜 이것이 획기적인가?

• 기하학 없이도 가능: 기존에는 복잡한 3D 기하학 지식 (수학 공식) 이 필수라고 생각했습니다. 하지만 XFactor 는 기하학 지식 없이도 오직 머신러닝만으로 카메라 움직임을 완벽하게 이해하고 다른 장면으로 옮길 수 있음을 증명했습니다.
• 실제 테스트: 다양한 실제 영상 데이터 (RE10K, DL3DV 등) 로 실험한 결과, XFactor 는 기존 모델들보다 훨씬 뛰어난 성능을 보였습니다. 특히, 한 장면에서 배운 카메라 움직임을 다른 장면에 적용했을 때, 그 움직임이 정확히 재현되는지 측정하는 '진짜 카메라 유사도 (True Pose Similarity)' 지표에서 압도적인 1 위를 차지했습니다.

💡 요약

이 논문은 **"진짜 3D 장면을 만드는 AI 는, 특정 장면을 기억하는 게 아니라 '카메라의 움직임'이라는 언어를 배우고 있어야 한다"**는 사실을 발견했습니다.

기존 모델들은 "이 장면을 이어붙여"라고 외웠다면, XFactor는 "카메라를 이렇게 움직여"라는 원리를 배워서, 어떤 새로운 세상 (장면) 에 가도 그 명령을 정확히 수행할 수 있게 되었습니다. 이는 3D 컴퓨터 비전 분야에서 "진짜" 새로운 각도 합성 기술의 등장을 의미합니다.

기술 요약

1. 문제 정의 (Problem)

기존의 NVS 방법론들은 대부분 COLMAP 과 같은 외부 포즈 오라클 (Oracle) 이나 다중 뷰 기하학 (Structure-from-Motion 등) 에 의존하여 카메라 포즈를 추정하고 이를 기반으로 3D 장면을 재구성합니다. 그러나 최근 연구들은 기하학적 인덕티브 바이어스 (Inductive Bias) 없이 순수 머신러닝 문제로 NVS 를 접근하려는 시도를 하고 있습니다.

하지만 저자들은 기존 자기지도 학습 NVS 모델들 (RayZer, RUST 등) 은 진정한 NVS 를 수행하지 못한다고 지적합니다.

• 핵심 문제: 기존 모델들은 학습된 '포즈'가 다른 장면 (Scene) 으로 이전되지 않습니다. 즉, 한 비디오에서 추출한 포즈를 다른 3D 장면에 적용하면 동일한 카메라 궤적이 재현되지 않습니다.
• 실제 현상: 이러한 모델들은 새로운 뷰를 합성하는 것이 아니라, 컨텍스트 프레임들 사이의 **보간 (Interpolation)**을 학습하여 맥락에 맞는 프레임을 생성하는 데 그칩니다. 사용자는 임의의 장원에서 원하는 뷰를 정의할 수 없게 됩니다.

2. 핵심 통찰 및 방법론 (Methodology)

저자들은 NVS 의 본질을 **"한 시퀀스에서 추출된 카메라 포즈 표현이 다른 어떤 시나리오에서도 동일한 카메라 궤적을 재현할 수 있는 능력 (이전성, Transferability)"**으로 정의합니다. 이를 바탕으로 XFactor를 설계했습니다.

A. 이전성 (Transferability) 의 정의 및 측정

• 정의: $PoseEncoder$가 장면 A 와 B 에서 추출한 잠재적 포즈 ($Z$) 가 서로 다른 장면의 $SceneEncoder$와 결합되었을 때, 원래의 카메라 궤적을 정확히 재현해야 합니다.
• 지표: **TPS (True Pose Similarity)**라는 새로운 지표를 도입하여, 오라클 (Ground Truth) 이 추출한 실제 카메라 궤적과 모델이 생성한 렌더링된 뷰의 궤적 간의 기하학적 일관성을 정량화합니다.

B. XFactor 의 아키텍처 및 학습 전략

XFactor 는 3D 기하학적 인덕티브 바이어스 (예: SE(3) 명시적 파라미터화, Gaussian Splatting 등) 를 전혀 사용하지 않습니다.

1. 스테레오 - 모노큘러 (Stereo-Monocular) 모델 부트스트래핑:

   • 기존 다중 뷰 모델이 여러 컨텍스트 뷰를 이용해 보간을 학습하는 것을 방지하기 위해, 단일 컨텍스트 이미지와 단일 타겟 이미지로 구성된 2-뷰 모델을 기본으로 삼습니다.
   • 이는 모델이 무조건적으로 **외삽 (Extrapolation)**을 수행하도록 강제하여, 보간 행동을 배제하고 순수한 포즈 추론을 학습하게 합니다.

2. 이전성 목적 함수 (Transferability Objective):

   • 두 개의 프레임 쌍 ($I_A, I_B$) 이 동일한 상대적 카메라 포즈를 공유하지만, 픽셀 콘텐츠는 겹치지 않도록 **증강 (Augmentation)**을 적용합니다.
   • 전략: 동일한 비디오 시퀀스에 서로 다른 마스크 (Inverse Masks) 를 적용하여 픽셀 중첩을 최소화하되 카메라 운동은 보존합니다.
   • 학습: 첫 번째 쌍에서 추출한 포즈 잠재 변수 ($Z_A$) 를 두 번째 쌍의 컨텍스트 이미지와 결합하여 두 번째 쌍의 타겟 이미지를 재구성하도록 학습합니다. 이는 모델이 픽셀 정보를 암암리에 전달하는 것을 방지하고 기하학적 포즈만 추출하도록 강제합니다.

3. 다중 뷰 확장:

   • 학습된 스테레오 - 모노큘러 모델을 기반으로, 컨텍스트 뷰를 추가하여 다중 뷰 NVS 모델로 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. NVS 의 새로운 기준 제시: 자기지도 학습 NVS 모델의 성패를 결정짓는 핵심 기준을 **이전성 (Transferability)**으로 정의하고, 이를 측정하는 TPS (True Pose Similarity) 지표를 제안했습니다.
2. 기존 모델의 한계 규명: RayZer 와 RUST 와 같은 기존 모델들이 실제로는 보간 (Interpolation) 을 수행하며, SE(3) 와 같은 명시적 기하학적 파라미터화를 사용해도 이전성이 보장되지 않음을 실험적으로 증명했습니다.
3. XFactor 모델 제안: 3D 기하학적 인덕티브 바이어스나 외부 오라클 없이, 순수한 머신러닝 접근법으로 진정한 NVS 를 달성한 최초의 자기지도 학습 모델을 제안했습니다.
4. 설계 결정의 역설적 발견:
   • 카메라 포즈를 명시적으로 SE(3) 로 파라미터화하는 것은 오히려 이전성을 해친다는 것을 발견했습니다.
   • 오히려 **입력/출력의 증강 전략 (Augmentation Strategy)**과 스테레오 - 모노큘러 구조가 기하학적 추론을 가능하게 하는 핵심 요소임을 입증했습니다.

4. 실험 결과 (Results)

RE10K, DL3DV, MVImgNet, CO3Dv2 등 대규모 실세계 데이터셋에서 XFactor 는 기존 SOTA 모델 (RayZer, RUST) 을 압도적으로 능가했습니다.

• 이전성 (Transferability): TPS 지표에서 XFactor 는 RayZer 와 RUST 보다 5 배 이상 높은 성능을 보였습니다. RayZer 와 RUST 는 이전성 테스트에서 완전히 실패하여 다른 장면에서 동일한 궤적을 재현하지 못했습니다.
• 포즈 예측 정확도 (Pose Probe): XFactor 의 잠재 포즈를 사용하여 오라클 (VGGT) 의 Ground Truth SE(3) 포즈를 예측하는 실험에서, XFactor 는 다른 모델들보다 훨씬 높은 정확도 (RRA, RTA, AUC) 를 기록했습니다.
• 재구성 품질: 자동 인코딩 (Auto-encoding) 및 전이 렌더링 (Transfer Rendering) 모두에서 높은 PSNR, SSIM, 낮은 LPIPS/FID 값을 기록하며 고품질 합성을 달성했습니다.
• Ablation Study:
  • 다중 뷰 학습으로 전환하면 이전성이 급격히 저하됨.
  • SE(3) 명시적 파라미터화는 성능을 악화시킴.
  • 정보 병목 (Bottleneck) 은 어느 정도 도움이 되지만, 증강 전략을 통한 목적 함수 설계가 더 효과적임.

5. 의의 및 결론 (Significance)

이 논문은 3D 비전 분야에서 기하학적 인덕티브 바이어스 없이도 모델이 기하학적 추론을 학습할 수 있음을 입증했습니다.

• 패러다임 전환: NVS 를 단순한 이미지 보간 문제가 아닌, 제어 가능한 카메라 궤적의 전이 문제로 재정의했습니다.
• 실용성: 외부 포즈 오라클 (COLMAP 등) 이나 3D 데이터에 대한 사전 지식이 필요 없으므로, 라벨이 없는 대규모 비디오 데이터셋을 활용한 학습이 가능해졌습니다.
• 미래 방향: 저자들은 이 연구가 머신러닝의 기본 원리에 기반한 3D 비전 문제의 새로운 공식을 제시하며, 생성형 모델 (Generative Models) 과 결합하여 더 정교한 NVS 로 발전할 수 있음을 시사합니다.

요약하자면, XFactor는 "진정한 NVS 는 다른 장면으로 포즈를 이전할 수 있어야 한다"는 명제를 증명하고, 이를 달성하기 위한 기하학 없는 자기지도 학습 프레임워크를 성공적으로 제시한 획기적인 연구입니다.