💻 computer science

One View Is Enough! Monocular Training for In-the-Wild Novel View Generation

이 논문은 단일 이미지만으로 30 만 개의 인터넷 이미지를 활용해 학습된 'OVIE'를 제안하여, 추론 시 기하학적 정보가 필요 없으면서도 제로샷 성능과 속도를 기존 방법보다 크게 향상시킨 단안 신시각 생성 모델을 소개합니다.

원저자: Adrien Ramanana Rahary, Nicolas Dufour, Patrick Perez, David Picard

게시일 2026-03-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Adrien Ramanana Rahary, Nicolas Dufour, Patrick Perez, David Picard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"OVIE": 한 장의 사진으로 세상을 돌아다니는 마법

이 논문은 **"한 장의 사진만으로도, 그 장면을 다른 각도에서 볼 수 있게 해주는 AI"**를 소개합니다. 보통 이런 기술을 배우려면 같은 장면을 여러 각도에서 찍은 수백 장의 사진이 필요했는데, 이 연구는 **"그냥 인터넷에 떠도는 사진 한 장이면 충분하다"**고 주장하며 혁신적인 방법을 제시했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: 왜 다른 각도에서 볼 수 없을까?

상상해 보세요. 여러분이 성당 한 장면을 찍은 사진을 들고 있다고 칩시다. 그 사진 속에서는 성당 한쪽 면만 보이지만, 사람들은 머릿속으로 "저기 뒤쪽은 어떨까?", "왼쪽에서 보면 어떨까?"라고 상상할 수 있습니다.

하지만 컴퓨터는 그렇게 못 합니다. 컴퓨터는 보통 **동일한 장면을 여러 각도에서 찍은 사진 (다중 뷰 데이터)**을 많이 보여줘야 "아, 이 각도에서는 저렇게 보구나"라고 배웁니다. 문제는 이런 데이터가 매우 귀하고, 인터넷에 떠도는 수많은 사진 (야외 풍경, 그림, 일상 사진 등) 은 대부분 한 장만 있어서 학습에 쓸 수 없다는 점입니다.

2. 해결책: "가상 3D"를 만들어내는 마법 (OVIE)

이 연구팀 (OVIE) 은 **"실제 3D 데이터가 없어도, AI 가 스스로 3D 를 상상하게 만들자"**고 생각했습니다.

🏗️ 비유: 건축가의 '가상 목업'

OVIE 의 학습 과정을 건축가에 비유해 볼까요?

한 장의 사진 (Source Image): 건축가가 한 장의 평면도 (사진) 를 받습니다.
깊이 추정 (Depth Estimator): 건축가는 그 평면도를 보고 "벽은 여기까지, 창문은 저기까지"라고 **가상의 3D 목업 (점 구름)**을 머릿속으로 만듭니다. (실제 3D 모델링은 아니지만, 대략적인 모양은 잡힙니다.)
가상 카메라 이동: 이제 건축가는 그 가상의 목업을 3D 공간에서 돌려봅니다. "자, 이제 왼쪽으로 10cm 가자."
새로운 그림 그리기 (Pseudo-Target): 목업을 돌렸으니, 자연스럽게 새로운 각도에서 본 그림이 그려집니다.
- 문제점: 목업이 완벽하지 않아서 가려진 부분 (예: 벽 뒤에 있는 것) 은 빈 공간으로 남습니다.
학습: AI 는 "원래 사진"과 "가상 목업으로 만든 새로운 그림"을 비교하며 학습합니다. "여기 빈 공간은 원래 어떤 모습이었을지"를 추론하는 능력을 기르는 것입니다.

이 과정을 3 천만 장의 인터넷 사진으로 반복하며 학습시켰습니다. 중요한 건, 이 과정에서 실제 3D 데이터나 여러 각도의 사진은 전혀 쓰지 않았다는 점입니다.

3. OVIE 의 놀라운 능력

🚀 속도: "초고속"

기존의 방법들은 새로운 각도를 만들 때 매번 복잡한 3D 계산을 하느라 느렸습니다. 마치 한 장의 사진을 보고 3D 모델을 직접 조립하는 것과 비슷했죠.
하지만 OVIE 는 학습이 끝난 후에는 3D 계산기를 아예 버립니다.

비유: 처음에는 3D 목업을 만들어보며 연습했지만, 실전에서는 **"눈을 감고도 그 각도의 그림을 바로 그려낼 수 있는 천재 화가"**가 된 것입니다.
결과: 다른 방법보다 600 배나 더 빠릅니다. (초당 100 장 이상 생성 가능!)

🌍 범위: "어디서나 통하는 만능 열쇠"

기존 AI 들은 주로 실내 사진이나 특정 건물 데이터로만 학습해서, 야외 풍경이나 그림을 보면 엉뚱한 결과를 내곤 했습니다.
OVIE 는 **인터넷의 모든 사진 (실내, 야외, 그림, 사진 등)**으로 학습했기 때문에, 어떤 장면을 보여줘도 "이건 이런 식으로 돌아가면 되겠구나"라고 자연스럽게 추론합니다.

📏 거리감: "실제 크기 감각"

가장 중요한 점은 **거리감 (Scale)**입니다.

비유: 다른 AI 들은 "사과를 1m 뒤에서 찍은 사진"과 "사과를 10m 뒤에서 찍은 사진"을 구분하지 못해, 카메라를 움직일 때 사과의 크기가 이상하게 변했습니다.
OVIE: 하지만 OVIE 는 실제 미터 (m) 단위로 깊이를 학습했기 때문에, 카메라를 20cm 움직일 때 가까운 사과는 크게 움직이고, 먼 산은 거의 안 움직이는 **자연스러운 시차 (Parallax)**를 완벽하게 구현합니다.

4. 요약: 왜 이것이 중요한가?

이 기술은 **"한 장의 사진으로 3D 세계를 탐험할 수 있는 시대를 열었다"**는 점에서 획기적입니다.

과거: 3D 를 보려면 여러 각도에서 사진을 찍어야 함 (귀찮고 비쌈).
현재 (OVIE): 인터넷에 있는 사진 한 장만 있으면, 그 장면을 360 도 돌아다니며 볼 수 있음 (무료이고 빠름).

마지막 비유:
마치 마법 거울을 보는 것과 같습니다. 거울 앞에 서서 "왼쪽으로 좀 봐줘"라고 말하면, 거울이 당신을 왼쪽에서 비추는 새로운 영상을 즉시 보여줍니다. OVIE 는 바로 그 마법 거울을 만들어낸 기술입니다.

이제 우리는 인터넷에 있는 어떤 사진이든, 마치 그 자리에 직접 가서 다양한 각도로 구경하듯 즐길 수 있게 되었습니다.

1. 문제 정의 (Problem Statement)

기존의 단안 (Monocular) 신시각 (Novel View Synthesis, NVS) 연구는 다중 뷰 (Multi-view) 이미지 쌍을 통한 지도 학습에 의존해 왔습니다. 이는 다음과 같은 심각한 한계를 초래합니다.

데이터의 부재: 실제 세계에서 정렬된 (posed) 정적 다중 뷰 데이터셋은 매우 희소하며, 주로 제한된 도메인 (예: RealEstate10K, DL3DV) 에만 존재합니다.
일반화 능력 부족: 특정 도메인 데이터로 훈련된 모델은 훈련 데이터와 다른 환경 (In-the-wild) 에서는 성능이 급격히 저하됩니다.
동적 요소의 문제: 비디오 데이터는 풍부하지만, 사람이나 차량과 같은 동적 요소로 인해 기하학적 일관성을 해쳐 학습에 사용하기 어렵습니다.

따라서, 단 하나의 이미지로부터 다양한 시점을 생성하면서도 다중 뷰 데이터 없이 인터넷 규모의 방대한 이미지로 학습하여 강력한 일반화 능력을 갖는 모델이 필요합니다.

2. 방법론 (Methodology)

저자들은 OVIE라는 모델을 제안하며, 이는 단안 깊이 추정 (Monocular Depth Estimation) 을 기하학적 스캐폴드 (Scaffold) 로 활용하여 다중 뷰 데이터 없이 학습하는 새로운 패러다임을 제시합니다.

A. 핵심 아이디어: 가시적 - 타겟 (Pseudo-Target) 생성

학습 단계:
1. 3D 리프팅 (Lifting): 사전 훈련된 단안 깊이 추정 모델 (MoGe-2) 을 사용하여 입력 이미지 $I_0$ 를 3D 포인트 클라우드 $P$ 로 변환합니다.
2. 시점 변환 및 재투사: 무작위로 샘플링된 카메라 변환 행렬 $T_{0 \to 1}$ 을 포인트 클라우드에 적용한 후, 타겟 이미지 평면으로 재투사합니다.
3. 가시적 타겟 생성: 이 과정에서 생성된 이미지는 일부 영역이 가려진 (disoccluded) 상태이므로 **가시적 타겟 (Pseudo-target, $I^*_1$ )**과 **유효성 마스크 (Validity Mask, $M$ )**를 생성합니다.
4. 학습: 생성된 $I^*_1$ 을 '지상 진실 (Ground Truth)'로 간주하여 모델을 학습시킵니다. 이때 마스크 $M$ 을 사용하여 가려진 영역의 손실 계산을 제외합니다.
추론 단계 (Inference):
- 깊이 추정기나 3D 표현은 전혀 사용하지 않습니다.
- 입력 이미지와 타겟 카메라 포즈만 받아 즉시 픽셀 단위의 신시각 이미지를 생성하는 단일 순전파 (Feed-forward) 방식입니다.

B. 학습 목적 함수 (Training Objective)

가시적 타겟의 불완전성을 처리하기 위해 다음과 같은 손실 함수를 조합합니다:

기하학적 일관성 (Geometric Consistency): 유효 영역 (마스크가 1 인 부분) 에만 적용되는 마스크된 재구성 손실 (Masked Reconstruction Loss, $L_{recon}$ ). MSE 손실을 사용하여 고주파 세부 정보를 보존합니다.
의미론적 보존 (Semantic Preservation): 유효 영역에 대해서만 계산되는 지각적 손실 (Perceptual Loss). LPIPS 와 사전 훈련된 DINO 모델 기반의 P-DINO 손실을 결합하여 시각적 품질을 높입니다.
고주파 사실감 (High-Frequency Realism): 적대적 손실 (Adversarial Loss, $L_{adv}$ ). PatchGAN 판별기를 사용하여 생성된 이미지의 질감을 사실적으로 만듭니다. 이때 불완전한 타겟 대신 원본 이미지를 '실제' 분포로 간주하여 학습합니다.

C. 모델 아키텍처

구조: 컨볼루션 인코더 $\rightarrow$ Pose-Conditioned Transformer (ViT-B) $\rightarrow$ 컨볼루션 디코더.
포즈 조건부 (Pose Conditioning): 카메라 변환 (병진 및 회전) 을 7 차원 벡터로 인코딩하여 Transformer 블록의 AdaLN (Adaptive Layer Normalization) 을 통해 주입합니다.

3. 주요 기여 (Key Contributions)

데이터 확장 가능, 도메인 무관 학습 패러다임:
- 다중 뷰 데이터 없이 3 천만 장의 단일 이미지 (ImageNet, Places, Open Images 등) 로만 학습 가능합니다.
- 메트릭 깊이 추정기를 사용하여 실제 물리적 크기를 가진 시뮬레이션 쌍을 생성함으로써, 테스트 시 스케일 보정 없이도 정확한 메트릭 스케일 이해를 가능하게 합니다.
효율적인 기하학 없는 (Geometry-free) 모델 설계:
- 추론 시 3D 구조나 깊이 추정이 필요 없으며, 단일 순전파로 동작합니다.
- 초당 116 프레임 (FPS) 이상의 실시간 처리 속도를 달성하여, 기존 최상위 방법론보다 600 배 이상 빠릅니다.
강력한 도메인 외 (Out-of-Domain) 일반화:
- 훈련 데이터와 완전히 다른 도메인 (RealEstate10K, DL3DV) 에서도 기존 도메인 특화 모델들을 능가하거나 경쟁력 있는 성능을 보입니다.
- 회화, 비자연적 이미지 등 기존 NVS 가 학습하기 어려운 영역에서도 성공적인 생성이 가능합니다.

4. 실험 결과 (Results)

정량적 평가:
- RealEstate10K: 다중 뷰 데이터로 훈련된 SOTA 모델들 (GeoGPT, PhotoNVS, VIVID) 과 비교 시, OVIE 는 다중 뷰 데이터를 전혀 사용하지 않았음에도 불구하고 VIVID 와 경쟁하거나 일부 지표에서 우위를 보입니다.
- DL3DV (Out-of-Domain): 모든 방법이 도메인 외 데이터인 상황에서 OVIE 는 모든 메트릭 (PSNR, SSIM, LPIPS, FID) 에서 모든 베이스라인을 압도합니다. 이는 대규모 데이터의 다양성이 도메인 전이 성능에 결정적임을 보여줍니다.
데이터 스케일링: 데이터 양이 증가할수록 성능이 꾸준히 향상되며, 데이터의 다양성 (Domain Diversity) 도 일정 수준 이상에서 추가적인 이점을 제공합니다.
속도 비교: VIVID(0.19 FPS), GeoGPT(0.17 FPS) 등에 비해 OVIE 는 116 FPS 로 실시간 상호작용 (Interactive Navigation) 이 가능합니다.

5. 의의 및 결론 (Significance)

이 논문은 단안 신시각 합성 분야에서 다중 뷰 데이터의 의존성을 완전히 제거했다는 점에서 획기적입니다.

인터넷 규모의 2D 데이터로 3D 능력 습득: 3D 기하학적 지식을 얻기 위해 별도의 3D 데이터나 다중 뷰 촬영이 필요하지 않으며, 인터넷에 존재하는 방대한 단일 이미지만으로도 강력한 3D 이해 능력을 학습할 수 있음을 증명했습니다.
실용적 적용: 역사적 아카이브, 예술 작품, 혹은 다중 뷰 촬영이 불가능한 환경에서도 3D 탐색이 가능해지며, 초고속 추론 속도로 인해 실시간 VR/AR 및 게임 엔진에서의 적용 가능성이 열렸습니다.
미래 지향성: "하나의 뷰면 충분하다 (One View Is Enough)"는 명제를 통해, 향후 대규모 2D 데이터셋을 활용한 범용 3D 기하학적 사전 지식 (Universal Geometric Priors) 학습의 새로운 방향성을 제시합니다.