Flow3r: Factored Flow Prediction for Scalable Visual Geometry Learning

본 논문은 라벨이 없는 단안 비디오에서 대규모로 학습할 수 있도록 2D 흐름 (flow) 예측을 기하학적 잠재 공간과 포즈 잠재 공간으로 분해하여 확장 가능한 시각 기하 학습 프레임워크인 Flow3r 을 제안하며, 이를 통해 정적 및 동적 장면에 걸쳐 기존 최첨단 성능을 달성함을 보여줍니다.

핵심

Flow3r: 눈으로 본 세상을 3D 로 재현하는 '새로운 지도 제작법'

이 논문은 **"눈에 보이는 영상만으로도 정교한 3D 지도를 만들 수 있는 새로운 인공지능 방법 (Flow3r)"**을 소개합니다. 기존에는 3D 지도를 만들려면 전문 장비로 측정한 정밀한 데이터 (레이저 스캔 등) 가 필요했지만, Flow3r 은 일반 유튜브나 스마트폰 영상만으로도 그보다 훨씬 더 잘, 더 많이 학습할 수 있게 해줍니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 3D 지도를 그리려면 '비싼 교재'가 필요했다

과거의 3D 지도 만들기 AI 들은 **정답이 적힌 두꺼운 교재 (레이블된 3D 데이터)**만 보고 공부했습니다.

• 상황: 교재가 너무 비싸고 구하기 어렵습니다. (실제 세상 모든 장소를 정밀하게 3D 스캔하는 건 불가능에 가깝죠.)
• 결과: AI 는 정답이 있는 몇몇 교실 (실내 장면) 에만 익숙해졌고, 길거리나 움직이는 사람, 동물 같은 복잡한 현실 세계 (다이나믹 씬) 에서는 길을 잃거나 엉뚱한 지도를 그렸습니다.

2. 해결책: Flow3r 의 '비밀 무기' - 흐르는 물 (Flow)

Flow3r 연구팀은 **"정답이 없어도, 물이 흐르는 모습을 보면 물의 흐름을 알 수 있지 않나?"**라고 생각했습니다.

• 비유: 강물이 흐를 때, 물결의 움직임 (Flow) 을 보면 강바닥의 모양과 물이 흐르는 방향을 유추할 수 있습니다.
• 기술적 의미: 영상 속 픽셀들이 어떻게 움직이는지 (2D 흐름) 를 분석하면, 카메라가 어떻게 움직였는지와 사물이 3D 로 어떻게 생겼는지를 역으로 추론할 수 있습니다.
• 장점: 이 '흐름' 정보는 인터넷에 널려 있는 일반 영상 (라벨 없는 데이터) 에서도 쉽게 얻을 수 있습니다. 즉, 수천만 개의 일반 영상을 '무료 교재'로 활용할 수 있게 된 것입니다.

3. 핵심 기술: '분해된 흐름 예측' (Factored Flow)

여기서 가장 중요한 아이디어는 흐름을 예측하는 방식을 '분해'했다는 점입니다.

• 기존 방식 (혼란스러운 추측):
  두 장의 사진을 보고 "어떤 점이 어디로 갔지?"라고 단순히 맞추는 방식입니다. 이는 AI 가 사진 속 특징을 잘 기억하게는 해주지만, 3D 구조를 정확히 이해하게 하지는 못합니다. 마치 사람의 얼굴 특징만 외우고, 그 사람이 어떻게 움직이는지 (자세) 는 모르고 있는 상태입니다.

• Flow3r 의 방식 (분해된 추론):
  Flow3r 은 흐름을 두 가지로 나누어 생각합니다.

  1. 장소의 모양 (기하학적 정보): "이곳은 어떤 모양의 방인가?"
  2. 카메라의 움직임 (자세 정보): "카메라가 어떻게 움직였는가?"

  비유:
  Imagine you are watching a movie.

  • 기존 방식: 배우가 손을 흔들 때 "손이 위로 갔다"고만 봅니다.
  • Flow3r 방식: "배우의 손 모양 (장소 정보)"과 "카메라가 왼쪽으로 이동했다 (자세 정보)"는 것을 별개로 파악한 뒤, 이 두 정보를 합쳐서 "아, 손이 실제로는 앞으로 뻗은 거구나!"라고 정확히 계산합니다.

  이렇게 장소 정보와 카메라 정보를 분리해서 흐름을 예측하면, AI 는 3D 구조와 카메라 움직임을 동시에 훨씬 더 정확하게 학습하게 됩니다. 특히 움직이는 사물 (사람, 동물) 이 있는 상황에서도 혼란을 겪지 않고 깔끔한 3D 지도를 그릴 수 있습니다.

4. 성과: 더 많은 영상, 더 똑똑한 AI

연구팀은 이 방법을 통해 약 80 만 개의 일반 영상을 학습시켰습니다.

• 결과: 정답이 있는 데이터만 1,000 개로 학습한 기존 모델보다, 정답이 없는 영상 80 만 개를 추가 학습한 Flow3r 이 훨씬 더 뛰어난 성능을 보였습니다.
• 특히 놀라운 점: 움직이는 사물이 많은 '야외 영상'이나 '인터랙션 영상'에서 기존 모델들이 엉뚱한 3D 구조를 만들어내던 것과 달리, Flow3r 은 매우 깔끔하고 정확한 3D 구조를 복원해냈습니다.

5. 요약: 왜 이것이 중요한가?

Flow3r 은 **"정밀한 3D 스캔 데이터가 없어도, 우리가 매일 보는 수많은 영상만으로도 세상을 3D 로 이해할 수 있다"**는 것을 증명했습니다.

• 과거: 3D 지도를 만들려면 비싼 장비와 정밀한 데이터가 필수.
• Flow3r: 스마트폰으로 찍은 일반 영상만으로도, 움직이는 사람과 복잡한 배경까지 포함된 정교한 3D 지도를 만들 수 있음.

이 기술은 자율주행차, 증강현실 (AR), 로봇이 복잡한 현실 세계를 이해하는 데 큰 도움을 줄 것으로 기대됩니다. 마치 수천 명의 관찰자가 함께 모여, 흐르는 물결을 보고 강바닥의 지도를 완벽하게 그려낸 것과 같은 마법입니다.

기술 요약

Flow3r: Factored Flow Prediction for Scalable Visual Geometry Learning

기술 요약 (한국어)

이 논문은 Flow3r이라는 새로운 프레임워크를 제안하며, 이는 레이블이 지정되지 않은 비디오 데이터를 활용하여 확장 가능한 시각적 기하학 (Visual Geometry) 학습을 가능하게 합니다. 기존의 3D/4D 재구성 시스템이 고밀도 기하학 및 포즈 레이블에 의존하는 한계를 극복하고, 동적인 실제 환경 (In-the-wild) 에서도 정확한 다중 뷰 3D 재구성을 달성하는 것을 목표로 합니다.

---

1. 문제 정의 (Problem)

• 레이블 데이터의 부족: 기존 피드포워드 (feed-forward) 3D/4D 재구성 시스템은 고밀도 기하학 (Depth, Pointmap) 과 카메라 포즈에 대한 레이블이 풍부한 다중 뷰 훈련 데이터에 크게 의존합니다. 이러한 레이블은 획득 비용이 매우 높으며, 특히 동적인 실제 장면 (Dynamic Scenes) 이나 상호작용 비디오 (Interaction Videos) 와 같은 영역에서는 거의 존재하지 않습니다.
• 확장성의 한계: 대규모 자기지도 학습 (Self-supervised learning) 이 LLM 과 비전 트랜스포머의 성공을 이끌었음에도 불구하고, 시각적 기하학 학습은 여전히 레이블된 데이터에 국한되어 있어 대규모 학습이 어렵습니다.
• 동적 장면의 어려움: 기존 방법들은 정적 장면을 가정하거나, 동적 장면에서 카메라 운동과 장면 운동을 분리하여 학습하는 데 어려움을 겪으며, 레이블이 없는 데이터로 학습할 경우 성능이 급격히 저하됩니다.

2. 방법론 (Methodology)

Flow3r 은 **분해된 흐름 예측 (Factored Flow Prediction)**을 핵심 아이디어로 도입하여, 레이블이 없는 단안 (Monocular) 비디오를 통해 3D 기하학과 카메라 운동을 동시에 학습합니다.

2.1. 핵심 통찰: 분해된 흐름 예측 (Factored Flow Prediction)

기존의 흐름 (Flow) 예측 방식은 두 이미지 간의 로컬 특징 (Local Features) 을 직접 매칭하여 흐름을 예측하는 방식 (Tracking-based) 이거나, 예측된 3D 점과 카메라 파라미터를 명시적으로 투영하여 흐름을 계산하는 방식 (Projective-based) 이었습니다.
Flow3r 은 이 두 가지의 장점을 결합하고 단점을 보완한 비대칭적 (Asymmetric) 인 분해된 구조를 제안합니다.

• 원리: 소스 이미지 (Source) 의 **기하학 잠재 변수 (Geometry Latents)**와 타겟 이미지 (Target) 의 **카메라 포즈 잠재 변수 (Pose Latents)**를 결합하여 흐름을 예측합니다.
• 수식적 표현:
  $$\hat{F}_{i \to j} = \Phi_{flow}(g_i, c_j)$$
  여기서 $g_i$는 소스 뷰 $i$의 기하학 특징, $c_j$는 타겟 뷰 $j$의 카메라 특징입니다.
• 장점:
  • 기하학 학습 유도: 흐름 예측 모듈이 카메라 포즈와 기하학을 명시적으로 분리하여 사용하므로, 흐름 예측 오류가 기하학 학습에 직접적인 영향을 주지 않으면서도 기하학 학습을 강력하게 유도합니다.
  • 동적 장면 대응: 명시적인 3D 투영을 사용하지 않고 잠재 공간 (Latent Space) 에서 흐름을 디코딩하므로, 장면 내의 객체 운동 (Scene Motion) 이 포함된 동적 장면에서도 자연스럽게 확장됩니다.
  • 안정성: 명시적인 3D 점과 카메라 파라미터를 먼저 디코딩한 후 투영하는 방식보다 오차 전파가 적어 학습이 더 안정적입니다.

2.2. 아키텍처 및 학습 과정

• 백본: VGGT 나 $\pi^3$와 같은 최신 다중 뷰 트랜스포머 아키텍처를 기반으로 합니다.
• 학습 단계:
  1. 레이블 데이터: 3D 레이블 (포즈, 깊이) 이 있는 데이터에 대해 기존 기하학 및 포즈 손실 함수를 사용합니다.
  2. 레이블 없는 데이터: 레이블이 없는 비디오 (약 80 만 개) 에 대해 가짜 정답 (Pseudo-ground-truth) 흐름을 제공하는 오프더셸 (Off-the-shelf) 2D 흐름 모델 (예: UFM) 을 '교사 (Teacher)'로 활용합니다.
  3. 분해된 흐름 손실: 예측된 흐름과 교사 모델이 생성한 흐름 사이의 손실을 계산하여, 기하학 백본을 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. Factored Flow Prediction 제안: 시각적 기하학 학습을 위해 흐름 예측을 기하학과 카메라 포즈 잠재 변수로 분해하는 새로운 메커니즘을 제시했습니다. 이는 기존 '트래킹' 방식보다 기하학 학습에 훨씬 효과적입니다.
2. 확장 가능한 학습 프레임워크: 레이블이 없는 대규모 비디오 데이터 (약 80 만 개) 를 활용하여 시각적 기하학 모델을 학습할 수 있는 파이프라인을 구축했습니다.
3. 동적 장면에서의 SOTA 성능: 레이블 데이터가 극도로 부족한 동적인 실제 환경 (In-the-wild dynamic videos) 에서 기존 방법들 (DUSt3R, CUT3R, VGGT, $\pi^3$ 등) 을 압도하는 성능을 달성했습니다.
4. 데이터 스케일링 법칙 입증: 레이블 없는 데이터의 양을 늘릴수록 성능이 지속적으로 향상됨을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 동적 장면 (Kinetics700, EPIC-KITCHENS, Sintel, Bonn): 카메라 포즈 추정 (RPE) 과 3D 재구성 (MSE, F-score) 모두에서 기존 최첨단 모델들을 능가했습니다. 특히 동적 객체가 포함된 장면에서 재구성 품질이 크게 향상되었습니다.
  • 정적 장면 (ScanNet, CO3Dv2, 7-Scenes): 동적 데이터로 학습된 모델이 정적 장면에서도 일반화되어 성능이 향상됨을 확인했습니다.
• 비교 실험 (Ablation Study):
  • Factored vs. Tracking: 단순한 특징 매칭 기반 흐름 예측 (Tracking) 은 시각적 특징 학습에는 도움이 되지만 기하학 학습에는 큰 도움이 되지 않는 반면, 제안된 Factored 방식은 기하학 및 포즈 정확도를 모두 크게 향상시켰습니다.
  • Factored vs. Projective: 명시적인 3D 투영 기반 흐름은 오차에 민감하여 성능을 저하시켰습니다.
  • 데이터 스케일링: 레이블 데이터 (1K 시퀀스) 에 레이블 없는 데이터 (SpatialVID) 를 추가할 때, 레이블 없는 데이터 양을 늘릴수록 (3K $\to$ 20K) 성능이 선형적으로 향상되었습니다. 20K 의 레이블 없는 데이터는 4K 의 레이블 데이터만 사용한 것보다 더 좋은 성능을 냈습니다.

5. 의의 및 결론 (Significance)

Flow3r 은 시각적 기하학 학습 분야에서 레이블 데이터의 의존성을 탈피하고 대규모 레이블 없는 비디오 데이터를 활용하는 새로운 패러다임을 제시합니다.

• 실용성: 실제 세계의 동적인 장면 (사람, 동물, 차량이 움직이는 환경) 에서도 높은 정확도의 3D 재구성을 가능하게 하여, 로봇 공학, AR/VR, 자율 주행 등 다양한 응용 분야에 기여할 수 있습니다.
• 미래 지향성: 이 연구는 대규모 데이터가 부족한 분야에서 자기지도 학습을 확장하는 중요한 걸음이며, 향후 더 대규모의 데이터 (수천만 개 비디오) 를 활용한 학습의 기반이 될 수 있는 강력한 프레임워크를 제공합니다.

요약하자면, Flow3r 은 **"분해된 흐름 예측"**이라는 핵심 아이디어를 통해 레이블 없는 비디오를 3D 기하학 학습에 효과적으로 활용함으로써, 동적 환경에서의 3D 재구성 성능을 획기적으로 개선했습니다.