GeodesicNVS: Probability Density Geodesic Flow Matching for Novel View Synthesis

이 논문은 사전 훈련된 확산 모델의 확률 밀도 기반 측지선을 활용하여 데이터 간 결정론적 변환을 학습하는 'Probability Density Geodesic Flow Matching'을 제안함으로써, 기존 확산 기반 방법들의 한계를 극복하고 시점 간 일관성과 기하학적 정합성이 뛰어난 새로운 뷰 합성을 가능하게 합니다.

핵심

🎨 핵심 아이디어: "AI 가 그림을 그릴 때, 길을 잘못 들지 않게 도와주는 나침반"

기존의 AI 는 새로운 각도에서 물체를 그릴 때, 마치 주사위를 던지듯 무작위적인 노이즈에서 시작해서 점차 선명하게 만들어가는 방식 (확산 모델) 을 썼습니다. 문제는 이 방식이 시각적으로 일관성이 떨어진다는 점입니다. 예를 들어, 왼쪽에서 본 컵을 오른쪽으로 돌렸을 때, 컵의 손잡이가 갑자기 사라지거나 모양이 뭉개지는 경우가 생깁니다.

이 논문은 **"무작위 노이즈" 대신 "이미 있는 두 장의 그림 사이를 가장 자연스럽게 잇는 길"**을 찾아서 그리는 방식을 제안합니다.

1. 기존 방식 vs 새로운 방식 (비유로 이해하기)

• 기존 방식 (확산 모델):

  • 비유: "안개 낀 산길을 무작정 걷는 것"
  • AI 가 안개 (노이즈) 속에서 출발해서 목적지 (새로운 시점) 로 가려 하지만, 안개가 짙어서 길이 어디로 이어지는지 잘看不见 (보이지) 않습니다. 그래서 목적지에 도착했을 때, 원래 있던 물체의 모양이 왜곡되거나 일관성이 깨질 수 있습니다.

• 이 논문의 방식 (Geodesic Flow Matching):

  • 비유: "지도와 나침반을 들고 있는 등산가"
  • AI 는 이미 '시작점 (원래 사진)'과 '도착점 (목표 사진)'을 정확히 알고 있습니다. 중요한 건 이 두 점을 잇는 가장 자연스러운 길을 찾는 것입니다.
  • 여기서 **'지오데식 (Geodesic)'**이란, 구의 표면에서 두 점을 잇는 **가장 짧은 직선 (대원)**을 의미합니다. 평면이 아니라 구처럼 울퉁불퉁한 '데이터의 세계'에서는 단순한 직선 (선형 보간) 이 아니라, 데이터가 모여 있는 **높은 확률의 지역 (산등성이)**을 따라가는 곡선이 가장 자연스러운 길입니다.

2. 이 기술이 어떻게 작동하나요? (3 단계 과정)

이 논문은 두 가지 핵심 기술을 합쳐서 **"PDG-FM"**이라는 새로운 시스템을 만들었습니다.

① 단계 1: 두 장의 그림을 직접 연결하기 (Data-to-Data)

• 비유: "두 장의 사진을 이어주는 다리를 바로 짓기"
• 기존 AI 는 '흰색 캔버스 (노이즈)'에서 시작해서 그림을 그렸다면, 이 방식은 이미 있는 두 장의 사진 (A 와 B) 을 직접 연결합니다.
• A 와 B 사이의 중간 단계들을 예측할 때, 무작위적인 노이즈를 섞지 않고 A 와 B 의 구조를 그대로 유지하며 자연스럽게 변형시킵니다. 이렇게 하면 컵의 손잡이가 중간에 사라지는 일이 없습니다.

② 단계 2: 데이터의 '지형도'를 따라가기 (Probability Density Geodesic)

• 비유: "비포장 도로 (선형) 대신 포장된 고속도로 (지오데식) 를 이용하기"
• 단순히 A 와 B 를 직선으로 잇는 것 (선형 보간) 은 마치 비포장 도로를 가는 것과 같습니다. 중간에 진창 (비현실적인 이미지) 이 있을 수 있습니다.
• 대신, AI 는 **"사람들이 많이 다니는 길 (데이터가 밀집된 지역)"**을 찾아갑니다. 미리 훈련된 AI 가 "어떤 그림이 현실적인지"에 대한 지도 (확률 밀도) 를 가지고 있어서, 그 지도를 따라 가장 자연스러운 곡선 (지오데식) 을 따라 이동합니다.
• 결과적으로 중간 과정에서 이미지가 뭉개지거나 기괴해지지 않고, 매우 매끄럽고 자연스러운 변화를 보여줍니다.

③ 단계 3: 지도를 가르치는 학생 (Distillation)

• 비유: "선생님이 먼저 길을 찾아보고, 학생이 그 길을 따라가게 하기"
• 복잡한 지형 (데이터의 확률 분포) 을 실시간으로 계산하는 건 무겁고 느립니다.
• 그래서 선생님 AI가 먼저 가장 좋은 길 (지오데식) 을 찾아내고, 학생 AI가 그 길을 따라가며 빠르게 그림을 그리도록 훈련시킵니다. 이렇게 하면 속도는 빠르면서도 정확도는 유지됩니다.

3. 왜 이 기술이 중요한가요? (실제 효과)

• 더 자연스러운 회전: 물체를 360 도 돌릴 때, 컵이 갑자기 변형되거나 사라지지 않고 부드럽게 회전합니다.
• 더 빠른 속도: 기존 방식보다 적은 단계로 고품질의 이미지를 만들어냅니다.
• 일관성 유지: 왼쪽에서 본 컵과 오른쪽에서 본 컵이 같은 컵임을 AI 가 명확히 이해하고 있습니다.

📝 한 줄 요약

이 논문은 **"AI 가 새로운 각도의 사진을 그릴 때, 무작위적으로 헤매지 않고, 데이터가 모여 있는 자연스러운 길 (지오데식) 을 따라가도록 지도를 만들어주어, 더 일관되고 매끄러운 영상을 만들어내는 방법"**을 제안합니다.

마치 비행기가 안개 속을 무작정 날지 않고, 미리 정해진 최적의 항로 (지오데식) 를 따라 날아目的地에 정확하고 안전하게 도착하는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

새로운 뷰 생성 (Novel View Synthesis, NVS) 은 제한된 관측치로부터 장면의 보이지 않는 뷰를 생성하는 것을 목표로 합니다. 최근 생성 모델의 발전으로 품질은 향상되었으나, **시점 간 일관성 (View Consistency)**과 기하학적 구조의 유지는 여전히 큰 과제로 남아있습니다.

• 확산 모델 (Diffusion Models) 의 한계: 기존 확산 기반 모델은 확률적 (Stochastic) 인 노이즈에서 데이터로의 전이를 학습합니다. 이 과정에서 결정론적 구조가 흐려져 시점 간 예측이 일관되지 않거나 구조적 불일치가 발생할 수 있습니다.
• 기존 Flow Matching 의 한계: 조건부 Flow Matching (CFM) 은 데이터 분포 간의 연속적인 동역학을 학습하지만, 대부분 소스 데이터와 타겟 데이터 간의 **단순한 선형 보간 (Linear Interpolant)**에 의존합니다. 이는 잠재 공간 (Latent Space) 에서 데이터 매니폴드의 비선형 기하학을 제대로 반영하지 못해, 시점 전환 시 최적이지 않은 전이를 초래할 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 **확률 밀도 측지선 Flow Matching (Probability Density Geodesic Flow Matching, PDG-FM)**을 제안합니다. 이는 데이터 의존적 기하학적 정규화를 조건부 Flow Matching 에 통합한 프레임워크입니다.

2.1. 데이터 - 대 - 데이터 Flow Matching (D2D-FM)

• 개념: 기존 확산 모델이 '노이즈 - 데이터' 전이를 학습하는 대신, 구조화된 데이터 쌍 (x0, x1) (예: 다른 카메라 포즈를 가진 동일한 장면의 이미지) 간의 결정론적 (Deterministic) 변환을 직접 학습합니다.
• 장점: 노이즈 사전 (Prior) 이 불필요하며, 쌍을 이루는 뷰 간의 구조적 대응 관계를 명시적으로 강제하여 일관성을 높입니다.
• 아키텍처: Zero-1-to-3 와 유사한 U-Net 백본을 사용하며, 플뤼커 (Plücker) 광선 임베딩과 CLIP 기반 시맨틱 조건을 입력으로 받아 보간된 잠재 벡터를 예측합니다.

2.2. 확률 밀도 기반 측지선 (Probability Density Geodesic)

• 기하학적 정렬: 단순한 선형 보간 대신, 데이터 매니폴드의 고밀도 영역을 따라가는 측지선 (Geodesic) 경로를 따르도록 Flow 경로를 제약합니다.
• 로컬 메트릭: 데이터 밀도 함수 $p(x)$에 반비례하는 로컬 메트릭 텐서 ($G(x) = p(x)^{-2}I$) 를 정의합니다. 이는 확률 밀도가 높은 영역을 통과하고, 매니폴드에서 벗어난 경로를 패널티로 부과합니다.
• 변분 증류 (Variational Distillation):
  1. Teacher Network ($\phi_\xi$): 사전 학습된 확산 모델의 스코어 함수 (Score Function) 를 데이터 밀도의 프록시로 사용하여, 오일러 - 라그랑주 (Euler-Lagrange) 방정식을 최소화하는 측지선 경로를 잠재 공간 (Latent Space) 에서 최적화합니다.
  2. Student Network ($\phi_\eta$): Teacher 가 학습한 기하학적 경로를 VAE 공간으로 증류 (Distill) 하여, 실제 이미지 생성에 효율적으로 적용할 수 있는 보간 함수를 학습합니다.

2.3. 통합 프레임워크 (PDG-FM)

1. GeodesicNet 학습: 사전 학습된 확산 모델의 스코어를 이용해 데이터 밀도 기반 측지선 경로를 학습합니다.
2. VelocityNet 학습: 학습된 측지선 보간 경로를 기반으로, 조건부 Flow Matching 을 통해 타겟 뷰로의 변환 속도장 (Velocity Field) 을 학습합니다.

3. 주요 기여 (Key Contributions)

1. D2D-FM 제안: 확산 기반 조건부 모델링의 대안으로, 노이즈가 아닌 데이터 쌍 간의 결정론적 흐름을 학습하여 기하학적 일관성을 보존하는 새로운 프레임워크를 제시했습니다.
2. 효율적인 PDG-FM 파이프라인: 사전 학습된 확산 모델의 스코어 함수를 활용하여 밀도 기반 측지선을 증류하는 데이터 및 연산 효율적인 학습 파이프라인을 설계했습니다.
3. 성능 입증: 새로운 뷰 생성 작업에서 매니폴드 인식 정규화를 통해 더 매끄러운 잠재 공간 전이와 향상된 시점 일관성을 달성함을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

Objaverse 및 Google Scanned Objects (GSO) 데이터셋에서 Zero-1-to-3, EscherNet, Free3D 등 기존 확산 기반 모델 및 Naive Flow Matching 과 비교 평가되었습니다.

• 정량적 성능:
  • FID 및 LPIPS: 제안된 D2D-FM 은 기존 확산 모델 및 Noise-to-Data FM 보다 낮은 FID 와 LPIPS 를 기록하여 더 선명한 디테일과 감소된 아티팩트를 보였습니다.
  • PSNR 및 SSIM: 구조적 일관성과 픽셀 단위 정확도가 향상되었습니다.
  • 추론 속도: 10 단계 (NFE) 의 빠른 추론 환경에서도 PDG-FM 은 선형 보간 기반 모델보다 우수한 성능을 유지했습니다.
• 정성적 분석:
  • 광학 흐름 (Optical Flow): 측지선 보간은 선형 보간보다 훨씬 높은 평균 광학 흐름 크기 (AOFM) 를 보였으며, 이는 카메라 회전과 일치하는 일관된 3D 운동임을 의미합니다.
  • 에너지 잔차: 학습된 측지선 경로는 오일러 - 라그랑주 조건을 더 잘 만족하여 (낮은 에너지 잔차), 데이터 매니폴드의 고밀도 영역을 따르는 것을 확인했습니다.
  • 시각적 결과: 선형 보간이 단순한 페이드 (Fade) 효과를 보이는 반면, 측지선 보간은 의미 있는 데이터 영역을 통과하여 구조적으로 일관된 새로운 뷰를 생성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 생성 모델의 잠재 공간 (Latent Space) 구조를 측지선 (Geodesic) 개념을 통해 이해하고 활용하는 새로운 접근법을 제시했습니다.

• 기하학적 일관성: 확률 밀도 기반의 기하학적 정규화를 도입함으로써, 단순한 픽셀 보간을 넘어 의미 있는 3D 구조를 유지하는 뷰 생성이 가능해졌습니다.
• 확장성: 현재는 다단계 학습으로 인해 계산 비용이 높다는 한계가 있으나, 잠재 기하학과 생성 동역학 간의 상호작용을 연구하는 구체적인 프레임워크를 제공했습니다.
• 미래 전망: 이 연구는 일관된 새로운 뷰 생성뿐만 아니라, 다양한 생성 작업에서 데이터 의존적 기하학적 정규화의 중요성을 부각시키며, 더 효율적인 측지선 기반 생성 모델 개발의 토대를 마련했습니다.