InSpatio-WorldFM: An Open-Source Real-Time Generative Frame Model

이 논문은 기존 비디오 기반 세계 모델의 지연 시간을 극복하고, 명시적 3D 앵커와 암시적 공간 기억을 통해 다중 뷰 일관성을 유지하면서 소비자급 GPU 에서 실시간으로 작동하는 오픈소스 생성 프레임 모델 'InSpatio-WorldFM'을 제안합니다.

핵심

🌍 "인스파티오-월드 FM": 실시간 3D 세계를 그리는 마법 같은 카메라

이 논문은 **'InSpatio-WorldFM(인스파티오-월드 FM)'**이라는 새로운 인공지능 기술을 소개합니다. 쉽게 말해, **"사용자가 조이스틱으로 움직일 때마다, AI 가 실시간으로 3D 공간을 그려주는 기술"**입니다.

기존의 기술들이 가진 문제점과 이 기술이 어떻게 해결했는지, 일상적인 비유로 설명해 드릴게요.

---

1. 기존 기술의 문제: "느린 영화 제작자" vs "빠른 화가"

기존의 AI 세계 모델들은 대부분 비디오 생성 방식을 사용했습니다.

• 비유: 마치 영화 제작자처럼, 1 초의 영상을 만들려면 앞뒤로 10 초 분량의 장면을 다 계산해서 이어붙여야 합니다.
• 문제점:
  1. 지연 시간 (Lag): 사용자가 화면을 돌리면 AI 가 "아, 이제 다음 장면을 그려야지"라고 생각하며 모든 프레임을 계산해야 하므로, 반응이 늦습니다. (영화 촬영처럼 시간이 걸림)
  2. 오류 누적: 장면을 이어붙이다 보면, 시간이 지날수록 건물이 휘어지거나 바닥이 사라지는 등 공간감이 깨지는 현상이 발생합니다. (연속된 영화처럼 오래 보면 어색해짐)

2. InSpatio-WorldFM 의 혁신: "순간포착 화가"

이 새로운 모델은 비디오가 아니라 **단일 프레임 (한 장의 그림)**을 기반으로 작동합니다.

• 비유: 이제 AI 는 **영화 제작자가 아니라, '순간포착 화가'**가 되었습니다. 사용자가 조이스틱을 움직이는 순간, AI 는 그 위치에서 한 장의 그림을 바로 그려냅니다.
• 장점:
  • 초고속 반응: 앞뒤 장면을 계산할 필요가 없으므로, 사용자가 움직이는 대로 그림이 즉시 나옵니다. (게임처럼 즉각적)
  • 오류 없음: 매번 새로운 그림을 그릴 때, **3D 공간의 기준점 (앵커)**을 다시 확인하므로 건물이 휘어지거나 사라지지 않습니다.

---

3. 어떻게 이렇게 똑똑하게 그릴까? (핵심 기술 3 가지)

이 AI 가 한 장의 그림을 그리면서도 3D 공간감을 유지하는 비법은 세 가지입니다.

① "나침반과 사진첩" (3D 앵커 + 공간 기억)

AI 는 그림을 그릴 때 두 가지 정보를 동시에 봅니다.

• 3D 앵커 (나침반): "이곳은 3 차원 공간의 어디인가?"를 알려주는 점 구름 (Point Cloud) 데이터입니다. 건물의 뼈대 역할을 하여, AI 가 방향을 잃지 않게 합니다.
• 공간 기억 (사진첩): 이전에 본 장면의 참고 사진입니다. "저기 있던 나무가 여기에도 있어야 해"라고 기억해내어 디테일을 유지합니다.
• 비유: 건축가가 건물을 지을 때, **설계도 (나침반)**를 보며 **이전 사진 (사진첩)**을 참고하여 정확한 위치와 디테일을 맞추는 것과 같습니다.

② "세 단계 훈련 과정" (학습의 비결)

이 AI 는 한 번에 완성된 것이 아니라, 3 단계를 거쳐 성장했습니다.

1. 1 단계 (재미있는 그림 그리기): 먼저 일반적인 그림을 잘 그리는 AI 를 만듭니다.
2. 2 단계 (공간 감각 익히기): 이제 "이 그림을 이렇게 회전시켜서 그려줘"라고 명령을 내리며, 3D 공간감을 익힙니다.
3. 3 단계 (속도 훈련): 마지막으로, 복잡한 계산을 줄여서 순간적으로 그림을 그릴 수 있도록 속도를 높입니다. (소위 '증류' 기술 사용)

③ "실시간 게임 엔진" (소비자용 그래픽카드에서도 작동)

이 기술은 무거운 서버가 아니라, 일반 게이머가 쓰는 RTX 4090 같은 그래픽카드에서도 실시간으로 돌아갑니다.

• 비유: 고가의 슈퍼컴퓨터 없이도, 집 컴퓨터에서 3D 게임을 하듯이 AI 가 만들어낸 세상을 실시간으로 돌아다닐 수 있습니다.

---

4. 요약: 왜 이것이 중요한가요?

이 기술은 가상 현실 (VR), 게임, 로봇의 눈 등에 혁신을 가져옵니다.

• 기존: "잠시만 기다려요, 장면을 계산 중입니다..." (지연 발생, 공간 왜곡)
• InSpatio-WorldFM: "네, 여기가 어디든 바로 보여드릴게요!" (즉각 반응, 완벽한 3D 공간)

한 줄 요약:

"이 AI 는 3D 공간의 나침반과 기억력을 바탕으로, 사용자가 움직이는 대로 한 장씩 바로바로 그림을 그려주는 '초고속 3D 화가'입니다."

이 기술이 상용화되면, 우리가 가상 세계를 여행할 때 더 이상 끊김이나 어색함 없이, 마치 현실처럼 자연스럽게 탐험할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 기반 월드 모델 (World Models) 은 대규모 비디오 데이터에서 학습된 운동 및 카메라 동역학의 강점을 가지고 있지만, 실시간 공간 추론 및 상호작용에는 다음과 같은 근본적인 한계가 존재합니다.

• 높은 지연 시간 (Interactive Latency): 대부분의 비디오 모델은 시퀀스 단위로 프레임을 생성하며, 윈도우 수준의 처리 (window-level processing) 와 양방향 어텐션을 필요로 합니다. 각 생성 단계에서 모든 프레임을 처리해야 하므로 추론 오버헤드가 크고, 진정한 실시간 상호작용을 어렵게 만듭니다.
• 시간에 따른 공간 오류 누적 (Spatial Error Accumulation): 비디오 모델은 단기적인 시간적 연속성에 최적화되어 있어 장기적인 공간 일관성을 보장하지 못합니다. 생성이 진행됨에 따라 미세한 공간적 부정확성이 누적되어 장면 기하학의 구조적 드리프트 (structural drift) 나 불일치를 초래합니다.
• 폐쇄된 기술: 최근 'World Labs'에서 실시간 프레임 모델 (RTFM) 을 제안했으나, 기술적 세부 사항이 제한적이고 소스 코드가 공개되지 않아 연구 및 활용에 제약이 있었습니다.

2. 방법론 (Methodology)

InSpatio-WorldFM 은 비디오 시퀀스 생성이 아닌 단일 프레임 기반 (Frame-based) 패러다임을 채택하여, 각 프레임을 독립적으로 생성하면서도 3D 공간 일관성을 유지하는 모델을 제안합니다.

2.1 전체 아키텍처

모델은 오프라인 (Offline) 단계와 온라인 (Online) 단계로 구성됩니다.

• 오프라인: 단일 입력 이미지를 기반으로 다중 뷰 일관성 모델 (Multi-view consistent model) 을 사용하여 참조 외관 (Reference appearances) 과 3D 앵커 (3D anchors, 예: 포인트 클라우드 렌더링) 를 생성합니다.
• 온라인: 생성된 3D 앵커와 명시적/암시적 공간 메모리를 활용하여 저지연 실시간 추론을 수행하는 프레임 모델을 실행합니다.

2.2 핵심 구성 요소

1. 하이브리드 공간 메모리 (Hybrid Spatial Memory):

   • 명시적 앵커 (Explicit 3D Anchors): 타겟 뷰포인트의 포인트 클라우드 렌더링과 카메라 포즈를 사용하여 전역 3D 기하학적 제약을 제공합니다.
   • 암시적 메모리 (Implicit Spatial Memory): 참조 프레임과 해당 카메라 포즈를 통해 이전 관측된 뷰의 외관 정보를 제공합니다.
   • 이 두 가지는 Self-Attention 메커니즘을 통해 상호작용하며, coarse 한 기하학 구조와 fine-grained 한 외관 디테일을 동시에 유지합니다.

2. 카메라 포즈 인코딩 (Camera Pose Encoding):

   • 카메라 기하학을 Transformer 에 주입하기 위해 PRoPE (Projected Relative Positional Encoding) 전략을 사용합니다. 이는 쿼리 (Query), 키 (Key), 밸류 (Value) 텐서에 카메라 의존적 선형 변환을 적용하여, 어텐션 메커니즘이 교차 뷰 (cross-view) 기하학적 대응 관계를 자연스럽게 추론하도록 합니다.

3. 점진적 3 단계 학습 파이프라인 (Progressive Three-Stage Training):

   • Stage I (Pre-Training): PixArt-Σ 와 같은 효율적인 Diffusion Transformer (DiT) 를 기반으로 고품질 이미지 생성 사전 학습 (Prior) 을 확립합니다.
   • Stage II (Middle-Training): 사전 학습된 모델을 공간 기억력을 갖춘 제어 가능한 프레임 모델로 변환합니다.
     • 데이터: 실제 비디오 (DL3DV 등), 자체 촬영 영상, Unreal Engine 으로 생성된 합성 데이터를 활용합니다.
     • 전략: 노이즈 스케줄 편향 (고노이즈 단계 우선 학습), 점진적 조건 주입 (초기에는 암시적 메모리만, 후기에는 명시적 앵커 추가), 랜덤 앵커 마스킹 등을 통해 과적합을 방지하고 공간 추론 능력을 강화합니다.
   • Stage III (Post-Training): 분포 매칭 증류 (Distribution Matching Distillation, DMD) 를 적용하여 다단계 디퓨전 모델을 2 단계 (2-step) 디노이징 생성기로 변환합니다. 이를 통해 실시간 추론 속도를 확보하면서도 화질을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 실시간 프레임 기반 월드 모델: 비디오 시퀀스 의존성을 제거하고 각 프레임을 독립적으로 생성하여 저지연 (Low-latency) 실시간 공간 추론을 가능하게 했습니다.
2. 다중 뷰 일관성 유지: 명시적 3D 앵커와 암시적 공간 메모리의 하이브리드 구조를 통해 뷰포인트 변경 시에도 전역 장면 기하학과 세부 디테일을 일관되게 유지합니다.
3. 개방형 소스 및 효율성: Consumer-grade GPU (예: RTX 4090) 에서도 실행 가능한 효율적인 아키텍처를 설계하고, 모든 코드와 모델을 오픈소스로 공개했습니다.
4. 2 단계 증류 최적화: 1 단계 생성보다 2 단계 디노이징이 미세한 디테일 복원에 더 우수함을 실험적으로 증명하고, 중간 타임스텝 (tmid=200) 선택의 중요성을 규명했습니다.

4. 실험 결과 (Results)

• 성능: NVIDIA A100 GPU 에서 512x512 해상도 기준 약 10 FPS, RTX 4090 기준 7 FPS의 실시간 추론 속도를 달성했습니다. 상호작용 지연 시간은 50-70ms 수준입니다.
• 일관성: 다양한 뷰포인트 변화와 장시간의 탐색 세션에서도 기하학적 구조와 세부 사항이 일관되게 유지되며, 시각적 아티팩트나 구조적 드리프트가 발생하지 않습니다.
• 품질: 증류 (Distillation) 를 거친 모델도 기본 모델과 비교했을 때 공간 일관성과 기하학적 정확도를 거의 잃지 않으면서도 실시간 성능을 확보했습니다.
• 다양성: 사실적 (Photorealistic), SF, 게임 스타일, 예술적 환경 등 다양한 스타일의 월드를 생성할 수 있음을 Fig. 1 및 다양한 Qualitative 결과 (Fig. 5-8) 를 통해 입증했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: InSpatio-WorldFM 은 기존 비디오 기반 월드 모델의 대안으로, 실시간 상호작용이 필요한 공간 지능 (Spatial Intelligence) 응용 분야 (예: VR/AR, 게임, 로봇 시뮬레이션) 에 실질적인 기반을 제공합니다. 특히 오픈소스 공개를 통해 연구 커뮤니티의 접근성을 높였습니다.
• 한계:
  • 동적 콘텐츠 생성: 현재 모델은 정적 환경에 최적화되어 있어, 고화질 및 안정적인 동적 장면 (Dynamic content) 생성에는 한계가 있습니다.
  • 운동 경계 (Motion Boundary): 온라인 추론 중 오프라인 생성된 메모리 한계로 인해 특정 지점에서 장면이 끊기는 현상이 발생할 수 있습니다.
  • 시각적 안정성: 연속된 프레임 간 시간적 제약이 부족하여 상호작용 중 약간의 프레임 지터 (Jitter) 가 발생할 수 있습니다.

결론적으로, InSpatio-WorldFM 은 실시간성과 공간 일관성 사이의 균형을 맞춘 혁신적인 프레임 기반 생성 모델로, 차세대 공간 지능 시스템의 중요한 이정표가 될 것으로 기대됩니다.