GeoStream: Toward Precise Camera Controlled Streaming Video Generation

기술 요약: GeoStream

문제 정의

정확한 인터랙티브 카메라 제어는 비디오 기반 월드 모델(world models)의 근본적인 요구 사항으로, 몰입형 장면 탐색 및 로보틱스 시뮬레이션과 같은 응용 분야를 가능하게 합니다. 그러나 기존 방식들은 다음과 같은 심각한 제어 능력의 한계를 보입니다:

1. 암묵적 제어의 한계 (Implicit Control Limitations): 대부분의 현재 비디오 월드 모델은 카메라 포즈 임베딩을 주입하거나 제어 레이어를 암묵적으로 사용합니다. 이러한 방식은 시각적으로는 그럴듯해 보이지만, 명시적인 기하학적 근거(geometric grounding)가 부족합니다. 이들은 카메라 움직임을 데이터로부터의 통계적 상관관계로 학습하기 때문에, 입력 궤적이 훈련 분포에서 벗어날 경우 체계적인 부정확성을 유발합니다. 구체적으로, 이들은 스케일 모호성(scale ambiguity) 문제를 보입니다. 즉, 입력 카메라 이동(translation)의 크기를 키워도 생성된 비디오 내의 움직임이 비례하여 커지지 않습니다. 대신, 모델은 메트릭 스케일(metric-scale)의 요청을 따르기보다 일반적인 궤적으로 회귀하는 경향을 보입니다.
2. 명시적 제어의 한계 (Explicit Control Limitations): 명시적인 기하학적 조건(예: 3D 포인트 클라우드 사용)을 도입하는 방식은 제어력을 개선하지만, 일반적으로 **비자기회적(non-autoregressive)**이거나 초기 프레임으로부터 구축된 **정적 3D 캐시(static 3D cache)**에 의존합니다. 시점이 원래의 프러스텀(frustum)을 벗어나면, 이 정적 기하 구조는 효과를 잃고 기하학적 신호가 노이즈가 섞인 부분적으로 관측된 단서로 퇴화됩니다.
3. 스트리밍에서의 노출 편향 (Exposure Bias in Streaming): 시간을 따라 기하 구조를 축적하려고 시도하는 기존의 스트리밍 방식들은 드리프트(drift) 현상을 유발합니다. 또한, 자기 생성된 기하학적 조건(self-generated geometric conditioning)을 사용하여 자기회적(autoregressive) 모델을 훈련할 때, **2차 기하학적 피드백 루프(second-order geometric feedback loop)**가 발생합니다. 즉, 생성된 프레임의 오류가 깊이 추정기(depth estimator)를 통해 포인트 재투영(point reprojection)으로 전파되어 시간이 지남에 따라 누적됩니다. 표준 훈련 기법(오프-폴리시 조건 노이징 등)은 이러한 특정 오류 분포를 해결하지 못합니다.

방법론: GeoStream

GeoStream은 자기회적 스트리밍 비디오 생성에서 정밀한 메트릭 스케일 카메라 제어를 위해 설계된 프레임워크입니다. 이 프레임워크는 두 가지 핵심 구성 요소인 **자기 갱신형 3D 캐시(self-refreshing 3D cache)**와 **완전 온-폴리시 증류 전략(fully on-policy distillation strategy)**을 통해 위의 문제들을 해결합니다.

1. 자기 갱신형 3D 캐시 (Self-Refreshing 3D Cache)

지속적인 융합 3D 메모리를 유지하는 이전 연구들과 달리, GeoStream은 슬라이딩 윈도우 캐시 갱신(sliding-window cache refreshing) 메커니즘을 채택합니다:

• 주기적 재구축 (Periodic Rebuilding): 생성 시퀀스는 중첩되지 않는 시간 윈도우(청크, chunks)로 나뉩니다. 각 윈도우의 끝에서 3D 캐시는 폐기되고 가장 최근에 생성된 프레임으로부터 다시 구축됩니다.
• 프로세스: 모델은 최신 생성 프레임에서 깊이를 추정하고, 픽셀을 3D 공간으로 역투영하여 포인트 클라우드를 형성한 다음, 이 포인트들을 타겟 카메라 뷰로 재투영합니다.
• 조건화 (Conditioning): 결과물인 포인트 재투영 이미지는 후속 프레임 합성을 위한 명시적인 기하학적 조건 신호 역할을 합니다.
• 근거 (Rationale): 기하 구조를 융합하는 대신 폐기함으로써, 이 방법은 누적되는 불일치(예: 레이어링 아티팩트)를 방지하고, 대규모 카메라 움직임 하에서도 기하학적 가이드가 현재 콘텐츠와 시간적으로 정렬되도록 보장합니다.

2. 온-폴리시 인과적 증류 (On-Policy Causal Distillation)

자기 갱신된 캐시에 안정적으로 조건화될 수 있는 인과적 학생(causal student) 모델을 훈련하기 위해, GeoStream은 두 가지 형태의 노출 편향, 즉 표준 자기회적 드리프트와 2차 기하학적 피드백 루프를 해결합니다. 훈련은 두 단계로 진행됩니다:

• 1단계: 오프-폴리시 웜업 (Off-Policy Warmup): 양방향 교사(teacher) 모델이 정답(ground-truth) 프레임과 기하학적 조건에 대해 훈련됩니다. 그 후, 교사 강제 자기회적 확산 훈련(teacher-forced autoregressive diffusion training)을 통해 인과적 학생 모델이 초기화됩니다. 이 단계에서 학생은 깨끗한 정답 컨텍스트와 조건을 보게 되며, 이는 생성 분포와 정렬되지만 아직 자기 생성 오류는 해결하지 못한 상태입니다.
• 2단계: 온-폴리시 DMD 증류 (On-Policy DMD Distillation): 학생 모델은 **분포 매칭 증류(Distribution Matching Distillation, DMD)**를 사용하여 증류됩니다. 결정적으로, 이 단계에서 기하학적 조건(포인트 재투영)은 정답이 아닌 학생 모델 자신의 생성 프레임으로부터 렌더링됩니다.
  • 이는 학생이 추론 시 마주하게 될 컨텍스트 프레임과 기하학적 아티팩트의 정확한 결합 분포에 대해 감독을 받는 "자기 실행(self-rollout)" 과정을 생성합니다.
  • 이 접근 방식은 훈련과 추론의 분포를 자연스럽게 일치시키며, 오프-폴리시 방법에서 사용하는 수동적인 노이즈 근사치에 의존하지 않고도 2차 피드백 루프를 효과적으로 차단합니다.

주요 기여

1. GeoStream 프레임워크: 인과적 합성(causal synthesis)과 온라인으로 갱신되는 명시적 3D 기하학적 조건을 결 결합하여, 대규모 카메라 움직임 하에서도 정밀한 메트릭 스케일 뷰포인트 조작을 가능하게 하는 스트리밍 자기회적 비디오 생성 프레임워크입니다.
2. 주기적 3D 캐시 갱신: 청크 경계에서 최근 생성된 프레임으로부터 3D 캐시를 재구축함으로써, 시간적으로 정렬된 기하학적 조건을 유지하는 메커니즘입니다. 이는 장기적인 장면 메모리나 오프라인 재구성이 필요하지 않습니다.
3. 완전 온-폴리시 훈련 전략: 오프-폴리시 웜업과 온-폴리시 DMD 증류를 포함하는 새로운 훈련 레시피입니다. 이 전략은 추론 시의 자기 갱신 메커니즘을 모방하여, 학생 모델이 실제 자기 생성 오류 분포에 노출되도록 함으로써 기하학 유도 노출 편향을 제거합니다.

실험 결과

본 방법은 RealEstate10K 데이터셋에서 평가되었으며, 최첨단 암묵적 방식(예: MotionCtrl, SEVA) 및 명시적 방식(예: FlexWorld, ViewCrafter, Spatia) 베이스라인들과 비교되었습니다.

• 정량적 성능: GeoStream은 시각적 충실도 지표(FVD, PS로, SSIM, LPIPS)와 카메라 궤적 정확도 지표(절대 궤적 오차 - ATE, 상대 이동 오차 - RTE, 상대 회전 오차 - RRE) 전반에서 최첨단 성능을 달성했습니다.
  • 특히 로컬 궤적 지표(RTE, RRE)에서 베이스라인들을 크게 앞질러, 메트릭 스케일 움직임을 따르는 탁월한 능력을 입증했습니다.
  • 동일한 강력한 깊이 백본(MoGe-2)을 사용하여 베이스라인들을 재평가했을 때도, GeoStream은 FVD와 로컬 궤적 지표에서 우위를 유지하며, 이러한 이점이 단순히 깊이 추정기 덕분이 아님을 증명했습니다.
• 스케일 민감도: 입력 카메라 이동 크기를 조절하는 실험에서, GeoStream은 다양한 스케일에서도 일관된 오류율을 유지했습니다. 반면, 암묵적 베이스라인들은 "평균으로의 회귀(regression-to-the-mean)" 현상을 보이며, 작은 움직임은 과하게 표현하고 큰 움직임은 과소하게 표현했습니다.
• 강건성: GeoStream은 고주파 움직임을 지나치게 부드럽게 만드는 베이스라인들에 비해, 심한 궤적 섭동(지그재그 움직임)에 대해 우수한 강건성을 보여주었습니다.
• 효율성: 깊이 추정과 캐시 갱신의 오버헤드에도 불구하고, GeoStream은 NVIDIA A100에서 양방향 베이스라인들(0.4–0.77 fps)에 비해 유의미한 추론 속도 향상(4.05 fps)을 달-성하여 실시간 응용 분야에 적합함을 보여주었습니다.

의의 및 주장

본 논문은 GeoStream이 기존의 암묵적 및 명시적 카메라 조건화 방식 모두에 대한 엄격한 업그레이드라고 주장합니다. 이 연구의 주요 의의는 명시적이고 온라인으로 갱신되는 기하 구조가 스트리밍 생성에서 정밀한 메트릭 스케일 제어를 위해 필수적임을 입증했다는 데 있습니다.

저자들은 핵심 통찰이 기하학적 조건의 인과적 정렬(causal alignment)에 있다고 강조합니다. 생성기가 인과적이라면 기하학적 조건 또한 반드시 인과적이어야 합니다. 모델 자신의 출력으로부터 캐시를 재구축하고 온-폴리시 증류를 통해 훈련함으로써, GeoStream은 자기회적 기하학적 피드백 루프에 내재된 누적 오류를 성공적으로 완화합니다. 본 논문은 이 메커니즘이 다른 스트리밍 파이프라인을 위한 플러그인 모듈로 기능할 수 있다고 결론짓지만, 이러한 일반성을 검증하는 것은 향후 과제로 남겨두었습니다. 이 방법은 메모리 없는 캐시 설계(장기적인 루프 클로저 부재)와 추론 지연 시간이라는 다소의 한계가 있으나, 스트리밍 카메라 제어 분야의 기술 수준을 실질적으로 진보시켰습니다.