기술 요약: OrbitForge

문제 정의

범용 텍스트-비디오 모델은 고품질의 의미론적으로 일관된 비디오를 생성할 수 있는 풍부한 오픈 월드 장면 사전 지식(scene priors)을 갖추며 진화해 왔으나, 이들이 직접적으로 신뢰할 수 있는 3D 에셋을 산출하지는 못한다. 생성된 비디오를 3D 장면으로 직접 변환하는 데에는 세 가지 주요 과제가 존재한다:

1. 제어 불가능한 카메라 움직임: 생성된 비디오의 카메라 궤적은 암시적이며, 전체 궤도(full orbit)보다는 부분적인 호(arc)만을 다루는 경우가 많다.
2. 부분적인 뷰 커버리지: 생성된 비디오는 물체의 뒷면, 측면 또는 지면 접촉부를 포함하지 않는 경우가 빈번하며, 이는 불완전한 3D 재구성을 초래한다.
3. 시간적 불일치(Temporal Inconsistency): 프레임들은 물체의 변형, 텍스처 재칠(texture repainting), 배경 드리프트와 같은 불일치를 포함할 수 있으며, 이는 3D 가우시안에 피팅될 때 플로터(floaters), 흐릿한 기하 구조 및 뷰 의존적 아티팩트를 발생시킨다.

기존 방식들은 per-prompt SDS 최적화(느리고 과포화되기 쉬움)에 의존하거나, 고정된 카메라 형식을 가진 특화된 멀티뷰 생성기를 요구하거나(장면 문맥을 제한함), 혹은 360도 폐쇄형 궤도를 보장하지 않는 국소적 신규 뷰 합성(local novel-view synthesis)에 집중한다.

방법론: OrbitForge

OrbitForge는 새로운 멀티뷰 사전 학습을 수행하거나 per-prompt SDS 최적화를 거치지 않고도, 단일 텍스트 생성 비디오를 정형화된 폐쇄형 궤도(closed-orbit) 3D 가우시안 스플래팅 장면으로 변환하도록 설계된 어댑터이다. 이 파이프라인은 재구성-렌더링-완성(reconstruction-render-completion) 루프로 작동한다:

1. 앵커로서의 예비 재구성 (Preliminary Reconstruction as an Anchor)

텍스트 프롬프트 $p$가 주어지면, 동결된 텍ace-to-video 모델 $\Phi$가 초기 비디오 $V_0$를 생성한다.

• 카메라 추정: 추정기 $E$가 $V_0$에 대해 프레임별 카메라 $\hat{C}_0$를 할당한다.
• 변형 가능한 재구성: Deformable Gaussian Splatting (DeformableGS) 백엔드가 비디오를 3D 장면 $G_0$로 재구성한다. 이 단계는 생성된 비디오의 "의사 역동성(pseudo-dynamics)"(예: 물체 드리프트, 텍스처 변화)을 정적인 기하 구조로 고착시키는 대신, 이를 흡수하기 위해 변형 필드(deformation field)를 사용하여 프레임들을 공유된 3D 좌표계로 정리한다.

2. 정적 장면 통합 (Static Scene Consolidation - MedianGS)

생성된 비디오에는 비물리적인 의사 역동성이 포함되어 있으므로, $G_0$는 안정적인 앵커 역할을 할 정적 프록시 $G^0_{med}$로 변환된다.

• 변형 필드는 균일하게 간격이 배치된 $T_m$ 시간 코드에서 평가된다.
• 기하학적 오프셋(위치, 회전, 스케일)은 시간을 가로지르는 **좌표별 중앙값(coordinate-wise median)**을 사용하여 집계된다.
• 이 견고한 집계 방식은 비디오가 공유하는 주요 변형 상태를 추출하여, 임의의 시간적 슬라이스나 프레임 의존적 아티팩트를 피하는 정적 구조 프록시를 생성한다.

3. 커버리지 인식 폐쇄형 궤도 완성 (Coverage-Aware Closed-Orbit Completion)

정적 프록시 $G^0_{med}$는 지정된 정형 궤도 $C$ (361개 뷰, 0°~360°)를 따라 렌더링되어 누락된 뷰를 식별한다.

• 지원 분석(Support Analysis): 소스 카메라들이 피팅된 궤도 평면에 투영된다. 소스 비디오에 의해 지원되는 연속적인 호($S_{arc}$)가 식별되며, 나머지 구간($U_{gap}$)은 지원되지 않는 구간으로 표시된다.
• 엔드포인트-윈도우 완성(Endpoint-Window Completion): 점진적인 뷰 확장 대신, 이 방식은 동결된 텍스트-비디오 모델을 다시 쿼리하여 누락된 구간을 완성한다. 완성 과정은 엔드포인트-윈도우 작업으로 프레임화된다: 모델은 두 개의 알려진 엔드포인트(소스가 지원하는 호의 끝과 시작) 사이의 "알려지지 않은 간극"을 채운다.
• 최종 비디오 $\hat{V}_0$는 원래의 소스 프레임인 $S_{arc}$와 새롭게 합성된 프레임인 $U_{gap}$으로 구성된다.

4. 2차 재구성 (Second Reconstruction)

완성된 궤도 비디오 $\hat{V}_0$는 지정된 정형 카메라(재추정하지 않음)를 사용하여 최종 가우시안 스플래팅 장면 $G_1$으로 재구성된다.

• 정형 카메라 시스템을 보존하는 것은 완성된 뷰와 최종 3D 표현 사이의 기하학적 정렬을 보장하는 데 결정적이다.
• 최종 출력물은 정형 궤도 상의 정적 장면 $R_1$으로 렌더링되는 $G_1$이다.

주요 기여

1. 폐쇄형 궤도 생성의 공식화: 본 논문은 미교정된 카메라, 부분적 커버리지, 비디오 불일치를 명시적으로 처리하며, 일반적인 텍스트 생성 비디오로부터 장면 수준의 폐쇄형 궤도 3D 에셋을 생성하는 과업을 정의한다.
2. 재구성 기반 어댑터: OrbitForge는 불완전한 첫 번째 재구성을 최종 에셋이 아닌, 프레임을 조직하고 커버리지 간극을 정의하기 위한 구조적 앵커로 사용하는 방법을 제안한다.
3. MedianGS 및 커버리지 인식 완성: 정적 장면 통합을 위한 MedianGS와, 점진적이 아니라 전역적으로 누락된 궤도 구간을 채우는 엔드포인트-윈도우 완성 전략을 도입한다.
4. 커버리지 인식 평가 프로토콜: 저자들은 로컬 부드러움(local smoothness) 지표가 전체 궤도 작업에는 불충분하다고 주장한다. 그들은 폐쇄형 궤도 생성을 공정하게 평가하기 위해 측정된 각도 범위(measured angular span), 단조적 진행(monotone progress), 그리고 하위 테일 품질(lower-tail quality)(원래 지원되지 않았던 가장 어려운 뷰에 집중)을 측정하는 프로토콜을 도입한다.

결과

T3Bench에서 유도된 300개의 프롬프트 감사 세트(audit set)를 통해 평가되었다:

• 커버리지: OrbitForge는 359.0도의 측정된 중앙값 범위를 달enc성하며, 100%의 프롬프트에 대해 궤도를 성공적으로 닫았다. 이는 로컬 신규 뷰 방식(예: 약 18.9도를 커버하는 ViewCrafter)을 크게 능가하며, 장면 문맥을 유지하면서도 특화된 멀티뷰 방식의 범위를 따라잡는다.
• 품질: 하위 테일 품질 지표(Q10 ImageReward)에서, OrbitForge는 (지원되지 않는 뷰에 대한 MedianGS 전용 재구성 대비) 8.07에서 16.36으로 점수를 높였으며, 이는 완성 단계가 이전에 지원되지 않았던 뒷면 뷰의 품질을 효과적으로 개선했음을 입증한다.
• 비교: OrbitForge는 커버리지-품질 트레이드오프 측면에서 VideoMV와 경쟁할 만한 수준을 유지하면서도, 객체 중심 SDS 방식이나 특화된 멀티뷰 생성기에 비해 지면, 배경, 그리고 객체-환경 관계를 더 많이 보존한다.

의의 및 주장

본 논문은 첫 번째 재구성을 최종 제품이 아닌 스캐폴드(scaffold)로 취급함으로써, 생성 비디오 사전 지식과 사용 가능한 3D 에셋 사이의 간극을 메운다고 주장한다. 그 의의는 다음과 같다:

• 효율성: per-prompt SDS 최적화의 계산 비용과 불안정성, 그리고 새로운 멀티뷰 생성기를 학습시키기 위한 데이터 요구량을 피한다.
• 장면 충실도: 일반적인 비디오 모델의 오픈 월드 시맨틱 디테일을 활용하여, 객체 중심 접근 방식에서 흔히 손실되는 지면 접촉 및 배경 문맥을 포함하는 장면 수준의 3D 에셋을 생성한다.
• 평가의 엄밀성: 3D 생성의 공정한 평가는 (짧은 궤적만을 생성하여 높은 부드러움 점수를 쉽게 얻을 수 있는 방식보다) 커버리지(전체 궤도를 렌더링하는 능력)를 우선시해야 함을 확립한다.

저자들은 한계점을 인정한다: 완성된 뒷면은 합성된 지원(support)이므로, 완성 사전 지식(completion prior)의 오류(예: 투명하거나 얇은 구조물에서의 오류)가 두 번째 재구성에 고착될 수 있다. 그럼에도 불구하고, 이 방법은 일반적인 텍텍스트-비디오 출력을 폐쇄형 궤도의 3D 가우시안 스플래팅 장면으로 변환하는 강력한 인터페이스를 제공한다.