기술 요약: Visko Orbis 1.0

문제 정의

현재의 비디오 생성 시스템(예: Sora, Veo, Kling)은 주로 오프라인 패러다임에서 작동합니다. 즉, 사용자가 프롬프트를 제출하면 처리를 기다린 후 수정할 수 없는 고정된 클립을 받게 됩니다. 이러한 시스템은 시각적 충실도와 단기 생성에는 뛰어나지만, 비디오가 생성되는 동안 소비되는(예: 라이브 스트리밍, 인터랙티브 스토리텔링, 가상 동반자) 실시간 인터랙티브 경험을 지원하는 데는 한계가 있습니다. 스트리밍 또는 인터랙티브 비디오에 대한 기존의 시도들은 인과적 스트리밍(causal streaming), 제한된 상호작용, 또는 장기적 안정성과 같은 고립된 측면만을 다루었을 뿐, 실시간 사용자 제어, 품질 저하 없는 지속적인 장기 생성, 그리고 점진적 전달을 동시에 지원하는 엔드 투 엔드 시스템은 갖추지 못했습니다. 또한, 이러한 모델을 실시간으로 서비스하려면 상태 재사용, 병렬 실행 및 점진적 업스케일링과 관련된 추론 병목 현상을 해결해야 합니다.

방법론

Visko Orbis 1.0은 라이브 모델(Live Model), 즉 초기화 없이 업데이트를 수용하며 연속적인 시계(clock)에 따라 실시간으로 비디오를 생성하는 지속적인 프로세스로 정식화됩니다. 이 시스템은 선행된 롤아웃(rollout)의 유한한 다중 스케일 메모리를 유지하면서 연속적인 시간적 청크(temporal chunks)를 생성하는 **청크 단위 잠재 비디오 모델(chunk-wise latent-video model)**을 기반으로 구축되었습니다.

1. 데이터 큐레이션 및 학습 파이프라인

학습 파이프라인은 대규모 원시 비디오 컬렉션을 필터링, 주석 달기 및 재균형화하기 위해 다단계 데이터 엔진을 활용합니다:

• 데이터 처리: 원시 비디오는 샷 인식 클리핑(3~240초), 계층적 안전 필터링, 그리고 구조적 무결성, 시간적 일관성, 움직임을 평가하는 계단식 품질 필터링을 거칩니다. 분포 재균형화는 모델이 좁은 시각적 스타일로 붕괴되는 것을 방지하기 위해 다양한 도메인(자연, 도시, 산업, 게임)에 걸친 커버리지를 보장합니다.
• 캡셔닝: 다단계 캡셔닝 시스템은 전체적인 감독을 위한 **단일 이벤트 캡션(single-event captions)**과 특정 구간에 동작을 바인딩하는 **이벤트 정렬 시간적 캡션(event-aligned temporal captions)**을 생성하여, 모델이 단일 비디오 내에서 프롬프트 전환을 처리할 수 있도록 합니다.
• 점진적 학습:
  • 양방향 사전 학습(Bidirectional Pretraining): 강력한 시각적 사전 지식(prior)을 확립하기 위해 1~5초 길이의 비디오로 학습됩니다.
  • 스트리밍 적응(Streaming Adaptation): 선형 정류 흐름(linear rectified-flow) 목적 함수를 사용하여 3~10초 비디오에 대해 인과적, 청크 단위 생성에 적응합니다.
  • 중간 학습(Mid-Training): 움직임의 자연스러움과 시간적 일관성을 개선하기 위해 단일 및 다중 이벤트 데이터에 특화되어 학습됩니다.
  • 미세 조정(Fine-Tuning): 높은 시각적 충실도와 이벤트 전환을 정제하기 위해 고품질의 인간 큐레이션 서브셋이 사용됩니다.
  • 사후 학습(Post-Training): 증류(distillation)를 통한 몇 단계 흐름 사후 학습(few-step flow post-training)(무조건부 브랜치 제거)과 시각적 품질, 움직임, 텍스트-비디오 정렬을 최적화하기 위한 **그룹 상대적 강화 학습(GRPO)**을 포함합니다. 물리적 타당성을 점수화하기 위해 잠재 세계 모델(latent world model)이 후보 미래를 평가하는 데 사용됩니다.

2. 모델 아키텍처 및 메모리

• 정식화: 모델은 텍스트 지침 $c_k$, 시각적 참조 $r_k$, 그리고 유한한 히스토리 $H_k$에 조건화된 청크 $z_k$를 생성합니다. 지침은 외부 제어로 취급되며, 업데이트는 커밋되지 않은 청크에만 영향을 미칩니다.
• 유한 다중 스케일 메모리: 시간 단위의 롤아웃을 지속하기 위해, 시스템은 최근 히스토리를 네이티브 잠재 해상도로 유지하는 동시에, 오래된 구간을 고정된 용량의 학습된 상태로 점진적으로 압축합니다. 이는 per-chunk 계산량을 일정하게 유지하면서 오류 누적과 색상 드리프트를 방지합니다.
• 초해상도(Super-Resolution): 전용 단일 정제 비디오 초해상도 모델이 네이티브 832 × 480 청크를 4K 출력으로 변환합니다. 이 모델은 템포럴리 디스틸드 오토인코더(temporally distilled autoencoders)와 공간 윈도우 어텐션(spatial-window attention)을 사용하여 청크 간의 자기회귀적 의존성을 도입하지 않고 움직임 일관성을 보존합니다.

3. 추론 및 서빙

추론 스택은 점진적 전달과 실시간 상호작용을 위해 설계되었습니다:

• 라이브 제어: 프로프트는 비동기적으로 인코딩되어 청크 경계에서 적용됩니다. 롤링 프롬프트 요약(rolling prompt summary)은 상호작용 전반에 걸쳐 컨텍스트를 유지합니다.
• 최적화된 실행: 시스템은 컴파일된 트랜스포머 실행, 퓨즈드 커널(fused kernels), 그리고 레이턴시를 최소화하기 위한 전체 시퀀스 멀티 GPU 실행(Ulysses 스타일의 시퀀스 샤딩 사용)을 활용합니다.
• 드리프트 안정화: 누적된 오류에 대한 롤아웃을 안정화하기 위해 콘텐츠 적응형 제어(예: 가산 섭동, temporal RoPE 스케일링, 모션 인식 네거티브 프롬프트 라우팅)가 적용됩니다.
• 출력: 파이프라인은 프롬프트 업데이트에 대한 평균 가시적 응답 시간이 1초 미만인 24 FPS의 4K 비디오를 전달합니다.

주요 기여

1. 통합 라이브 비디오 정식화: 시각적 상태가 청크를 통해 전달되는 지속적인 청크 단위 잠재 흐름 프로세스로서, 시간 인덱스 지침을 통해 롤아웃을 재시작하지 않고도 내용을 변경할 수 있습니다. 이는 단일 인터페이스 아래에서 T2V, I2V, V2V 연속성을 지원합니다.
2. 이벤트 정렬 데이터 및 학습: 시간적으로 국소화된 캡션과 짧은 비디오 사전 지식에서 히스토리 조건부 스트리밍으로 이동하는 커리큘럼을 생성하는 다단계 데이터 엔진을 통해 프롬프트 전환 및 장기적 안정성을 위한 특정 학습을 수행합니다.
3. 장기 생성을 위한 유한 메모리: 최근 히스토리를 고해상도로 유지하면서 오래된 데이터를 고정된 상태로 압축하는 메커니즘을 통해, 명백한 품질 저하나 색상 드리프트 없이 시간 단위의 롤아웃을 가능하게 합니다.
4. 몇 단계 흐름 사후 학습: 가이던스 증류, 셀프 포싱 분포 매칭, 그리고 비디오 품질 보상 및 물리적 타당성에 정렬하기 위한 GRPO 기반 강화 학습을 결មាន한 파이프라인입니다.
5. 스트리밍 고해상도 시스템 공동 설계: 실시간 4K 전달을 달야하기 위해 상태 재사용, 배치-원(batch-one) 시퀀스 병렬성, 그리고 참조 인식 초해상도 모델을 통합한 최적화된 서빙 파이프라인을 제공합니다.

결과

본 논문은 1~3분 길이의 다중 이벤트 전환을 포함하는 74가지 케이스에 대해 Helios, Self-Forcing, LongLive, Causal-Forcing과 같은 최첨단 시스템과 비교하여 Visko Orbis 1.0을 평가합니다.

• 정량적 지표:
  • DOVER: 가장 높은 미적 점수(0.8101)와 기술적 점수(0.5572)를 달성했습니다.
  • VideoAlign: 최고의 시각적 품질(1.5777) 및 움직임 품질(1.8646) 점수와 함께 가장 높은 텍스트 정렬 로짓(0.1043)을 확보했습니다.
  • 인간 선호도 (HPSv3): 프레임 평균 8.1018 및 최소값 6.9719를 기록했습니다.
• 인간 선호도 아레나: 9개 시스템을 대상으로 한 사이드 바이 사이드 연구에서, Visko Orbis 1.0은 가장 높은 **전체 Elo (1838)**와 가장 높은 **시간적 안정성 Elo (1940)**를 달성했습니다. 다른 시스템들(예: HappyOyster)이 경쟁력 있는 시각적 충실도를 보여주기도 했으나, Orbis는 일관된 장기 시청 경험을 유지하고 지침 전환을 처리하는 데 있어 뚜렷한 우위를 입증했습니다.
• 장기 일관성: 그림 1은 3600초(1시간)의 롤아웃 동안, 드리프트를 보이는 베이스라인 시스템들과 비교하여 시스템이 안정적인 미적 품질, 프롬프트 정렬 및 색상 포화도(HSV 궤적)를 유지함을 보여줍니다.

의의 및 주장

본 논문은 Visko Orbis 1.0을 비디오 생성의 라이브 모델 패러다임을 구현한 첫 번째 사례로 자리매김합니다. 저자들은 이 작업이 비디오 생성을 제한적이고 정적인 클립 제작에서 제어 가능한 시각적 스트림을 지속하는 것으로 경계를 확장한다고 주장합니다. 상태 기반 생성, 이벤트 정렬 학습, 효율적인 실시간 서빙을 통합함으로써, 이 시스템은 사용자가 펼쳐지는 과정 중에 비디오 생성을 지속적으로 조종할 수 있게 합니다. 저자들은 이 연구가 높은 시각적 충실도와 시간적 안정성을 유지하면서 라이브 스트리밍, 인터랙티브 스토리텔링부터 로보틱스 및 가상 동반자에 이르기까지 다양한 애플리케이션을 지원하며, 비디오 생성을 반응형 창작 매체로 진화시킨다고 단언합니다.