1. 연구 배경 및 문제 정의 (Problem)

최근 생성형 비디오 모델 (Diffusion Transformers, DiT) 은 화질과 해상도 측면에서 비약적인 발전을 이루었으나, ** autoregressive(자기회귀) 방식의 장편 비디오 생성**에는 여전히 세 가지 근본적인 병목 현상이 존재합니다.

1. 유한한 시간적 지평 (Finite Temporal Horizon): 기존 모델은 3D Rotary Positional Embedding (3D-RoPE) 을 사용하는데, 이는 고정된 최대 프레임 수 (보통 1024 프레임) 로 제한됩니다. 이를 초과하여 생성을 시도하면 시간적 인코딩이 붕괴되고 어텐션 (attention) 이 열화됩니다.
2. 세밀한 동작 제어의 부재 (Slow Prompt Responsiveness): 긴 비디오 생성 과정에서 새로운 프롬프트 (동작 지시) 를 입력할 때, 기존 KV 캐시 (Key-Value Cache) 관리 방식은 이전 문맥이 너무 오래 남아 있어 즉각적인 반응이 어렵거나, 메모리 오버헤드가 큽니다.
3. 비연속적인 영화적 전환의 불가능: 단일 생성 스트림 내에서 장면 전환 (Scene Cut), 플래시백, 또는 다른 시간/장소로의 이동과 같은 비연속적인 영화적 편집을 구현하는 것이 어렵습니다.

기존 연구들은 긴 자기회귀 롤아웃 (Self-rollout) 을 위한 추가 학습이나 대규모 데이터 재학습에 의존했으나, 이는 계산 비용이 매우 높고 학습 - 추론 불일치 (Train-Test Mismatch) 를 유발하여 화질 저하를 초래했습니다.

2. 제안 방법론 (Methodology)

저자들은 ∞-RoPE라는 새로운 추론 시 (Inference-time) 프레임워크를 제안합니다. 이는 별도의 추가 학습 없이 기존 단편 비디오로 학습된 모델을 무한한 길이의 비디오 생성 모델로 변환하는 세 가지 핵심 구성 요소를 통합합니다.

가. Block-Relativistic RoPE (블록 상대론적 RoPE)

• 핵심 아이디어: 절대적인 시간 좌표 대신 **이동하는 국소 참조 프레임 (Moving Local Reference Frame)**을 도입합니다.
• 동작 원리:
  • 새로 생성된 잠재 블록 (Latent Block) 은 베이스 모델의 최대 프레임 지평 ($f_{limit}$) 을 기준으로 회전합니다.
  • 캐시된 이전 블록들은 상대적인 시간 기하학을 보존하기 위해 **뒤로 회전 (Rotate Backward)**시킵니다.
  • 무제한 캐시 확장: KV 캐시가 $f_{limit}$를 초과하면, 가장 오래된 프레임들은 구체적인 시간적 위치를 잃고 **의미론적 기억 (Semantic Memory)**으로 변환됩니다 (Semanticization). 즉, "언제" 일어났는지보다는 "무엇"이 일어났는지에 초점을 맞춰 시간 축을 무한히 확장합니다.
• 효과: 고정된 시간적 위치 제한을 제거하여 1024 프레임을 훨씬 넘어선 연속적인 비디오 생성이 가능해집니다.

나. KV Flush (KV 플러시)

• 목적: 긴 롤아웃 중 프롬프트 변경 시 즉각적인 동작 제어 (Action Control) 를 가능하게 합니다.
• 동작 원리: 새로운 프롬프트가 들어오면 기존 KV 캐시를 모두 지우고, 두 개의 토큰만 유지합니다.
  1. 글로벌 싱크 (Global Sink): 어텐션 정규화를 안정화하는 전역 문맥.
  2. 마지막 생성된 프레임: 국소적인 시간적 연속성을 유지.
• 효과: 이전 문맥의 잔여 영향 (Semantic Lag) 을 제거하여 새로운 동작 (예: 서 있음 $\to$ 점프) 이 즉시 반영되도록 하며, 메모리 사용량은 일정하게 유지됩니다.

다. RoPE Cut (RoPE 컷)

• 목적: 단일 생성 스트림 내에서 영화적인 장면 전환 (Scene Cut) 을 구현합니다.
• 동작 원리: 시간적 RoPE 좌표에 **제어된 불연속 점프 (Controlled Discontinuity)**를 도입합니다.
  • 현재 블록의 시간 좌표를 $\Delta$만큼 오프셋시켜 재할당합니다.
  • 이는 마치 시간 축을 잘라내어 새로운 장면을 과거의 맥락과 연결하듯 처리합니다.
• 효과: 배경, 조명, 장소가 급격히 바뀌어도 주인공의 정체성 (Identity) 과 시간적 일관성은 유지된 채, 영화의 컷 (Cut) 과 같은 전환을 자연스럽게 구현합니다.

3. 주요 기여 (Key Contributions)

1. 무훈련 (Training-free) 방법론: 기존 단편 비디오로 학습된 자기회귀 모델 (Self-Forcing 등) 을 추가 학습 없이 무한한 길이의 제어 가능한 생성 모델로 변환합니다.
2. Block-Relativistic RoPE: 시간 구조를 이동하는 참조 프레임으로 재정의하여 1024 프레임의 RoPE 한계를 극복했습니다.
3. KV Flush 및 RoPE Cut: 각각 고정 메모리에서의 즉각적인 동작 제어와 영화적 장면 전환을 가능하게 하는 두 가지 추론 연산자를 개발했습니다.
4. 성능 입증: VBench 벤치마크에서 기존 최첨단 (SOTA) 모델들을 압도하는 장편 비디오 품질을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 (VBench): 5 초, 60 초, 120 초, 240 초의 다양한 길이에서 평가했습니다.
  • 전체 점수 (Overall Score): 모든 길이에서 기존 모델 (NOVA, SkyReels-V2, Self-Forcing 등) 보다 높은 점수를 기록했습니다.
  • 주요 지표: 피사체 일관성 (Subject Consistency), 배경 일관성, 모션 부드러움, 동적 정도 (Dynamic Degree) 에서 우수한 성능을 보였습니다. 특히 60 초 이상의 장편에서도 화질 저하나 정체성 붕괴 (Identity Drift) 가 거의 발생하지 않았습니다.
• 사용자 연구 (User Study): 50 명의 참가자를 대상으로 한 평가에서, ∞-RoPE 는 **전체 품질 (3.91)**과 **시간적 일관성 (3.71)**에서 모든 베이스라인 모델 (Rolling-Forcing, CausVid 등) 을 압도했습니다.
• 정성적 결과:
  • 긴 비디오에서도 선명하고 시간적으로 일관된 프레임을 생성합니다.
  • "서 있음 $\to$ 점프 $\to$ 앉음 $\to$ 노래하기"와 같은 복잡한 동작 순차 지시에 즉각적으로 반응합니다.
  • 실내에서 실외로, 낮에서 밤으로의 장면 전환이 매끄럽게 구현됩니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터나 모델 재학습 없이 추론 단계의 구조적 재해석 (Relativistic Adaptation) 만으로 비디오 생성 모델의 시간적 한계를 극복할 수 있음을 증명했습니다.

• 실용성: 기존에 학습된 모델을 즉시 무한한 길이의 비디오 생성에 활용할 수 있어, 계산 비용과 시간을 크게 절감합니다.
• 창의적 가능성: 사용자의 프롬프트에 따라 동적으로 제어 가능하고, 영화적인 편집 (컷, 전환) 이 가능한 장편 비디오 생성을 실현했습니다.
• 미래 전망: 이는 사용자 제어형 장편 비디오 생성과 시간적으로 견고한 확장 가능한 비디오 모델 개발을 위한 중요한 기초를 마련했습니다.

요약하자면, ∞-RoPE는 상대론적 시간 인코딩과 지능적인 캐시 관리를 통해, 기존 단편 비디오 모델이 가진 시간적 제약을 완전히 해체하고 무한히 길고 제어 가능한 영화적 비디오 생성을 가능하게 한 획기적인 기술입니다.