VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

1. 문제 정의 (Problem)

기존 비디오 생성 모델 (Text-to-Video 등) 은 다음과 같은 근본적인 한계에 직면해 있습니다:

• 고정된 3D 그리드 토큰화: 대부분의 기존 토크나이저 (VAE 기반) 는 비디오를 시공간적 3D 그리드로 고정된 크기의 토큰으로 변환합니다. 이는 비디오의 내용 복잡도와 관계없이 항상 동일한 수의 토큰을 생성함을 의미합니다.
• 비효율적인 학습: 생성 모델은 모든 토큰을 통해 저수준의 픽셀 세부 사항부터 고수준의 의미론적 정보 (의미, 운동) 까지 모두 예측해야 하므로 학습 복잡도가 매우 높습니다.
• 긴 비디오 생성의 어려움: 비디오 길이가 길어질수록 토큰 수가 기하급수적으로 증가하여, 생성 모델의 컨텍스트 길이 제한과 계산 비용 (FLOPs) 이 급증합니다. 예를 들어, 10 초짜리 비디오를 생성하려면 기존 방식은 수천 개의 토큰이 필요하여 실용성이 떨어집니다.

2. 방법론 (Methodology)

VideoFlexTok 은 비디오를 **유연한 길이 (Flexible-Length)**의 coarse-to-fine (거칠기에서 정밀함으로) 순서로 배열된 토큰 시퀀스로 표현하는 새로운 아키텍처입니다.

핵심 구성 요소

1. Coarse-to-Fine 토큰 구조:

   • 비디오를 고정된 그리드가 아닌, 가변 길이의 토큰 시퀀스로 인코딩합니다.
   • 초기 토큰: 가장 중요한 추상적 정보 (시맨틱, 객체, 전체 장면 기하학, 카메라/객체 운동) 를 포착합니다.
   • 후속 토큰: 세부적인 디테일 (색상, 질감 등) 을 추가합니다.
   • Nested Dropout: 인코더의 레지스터 토큰 (Register Tokens) 에 무작위로 일부 토큰을 드롭하여, 모델이 적은 토큰으로도 핵심 정보를 학습하도록 유도합니다.

2. 생성형 플로우 디코더 (Generative Flow Decoder):

   • 임의의 개수의 토큰 (예: 1 개부터 전체 토큰까지) 을 입력받아 현실적인 비디오를 복원할 수 있는 Rectified Flow 기반 디코더를 사용합니다.
   • 이는 토큰 수를 줄여도 비디오가 끊기지 않고 자연스럽게 생성되도록 보장합니다.

3. 시맨틱 바이어스 (Semantic Bias Loss):

   • REPA (Representation Alignment) 손실 함수를 사용하여, 디코더가 사전 학습된 시맨틱 특징 추출기 (DINOv2) 와 정렬되도록 합니다.
   • 이를 통해 초기 토큰들이 픽셀 수준의 세부사항이 아닌 의미론적 정보 (객체 종류, 운동 패턴 등) 를 효과적으로 인코딩하도록 유도합니다.

4. 시간적 인과성 (Time-Causal Attention):

   • 인코더와 디코더 모두 시간적 인과성 (Time-Causal) 어텐션 마스크를 사용합니다. 이는 미래 프레임을 보지 않고 과거 정보만으로 토큰을 생성하므로, 스트리밍 및 긴 비디오 생성에 적합합니다.

3. 주요 기여 (Key Contributions)

• 가변 길이 및 계층적 표현: 비디오의 복잡도나 하위 작업의 필요에 따라 토큰 수를 동적으로 조절할 수 있습니다. 적은 토큰으로 핵심 의미와 운동을, 많은 토큰으로 고해상도 디테일을 표현합니다.
• 계산 효율성 극대화: 하위 생성 모델 (Autoregressive Transformer) 이 예측해야 하는 토큰 수를 획기적으로 줄여, 동일한 성능을 더 작은 모델로 달성하거나 더 적은 학습 데이터로 훈련할 수 있게 합니다.
• 긴 비디오 생성 가능: 10 초 (81 프레임) 길이의 비디오를 생성하는 데 기존 방식 (5376 토큰) 대비 8 배 적은 672 개의 토큰만 사용하여 성공적으로 구현했습니다.

4. 실험 결과 (Results)

논문은 Class-to-Video 및 Text-to-Video 작업에서 VideoFlexTok 의 우수성을 입증했습니다.

• 생성 효율성 (Efficiency):
  • 모델 크기: VideoFlexTok 을 사용하면 3D 그리드 토크나이저 대비 **5 배 작은 모델 (1.1B vs 5.2B 파라미터)**로도 동등한 생성 품질 (gFVD, ViCLIP 점수) 을 달성했습니다.
  • 학습 비용: 동일한 성능을 위해 필요한 학습 토큰 수를 5~10 배 줄일 수 있었습니다.
• 긴 비디오 생성:
  • 10 초 길이의 비디오를 672 개의 토큰만으로 생성하여, 기존 방식의 8 배 효율성을 입증했습니다. 이는 긴 비디오 생성 시 컨텍스트 길이 제한을 우회하는 핵심 기술입니다.
• 품질 유지:
  • 토큰 수를 줄여도 (예: 프레임당 1~4 개 토큰) 시맨틱 정보와 운동 패턴은 잘 유지되며, 토큰 수를 늘리면 세부 사항이 추가되는 유연한 제어가 가능했습니다.
• 기타 비교:
  • 기존 VidTok, Cosmos-DV, LARP 등 주요 토크나이저들과 비교했을 때, 더 적은 토큰 수 (160 개) 로도 동등하거나 더 나은 생성 품질과 정렬도 (Alignment) 를 보여주었습니다.

5. 의의 및 결론 (Significance)

VideoFlexTok 은 비디오 생성 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 계산 비용의 민주화: 비디오 생성 모델의 훈련 및 추론 비용을 획기적으로 낮추어, 더 많은 연구자와 개발자가 고품질 비디오 생성 모델을 접근하고 활용할 수 있게 합니다.
2. 효율적인 추상화 학습: 픽셀 단위의 예측 대신, 의미론적 추상화 단계를 먼저 학습하는 계층적 구조를 통해 모델이 비디오의 장기적 의존성 (Long-range dependencies) 을 더 효율적으로 학습할 수 있게 합니다.
3. 유연한 생성 제어: 생성자가 원하는 디테일 수준에 따라 토큰 수를 조절함으로써, 빠른 프로토타이핑부터 고해상도 생성까지 하나의 토크나이저로 다양한 시나리오를 지원할 수 있습니다.

결론적으로, VideoFlexTok 은 고정된 3D 그리드 방식의 한계를 극복하고, 유연한 길이와 계층적 구조를 통해 비디오 생성의 효율성과 확장성을 혁신한 획기적인 연구로 평가됩니다.