기술 요약: MILLIVID

문제 정의

비디오 생성 모델은 사실성과 규모 면에서 상당한 발전을 이루었으나, 장기적 일관성(long-range consistency) 측면에서는 어려움을 겪고 있습니다. 처음부터 끝까지 일관성을 유지하는 비디오를 생성하는 것은 어려운 과제인데, 이는 긴 시간적 문맥을 유지하기 위해 트랜스포머 시퀀스 길이를 비현실적으로 길게 설정해야 하기 때문입니다. 현재의 자기회귀(autoregressive) 방식은 비디오를 청크(chunk) 단위로 생성하며, 가장 최근의 청크가 다음 청크의 문맥 역할을 합니다. 오래된 청크가 문맥 창(context window)에서 벗어나면 그 내용은 잊혀지며, 이로 인해 기하학적 구조와 객체 영속성(object permanence)의 불일치가 발생합니다.

트랜스포머 비용이 시퀀스 길이에 따라 제곱으로 증가하기 때문에 문맥 길이를 늘리는 것은 계산적으로 매우 부담이 큽니다. FramePack과 같은 최근 방식들은 먼 거리의 문맥 프레임에 더 적은 토큰을 할당하여 이를 완화하려고 시도하지만, 저자들은 이러한 접근 방식만으로는 내용이 압축된 문맥 창 안에 머물러 있더라도 카메라 프레임 밖으로 나간 콘텐츠를 회상하는 데 실패한다는 점을 관찰했습니다.

방법론

본 논문은 고정된 시퀀스 길이 제약 조건 하에서 장기적 일관성을 극대화하도록 설계된 확산 기반 비디오 생성 모델인 MILLIVID를 제시합니다. 이 접근 방식은 두 가지 주요 구성 요소로 이루어집니다.

1. 계층적 오토인코딩 (Hierarchical Autoencoding)

저자들은 각 비디오 프레임을 단일 평면 표현이 아닌 **계층적 잠재 토큰(hierarchy of latent tokens)**으로 압축하는 오토인코더를 학습시킵니다.

• 구조: 인코더는 다중 해상도 이미지 피라미드를 처리합니다. 각 레벨 $\ell$에서 이미지는 $N_\ell$개의 토큰으로 패치화되며, 여기서 해상도는 각 단계마다 절반으로 줄어듭니다 ($N_\ell = \frac{H}{2^\ell} \times \frac{W}{2^\ell}$).
• 정보 분포: 가장 거친 레벨(가장 적은 토큰)은 전역적인 장면 구조와 의미론적 정보를 포착하며, 더 미세한 레벨은 고주파의 외형과 질감을 추가합니다.
• 학습: 오토인코더는 무작위로 샘플링된 단일 레벨로부터 전체 해상도 피라미드를 재구성하도록 학습됩니다. 디코더는 해당 특정 레벨의 토큰만을 바탕으로 전체 해상도 계층을 재구성해야 합니다.
• 장점: 캐스케이드(cascaded) 모델에서 사용되는 단순 다운샘플링이나 평균 풀링(mean-pooling)과 달리, 이 학습된 계층적 토크나이저는 높은 압축 수준에서도 관련 구조적 세부 사항을 잘 보존하여 흐릿한 재구성을 방지합니다.

2. 조대-세밀 롤아웃 생성 (Coarse-to-Fine Rollout Generation)

이 비디오 확산 모델은 새로운 조대-세밀 롤아웃 전략을 사용하여 이 계층적 잠재 공간 내에서 학습됩니다.

• 제약 조건: 모델은 고정된 트랜스포머 시퀀스 길이 $S$ 하에서 작동합니다.
• 전략: 전체 해상도의 프레임을 자기회귀 방식으로 생성하는 대신(이는 문맥 프레임 수를 제한함), 모델은 먼저 고도로 압축된(조대한/coarse) 프레임들의 긴 시퀀스를 생성합니다. 그 후 이 프레임들을 점진적으로 더 미세한 스케일로 정교화합니다.
• 문맥 관리: 결정적으로, 생성 과정은 항상 가장 높은 해상도의 최신 프레임과, 오직 조대한 레벨까지만 생성된 미래 프레임을 문맥에 포함하도록 보장합니다. 이는 모델이 해상도와 시간 모두에서 불확실성을 동시에 해결하도록 함으로써 불일치(예: 조대한 뷰에서는 "정지"라고 적힌 표지판이 미세한 뷰에서는 "가"라고 보이는 현상)를 방지합니다.
• 학습: 모델은 서로 다른 계층 레벨에 걸친 깨끗한 문맥 토큰들에 조건화되어 노이즈를 제거하도록 학습됩니다. 레벨, 프레임, 행, 열에 대한 위치 인코딩(positional encodings)을 통해 단일 모델이 모든 롤아웃 단계를 처리할 수 있습니다.

주요 기여

1. 비디오를 위한 계층적 오토인코딩: 저자들은 계층적 잠재 공간을 가진 오토인코더를 학습시키는 것이 표준 다운샘플링이나 패치화 방식보다 관련 세부 사항을 더 잘 보존하는 압축을 생성함을 입증했습니다.
2. 조대-세밀 롤아웃: 계층적 공간을 활용하여 디테일과 시간적 지평(temporal horizon) 사이의 절충을 수행하는 생성 전략을 도입했습니다. 많은 수의 조대한 프레임을 먼저 생성함으로써, 모델은 고정된 토큰 예산 내에서 훨씬 더 긴 시간적 문맥을 커버할 수 있습니다.
3. 우수한 장기적 일관성: 이 방식이 FramePack 및 전체 해상도 자기회귀 롤아웃과 같은 최신 베이스라인 모델들과 비교했을 때, 프레임당 품질을 희생하지 않으면서도 훨씬 더 일관된 긴 롤아웃을 생성함을 보여줍니다.

결과

이 방법은 메모리(콘텐츠가 프레임에서 나가고 다시 들어오는 상황)를 테스트하기 위해 설계된 마인크래프트 게임플레이 영상 1024프레임의 커스텀 데이터셋인 LOOPCRAFT에서 평가되었습니다.

• 일관성 지표: MILLIVID는 단기, 중기, 장기 지평(1~768 프레임) 전반에 걸쳐 베이스라인(FramePack 및 Full-Resolution Rollout)을 크게 앞질렀습니다.
  • PSNR: 16.69 (장기) vs. 11.98 (FramePack) 및 11.02 (Full-Res).
  • LPIPS: 0.335 (장기) vs. 0.533 (FramePack) 및 0.630 (Full-Res).
  • LightGlue Matches: 62.4 (장기) vs. 7.0 (FramePack) 및 5.0 (Full-Res).
• 품질 지표: 이 방법은 베이스라인과 대등한 품질(FVD 및 FID)을 유지하였으며, 이는 일관성의 향상이 시각적 충실도의 저하를 초래하지 않았음을 입증합니다.
• 어블레이션 연구(Ablation Studies):
  • 학습된 계층적 토크나이저를 캐스케이드(평균 풀링) 방식으로 대체했을 때 일관성과 품질이 모두 저하되었습니다.
  • 계층적 잠재 공간을 FramePack 구조에 적용했을 때는 성능 향상이 없었는데, 이는 이 이점이 특정 계층 구조와 조대-세밀 롤아웃 전략 사이의 특정한 상호작용에서 온다는 것을 시사합니다.
  • "미러링된(mirrored)" FramePack 변형(조대한 장기 타겟을 예측하는 방식)은 개선된 일관성을 보여주었으며, 이는 더 먼 미래를 예측하도록 강제된 모델이 먼 거리의 문맥을 더 잘 활용하게 된다는 가설을 뒷받침합니다.

의의 및 주장

본 논문은 비디오 생성의 장기적 일관성을 위해서는 근본적인 트레이드오프가 필요하다고 주장합니다. 즉, 주어진 시퀀스 길이를 고려할 때 어떤 정보를 유지할지 결정해야 합니다. MILLIVID는 조대한 구조(장면 레이아웃, 의미론)는 긴 시간 동안 보존되어야 하며, 미세한 디테일(질감)은 잊혀지거나 나중에 생성될 수 있다는 제안을 합니다.

조대-세밀 계층을 학습하고, 트랜스포머의 토큰 예산을 최근의 소수 미세 프레임보다 다수의 과거 조대한 프레임에 우선적으로 할당함으로써, 모델은 수백 프레임에 걸쳐 3D 장면 구조를 회상하는 능력을 획기적으로 높였습니다. 저자들은 이것이 외부 검색 메커니즘이나 명시적인 3D 지도 없이도 월드 모델링 및 로보틱스와 같이 긴 시간적 일관성이 요구되는 응용 분야를 위한 중요한 진전이라고 주장합니다.

저자들은 이 방법이 표준 사전 학습된 비디오 확산 모델을 직접 미세 조정(fine-tuning)하기 위해 설계된 것이 아니며, FramePack보다 약 33% 더 많은 롤아웃 단계가 필요하다는 한계점을 언급했습니다. 그러나 극적으로 향상된 일관성을 얻기 위한 트레이드오프로서 충분히 가치가 있다고 덧붙였습니다.