기술 요약: 일관된 장편 영상 생성을 위한 학습 없는 무한 프레임 생성 강화

1. 문제 제기

최근 기반 비디오 생성 모델의 발전은 짧은 비디오 클립 합성에서 놀라운 능력을 입증했습니다. 그러나 영화 제작 및 세계 시뮬레이션과 같은 많은 실용적 응용 분야는 일관된 장편 영상 생성을 요구합니다. 장편 모델을 처음부터 구축하는 것은 계산 비용이 많이 들고 데이터 집약적입니다. 따라서 연구자들은 기존 기반 모델의 생성 길이를 확장하기 위한 학습 없는 (train-free) 전략에 집중해 왔습니다.

프레임 단위 자기회귀 (autoregressive) 프레임워크 (예: FIFO-Diffusion) 는 일정한 메모리 소비로 무한히 긴 영상을 생성한다는 장점을 제공하지만, 두 가지 중요한 한계에 직면해 있습니다:

1. 학습 - 추론 간극 (Training-Inference Gap): 기반 모델은 단일 통합 노이즈 레벨을 가진 잠재 (latent) 로 훈련됩니다. 반면, 자기회귀 추론은 동시에 다양한 노이즈 레벨을 가진 잠재들을 처리해야 합니다. 이러한 불일치는 콘텐츠 드리프트 (content drift) 와 시각적 아티팩트를 초래합니다.
2. 장기 일관성 (Long-Term Consistency): 기존 방법들은 종종 장거리 프레임 의존성을 명시적으로 모델링하지 못합니다. 예를 들어, FIFO-Diffusion 은 선_lookahead (lookahead) 제거를 통해 인접한 청크 간에만 특징 상호작용을 촉진하므로, 확장된 기간에 걸쳐 최적의 일관성을 달성하지 못합니다.

2. 방법론: MIGA

저자들은 학습 - 추론 간극을 완화하고 장기 일관성을 강화하도록 설계된 새로운 학습 없는 방법인 MIGA(Multi-Stage Infinite-Frame Generation Approach) 를 제안합니다. MIGA 는 VideoCrafter2, Wan2.1 과 같은 기존 기반 모델 위에서 작동하며 재훈련이 필요하지 않습니다.

2.1 2 단계 학습 - 추론 정렬 (TTA)

노이즈 레벨 불일치를 해결하기 위해 MIGA 는 추론 동안 모델에 공급되는 과도한 노이즈 범위를 줄이는 2 단계 메커니즘을 도입합니다:

• 1 단계: 지그재그 반복 제거 (Zigzag Iterative Denoising). 각 단일 잠재 프레임마다 노이즈 레벨을 변경하는 대신, MIGA 는 노이즈 레벨이 $L_{zig}$개의 잠재마다 변경되는 노이즈 큐를 유지합니다. 이 "지그재그" 구조는 입력 전반에 걸쳐 더 매끄러운 노이즈 범위를 생성하여 추론 조건과 훈련 분포 사이의 간극을 선제적으로 좁힙니다.
• 2 단계: 통합 노이즈 레벨 제거 (Unified Noise Level Denoising). 큐의 잠재들이 동일한 시간 단계 ($\tau_{e-1}$) 로 부분적으로 제거된 후, 프로세스는 통합 제거 단계로 전환됩니다. 여기서 모든 프레임은 동일한 노이즈 레벨을 공유하며, 이는 모델 훈련 단계에서 관찰된 조건과 완벽하게 정렬됩니다. 이 단계는 시각적 노이즈와 아티팩트를 억제합니다.

2.2 이중 일관성 강화 (DCE)

장기 일관성을 개선하기 위해 MIGA 는 유지되는 잠재 큐의 속성에 기반한 두 가지 보완적 전략을 사용합니다:

• 자기 반성 (Self-Reflection, 꼬리 수정): 큐의 꼬리에 있는 초기 고노이즈 잠재들에 초점을 맞춥니다. 테스트 시간 스케일링 (TTS) 에서 영감을 받은 이 접근법은 잠재 특징 간의 코사인 유사도 (cosine similarity) 를 사용하여 일관성을 평가합니다 (외부 평가자나 VAE 디코딩이 필요 없음). 일관성 저하가 감지되면 (임계값 $\delta_{adju}$를 초과), 시스템이 비정상 잠재가 전파되기 전에 수정하기 위해 확장된 검색을 트리거합니다.
• 장거리 프레임 가이드 (Long-Range Frame Guidance, 머리 가이드): 큐의 머리에 있는 후기 저노이즈 잠재들에 초점을 맞춥니다. 이 메커니즘은 시퀀스 초기의 희소하고 깨끗한 잠재들을 지역 제거 윈도우에 통합합니다. 먼 거리의 깨끗한 프레임으로 현재 생성을 명시적으로 가이드함으로써 장거리 시간적 간격에 걸친 특징 상호작용을 촉진합니다.

3. 주요 기여

1. MIGA 프레임워크: 학습 - 추론 정렬 및 일관성에서의 고유한 한계를 해결하면서도 자기회귀 프레임워크의 메모리 효율성을 유지하는 새로운 무한 프레임 생성 방법.
2. 2 단계 정렬 메커니즘: 지그재그 반복 제거를 통한 통합 노이즈 레벨 제거로 노이즈 범위를 최적화함으로써 학습 - 추론 간극을 완화하는 효과적인 전략.
3. 이중 일관성 강화: 외부 평가자 없이 시간적 일관성을 크게 개선하기 위해 자기 반성 (초기 고노이즈 수정용) 과 장거리 프레임 가이드 (후기 저노이즈 조향용) 를 결합한 혁신적 메커니즘.
4. 최첨단 성능: 기존 학습 없는 방법들에 비해 주요 벤치마크에서 우수한 결과를 보여주는 포괄적인 실험.

4. 실험 결과

저자들은 VideoCrafter2 와 Wan2.1-1.3B 두 가지 기반 모델을 사용하여 VBench와 NarrLV 벤치마크에서 MIGA 를 평가했습니다.

• VBench 성능: MIGA 는 모든 지표에서 최첨단 성능을 달성했습니다. 강력한 기준선인 FIFO-Diffusion(Wan2.1 사용) 과 비교하여 MIGA 는 주제 일관성을 4.7% 향상시키고 배경 일관성을 2.0% 향상시켰습니다. 또한 FreeLong 및 FreePCA 와 같은 다른 학습 없는 방법들보다도 우수한 성과를 보였습니다.
• NarrLV 성능: 내러티브 표현성 벤치마크에서 MIGA 는 풍부한 내러티브 콘텐츠를 생성하는 데 탁월한 능력을 입증하여 장면 속성, 대상 속성, 대상 행동 측면에서 FIFO-Diffusion 을 능가했습니다.
• 정성적 결과: 시각화 자료는 MIGA 가 강력한 주제 및 배경 일관성을 유지하며 텍스트 프롬프트를 충실히 따르는 1,000 프레임 이상 (약 1 분) 의 영상을 생성함을 보여줍니다.
• 효율성: 이 방법은 비디오 길이에 관계없이 일정한 메모리 소비를 유지합니다. 자기 반성 메커니즘이 테스트 시간 스케일링을 통해 추가적인 계산 비용을 도입하지만, 장거리 프레임 가이드는 무시할 수 있는 오버헤드만 추가합니다.

5. 중요성 및 주장

이 논문은 MIGA 가 학습 없는 장편 영상 생성 분야에서 중요한 진전을 나타낸다고 주장합니다. 학습 - 추론 간극을 효과적으로 연결하고 장기 의존성을 명시적으로 모델링함으로써, MIGA 는 대규모 재훈련의 계산적 부담 없이 기반 모델이 일관된 무한 길이 영상을 생성할 수 있게 합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 메모리 효율성 유지: FIFO-Diffusion 과 마찬가지로 고정된 메모리 사용량으로 무한 프레임을 지원합니다.
• 일관성 개선: 현재 자기회귀 방법에서 흔히 발생하는 "콘텐츠 드리프트"와 "시각적 아티팩트"를 직접 해결합니다.
• 일반화 가능성: 이 방법은 VideoCrafter2 와 Wan2.1 등 서로 다른 기반 모델에 성공적으로 적용되었으나, 저자들은 텍스트와 노이즈 조건이 결합된 특정 아키텍처 (예: MMDiT) 로 이전할 때는 한계가 있음을 지적합니다.

이 연구는 MIGA 가 최첨단 결과를 달성하지만, 객체 부분 교체와 같은 물리적 환각과 같은 과제는 여전히 남아 있으며, 텍스트 이상의 추가 조건 신호를 포함하는 향후 연구가 필요함을 결론짓습니다.