DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation

1. 문제 정의 (Problem)

최근 비디오 생성 모델 (Video Generative Models) 은 시각적 충실도 (Visual Fidelity) 와 단기적 시간적 일관성 (Short-term Temporal Coherence) 에서 괄목할 만한 성과를 보였으나, 다음과 같은 세 가지 차원의 일관성 (Consistency) 유지에 있어 근본적인 한계를 겪고 있습니다.

1. 클립 내부 세계 지식 일관성 (Intra-clip World Knowledge Consistency): 단일 클립 내에서 객체, 속성, 물리적 상호작용이 의미론적 및 물리적으로 모순 없이 일관되어야 합니다. 그러나 사용자 프롬프트가 종종 불완전하여 모델이 암묵적인 세계 지식을 추론하는 과정에서 모순이나 비현실적인 동작이 발생합니다.
2. 클립 간 카메라 일관성 (Inter-clip Camera Consistency): 여러 클립 간의 카메라 움직임과 시점 전환이 기하학적이고 시간적으로 구조화되어야 합니다. 텍스트만으로 카메라 제어를 시도할 경우 제어력이 약하거나 불안정해집니다.
3. 샷 간 요소 일관성 (Inter-shot Element Consistency): 장편 내러티브에 걸쳐 캐릭터, 장면, 스타일의 정체성이 유지되어야 합니다. 기존 모델은 장거리 시간적 의존성을 처리하는 데 한계가 있어, 캐릭터의 정체성이나 스토리 흐름이 끊기는 문제가 발생합니다.

기존의 단일 모놀리식 (Monolithic) 모델은 이 세 가지 서로 다른 요구사항 (의미론적 추론, 기하학적 제어, 장거리 기억) 을 동시에 처리하려다 표현적 얽힘 (Representational Entanglement) 이 발생하거나, 한 가지 성능을 희생하여 다른 성능을 희생하는 트레이드오프에 직면합니다.

2. 제안 방법론 (Methodology)

저자들은 분할 정복 확산 모델 (Divide-and-Conquer Diffusion Model, DCDM) 을 제안합니다. 이는 비디오 생성의 일관성 문제를 세 가지 전용 컴포넌트로 분해하되, 통일된 비디오 확산 백본 (Diffusion Transformer, DiT) 을 공유하는 시스템 수준의 프레임워크입니다.

2.1. 클립 내부 세계 지식 일관성: LLM 기반 프롬프트 확장

• 동기: 불완전한 사용자 프롬프트로 인한 의미론적 모순 해결.
• 기법: 대규모 언어 모델 (LLM, 예: Qwen3) 을 활용하여 입력 프롬프트를 분석하고, 장면의 세부 사항, 개체, 속성, 공간적 관계, 가능한 동작 등을 명시적으로 추론하여 정제된 프롬프트 (Refined Prompt) 를 생성합니다.
• 작동 원리: 생성된 정제된 프롬프트를 텍스트 조건 (Text Conditioning) 으로 DiT 백본에 입력하여, 확산 모델이 명시적인 의미론적 추론을 기반으로 시각적으로 일관된 비디오를 생성하도록 유도합니다.

2.2. 클립 간 카메라 일관성: 노이즈 공간의 카메라 제어

• 동기: 텍스트 기반 카메라 제어의 불안정성 해결 및 정밀한 움직임 구현.
• 기법:
  1. 카메라 분류: LLM 을 사용하여 프롬프트의 카메라 움직임을 미리 정의된 카테고리 (좌/우/상/하/줌인/줌아웃/정지 등) 로 분류합니다.
  2. 노이즈 공간 표현 (Noise-space Representation): 확산 과정의 초기 단계에서 표준 가우시안 노이즈를 카메라 파라미터에 따라 시간적으로 왜곡 (Warping) 시킵니다. 이를 통해 시간적으로 일관된 노이즈 구조를 생성합니다.
  3. 텍스트 - 이미지 초기화: 텍스트 - 이미지 모델로 참조 이미지 (Reference Image) 를 생성하여 DiT 에 조건부로 입력함으로써 외관 모호성을 줄이고 카메라 제어의 정확도를 높입니다.
• 효과: 확산 역학에 간섭하지 않으면서도 시간적으로 안정적이고 정밀한 카메라 움직임을 구현합니다.

2.3. 샷 간 요소 일관성: 희소 샷 간 자기 주의 (Sparse Inter-shot Self-Attention)

• 동기: 장편 내러티브에서의 캐릭터/장면 정체성 유지와 계산 효율성의 균형.
• 기법:
  • 샷 내 (Intra-shot): 각 샷 내에서 완전한 양방향 자기 주의 (Full Bidirectional Self-attention) 를 적용하여 국소적 일관성을 확보합니다.
  • 샷 간 (Inter-shot): 모든 프레임을 연결하는 완전한 주의 (Full Attention) 는 계산 비용이 너무 높으므로, 각 샷의 대표 토큰 (예: 첫 프레임 토큰) 만을 선택하여 전역 컨텍스트 요약 (Global Context Summary) 을 생성합니다.
  • 희소 주의 메커니즘: 현재 샷의 쿼리 (Query) 는 로컬 키/밸류와 전역 요약 키/밸류 모두에 주의를 기울입니다. 이를 통해 장거리 정보 교환은 유지하되 계산 복잡도를 $O((N \cdot L)^2)$ 에서 $O(N \cdot L \cdot S)$ 로 대폭 감소시킵니다 ($S \ll L$).
• 효과: 분 단위 비디오 생성 시에도 캐릭터와 스토리의 일관성을 유지하면서 계산 효율성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. DCDM 프레임워크 제안: 비디오 일관성을 '클립 내부 세계 지식', '클립 간 카메라', '샷 간 요소'의 세 가지 차원으로 분해하여 각각 전용 모듈로 해결하는 통일된 시스템 아키텍처를 제시했습니다.
2. LLM 기반 프롬프트 확장: 암묵적인 의미를 명시적으로 확장하여 클립 내부의 의미론적 일관성을 보장하는 메커니즘을 도입했습니다.
3. 노이즈 공간 카메라 제어: 확산 모델의 초기 노이즈에 시간 구조를 부여하여 정밀하고 안정적인 카메라 움직임을 제어하는 새로운 방식을 제안했습니다.
4. 희소 샷 간 자기 주의: 장거리 일관성과 계산 효율성을 동시에 달성하기 위한 효율적인 어텐션 패턴을 설계하여 분 단위 비디오 생성을 가능하게 했습니다.

4. 실험 결과 (Results)

• 벤치마크: AAAI'26 CVM (Consistency in Video Generative Models) 경진대회 테스트 세트를 기반으로 평가되었습니다.
• 성능: DCDM 은 세 가지 시나리오 (세계 지식, 카메라 제어, 샷 간 일관성) 모두에서 높은 품질의 비디오 생성을 보여주었습니다.
  • Qualitative Results: Figure 2 에서 보듯, 물리적으로 모순 없는 동작, 정밀한 카메라 이동 (예: 트래킹, 줌), 그리고 장편 내러티브에서의 캐릭터/장면 일관성이 시각적으로 입증되었습니다.
  • Award: 해당 경진대회에서 Top Team으로 선정되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 모델의 일관성 문제를 해결하기 위해 단일 거대 모델에 모든 것을 의존하는 방식을 탈피하고, 분할 정복 (Divide-and-Conquer) 전략을 통해 의미론적 추론, 기하학적 제어, 내러티브 기억을 분리하여 최적화하는 시스템 수준 접근법의 유효성을 입증했습니다.

특히, LLM 의 추론 능력과 확산 모델의 생성 능력을 결합하고, 노이즈 공간에서의 제어 및 효율적인 어텐션 메커니즘을 도입함으로써, 복잡하고 긴 비디오 생성에서도 높은 신뢰성과 제어 가능성을 확보할 수 있음을 보여주었습니다. 이는 향후 신뢰할 수 있고 제어 가능한 비디오 합성 시스템 개발의 중요한 방향성을 제시합니다.