기술 요약: EM-Vid

문제 정의

멀티샷 비디오 생성은 반복되는 개체 (캐릭터, 사물, 장면) 가 다양한 샷에서 일관된 외관을 유지하면서도 샷별 텍스트 프롬프트를 엄격히 준수하는 일관된 장편 시각적 내러티브를 생성하는 것을 목표로 합니다. 기존 접근 방식은 상당한 트레이드오프에 직면해 있습니다:

• 연합 생성 (Joint Generation): 모든 샷을 동시에 생성하면 글로벌 일관성을 보장하지만, 계산 비용이 많이 들고 확장하기 어렵습니다.
• 자기회귀 생성 (Autoregressive Generation): 샷을 순차적으로 생성하면 효율성이 향상되지만, 종종 이전 내용을 "망각"하고 장편 내러티브에 걸쳐 오류가 누적되는 문제가 발생합니다.
• 메모리 기반 방법: 최근 접근 방식은 이전에 생성된 프레임을 메모리로 사용하여 생성을 안내합니다. 그러나 **전체 프레임 (holistic full frames)**을 저장하면 영구적인 개체 정보가 일시적인 장면 맥락과 얽히게 됩니다. 이로 인해 다음과 같은 문제가 발생합니다:
  1. 무관한 정보 누출: 메모리 프레임의 배경 아티팩트나 일시적인 세부 사항이 새로운 생성물에 누출되어 의도하지 않은 시각적 요소를 초래합니다.
  2. 높은 계산 비용: 자기주의 (self-attention) 메커니즘이 조밀한 프레임의 모든 토큰을 처리하여 2 차 복잡도를 초래합니다.
  3. 프롬프트 준수 문제: 의미적으로 유사한 프롬프트는 모델이 새로운 텍스트 지시를 따르는 대신 저장된 외관을 "복사 - 붙여넣기"하도록 유도하여, 특히 미묘한 속성 변경 시 문제가 됩니다.

방법론: EM-Vid

EM-Vid 는 영구적인 개체 정보를 일시적인 맥락에서 분리하도록 설계된 모델 재학습이 불필요한 (training-free), 개체 중심 메모리 표현 및 추론 메커니즘을 제안합니다. 이는 사전 학습된 메모리 프레임 유도 비디오 생성 모델 (구체적으로 Wan2.2-I2V 의 LoRA 미세 조정 변형) 위에 작동합니다.

1. 구조화된 스토리 스크립트 형식

효율적인 검색을 가능하게 하기 위해, 이 방법은 구조화된 입력 스크립트를 요구합니다:

• 영구적인 주제와 장면은 고유 식별자 (예: [CH_01], SC_01) 를 할당받습니다.
• 각 샷은 추상적 프롬프트(식별자 참조) 와 자연어 프롬프트(전체 텍스트 설명) 를 포함합니다.
• 추상적 프롬프트는 현재 샷과 관련된 메모리 항목만 검색하기 위한 쿼리로 작용합니다.

2. 개체 중심 메모리 뱅크

전체 프레임을 저장하는 대신, EM-Vid 는 특정 개체와 관련된 희소 잠재 패치 (sparse latent patches) 를 포함하는 개체 뱅크를 유지합니다.

• 초기화: 각 개체에 대해 시스템은 개체의 분할 영역 (SAM3 사용) 과 겹치는 메모리 프레임 (또는 사용자 참조) 에서 패치를 추출합니다.
• 저장: 각 항목은 VAE 잠재 패치, 공간 좌표, 소스 프레임 인덱스, 그리고 외관 설명자 (DINOv2 특징 및 CLIP 영역 - 텍스트 유사도) 를 저장합니다.
• 희소 조건부 (Sparse Conditioning): 추론 시, 모델은 현재 샷의 추상적 프롬프트에 언급된 개체에 해당하는 패치만 검색합니다.

3. 추론 시 희소 토큰 조건부 처리

희소 패치를 조밀한 그리드를 기대하는 모델에 통합하기 위해, EM-Vid 는 특정 파이프라인을 사용합니다:

• 산란 (Scattering): 검색된 희소 패치는 전체 잠재 텐서 내의 원래 시공간 위치로 다시 산란됩니다.
• 토큰 가지치기 (Token Pruning): 텐서가 패치로 토큰화됩니다. 개체가 포함된 패치에 해당하는 토큰만 유지되고 나머지는 가지치기됩니다.
• 주의 감소 (Attention Reduction): 트랜스포머 백본 (DiT) 은 이러한 관련 토큰만 처리하여 자기주의 비용을 크게 줄이고 무관한 배경 정보의 간섭을 감소시킵니다.
• 재구성: 예측된 희소 토큰은 조밀한 레이아웃으로 다시 산란되고 언패치 (unpatchified) 되어 다음 확산 단계를 위한 전체 잠재 상태를 업데이트합니다.

4. 메모리 업데이트 전략

새로운 샷이 생성됨에 따라 개체 뱅크는 진화합니다:

• 후보 선택: 새로운 샷의 키프레임이 미적 점수에 기반하여 추출됩니다.
• 필터링: 새로운 후보는 기존 항목과 DINOv2 유사도를 비교합니다. 새로운 정보를 제공하거나 (낮은 유사도) 충분히 구별되지만 관련 있는 후보는 수용되고, 중복된 항목은 거부됩니다.
• 예산 관리: 개체당 고정된 토큰 예산이 강제됩니다. 항목은 관련성 - 비용 비율 (CLIP 유사도를 토큰 수로 나눈 값) 을 기준으로 우선순위가 매겨져, 은행이 의미적으로 관련 있는 변형을 유지하면서 컴팩트하게 유지되도록 합니다.

5. 노이즈 주입을 통한 세밀한 외관 제어

모델이 미묘한 프롬프트 변경 (예: 셔츠 색상 변경) 을 무시하는 "복사 - 붙여넣기" 행동을 해결하기 위해, EM-Vid 는 노이즈 주입 메커니즘을 도입합니다:

• 경계 완화: 개체 경계에 있는 패치는 종종 배경 픽셀을 포함합니다. 배경 누출을 방지하기 위해 인코딩 전에 이러한 영역에 가우시안 노이즈가 주입됩니다.
• 속성 수정: 프롬프트가 특정 속성의 변경을 지정하는 경우 (예: "검은 신발" 대 "갈색 신발"), 해당 영역에 해당하는 패치가 식별됩니다. 이러한 특정 패치에 노이즈가 주입되어 모델이 저장된 외관에 의존하는 것을 약화시키고, 해당 영역에서 텍스트 프롬프트를 따르도록 강제합니다.

주요 기여

1. 개체 인덱싱 메모리 표현: 개별 개체에 대한 희소 잠재 패치를 저장하는 새로운 메모리 형식으로, 영구적인 정체성과 일시적인 맥락을 분리하여 정보 누출과 계산 비용을 줄입니다.
2. 모델 재학습이 불필요한 희소 토큰 조건부 처리: 사전 학습된 비디오 모델이 샷 관련 메모리 토큰만으로 작동할 수 있게 하여 원래 아키텍처와의 호환성을 유지하면서 자기주의 오버헤드를 극적으로 줄이는 메커니즘입니다.
3. 점진적 개체 - 메모리 업데이트: 새로운 개체 관측을 통합하면서 중복성을 가지치기하는 예산 인식 업데이트 전략으로, 무제한적인 메모리 증가 없이 장기적인 일관성을 보장합니다.
4. 노이즈 기반 외관 제어: 무관한 경계 정보를 억제하고 세밀한 속성 수정을 가능하게 하여 모델이 저장된 외관으로 기본화되는 것을 방지하는 노이즈 주입 전략입니다.
5. 새로운 평가 지표: 단순한 복사 - 붙여넣기 행동을 패널티로 부과하는 샷 간 주제 일관성 및 생성된 배경과 스크립트된 장면 설명 간의 정렬을 측정하는 배경 장면 정렬 지표의 도입.

결과

저자들은 EM-Vid 를 20 개의 영화적 스토리 스크립트 (각각 10 개의 샷) 에서 Wan2.2-T2V, FramePack, Phantom, StoryMem 등을 포함한 베이스라인과 비교하여 평가했습니다.

• 프롬프트 준수: EM-Vid 는 메모리 누출로 고통받는 베이스라인에 비해 텍스트 프롬프트와의 우수한 정렬을 보여주는 가장 높은 ViCLIP 점수를 달성했습니다.
• 주제 일관성: 이 방법은 오류를 누적하는 자기회귀 베이스라인을 능가하는 강력한 샷 간 주제 일관성 ($CSC^*_{DINO/CLIP}$으로 측정) 을 유지하며, 단순한 지표에서 보이는 "복사 - 붙여넣기" 편향을 피합니다.
• 배경 일관성: EM-Vid 는 스크립트가 지시할 때 배경을 성공적으로 변경하는 반면, StoryMem 은 종종 배경 아티팩트를 전달하는 것과 달리 개선된 배경 장면 정렬 ($BG A$) 을 보여줍니다.
• 효율성: 희소 메모리 접근 방식은 메모리 토큰 사용을 최대 **88.9%**까지 줄이고, 조밀한 전체 프레임 메모리 베이스라인에 비해 최대 73% 의 추론 속도 향상을 제공합니다.
• 시각적 품질: 일반 T2V 모델은 장거리 제약이 부족하여 샷 내부 미적 지표에서 약간 더 높은 점수를 받을 수 있지만, EM-Vid 는 우수한 내러티브 일관성을 제공하면서도 경쟁력 있는 성능을 유지합니다.

중요성과 주장

이 논문은 EM-Vid 가 모델 재학습 없이 일관된 장편 비디오 생성을 위한 확장 가능하고 효과적인 솔루션을 제공한다고 주장합니다. 전체 프레임 메모리에서 개체 중심의 희소 표현으로 전환함으로써, 이 방법은 현재 메모리 기반 접근 방식이 겪는 정체성과 맥락의 근본적인 얽힘 문제를 해결합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 영구적인 개체 정보를 일시적인 장면 맥락에서 **분리 (Decouples)**합니다.
• 관련 토큰으로 주의를 제한함으로써 계산 복잡성을 **감소 (Reduces)**시킵니다.
• 노이즈 주입을 통해 개체 속성에 대한 세밀한 제어를 **가능하게 (Enables)**하며, 이는 종종 메모리 유도 시스템에서 결여된 기능입니다.
• 주제 정체성 유지와 동적 장면 프롬프트 준수 사이의 균형을 **개선 (Improves)**합니다.

이 작업은 기존 사전 학습된 모델을 활용하는 실용적인 추론 시 수정으로 제시되어, 일관된 멀티샷 내러티브 생성에 접근 가능하고 효율적인 방법을 제공합니다.