MuSS: A Large-Scale Dataset and Cinematic Narrative Benchmark for Multi-Shot Subject-to-Video Generation

다음은 "MuSS: 다중 샷 주제-비디오 생성을 위한 대규모 데이터셋 및 영화적 내러티브 벤치마크" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재 비디오 기반 모델은 단일 샷 비디오 생성에는 탁월하지만, 본질적으로 복잡한 다중 샷 시퀀싱에 의존하는 실제 영화적 스토리텔링에는 어려움을 겪고 있습니다. 이 분야는 다음과 같은 세 가지 주요 병목 현상에 직면해 있습니다:

• 진정한 내러티브 논리의 부족: 기존 데이터셋은 종종 분리된 단일 샷 클립으로 구성되어 있습니다. 이를 단순히 연결하는 것은 전문 영화에서 발견되는 정교한 카메라 블록킹, 몽타주 전환, 그리고 논리적 흐름을 시뮬레이션하지 못합니다.
• 시공간 텍스트 - 비디오 정렬 충돌: 일관된 다중 샷 시퀀스를 생성하는 것은 어렵습니다. 글로벌 캡셔닝은 세밀한 제어가 부족하고, 독립적인 샷 캡셔닝은 병합 시 모순된 문맥 (예: 샷 간 일관되지 않은 캐릭터 설명) 을 초래하기 때문입니다.
• 주제 - 비디오 (S2V) 의 '복사 - 붙여넣기' 딜레마: S2V 생성에서 모델들은 종종 참 3D 정체성 보존을 학습하는 대신 참조 이미지의 포즈와 조명만을 복제하는 단계를 이용합니다. 그 결과 카메라 각도나 시점이 변경될 때 실패하는 "2D 스티커" 생성이 발생합니다.

2. 방법론: MuSS 프레임워크

저자들은 이러한 과제를 해결하기 위해 설계된 대규모 듀얼 트랙 데이터셋이자 이에 상응하는 평가 벤치마크인 MuSS를 소개합니다.

A. 데이터셋 구축 (MuSS)

3,000 개 이상의 실제 영화에서 추출된 이 데이터셋은 엄격한 파이프라인을 통해 필터링된 수백만 개의 고품질 샷으로 구성됩니다:

1. 전처리 및 필터링: 원본 영상은 샷 경계 감지 (TransNetV2 사용) 를 거친 후, 의미적 일관성 (CLIP/DINO), 시각적 미학 (SigLIP), 텍스트 - 시각 정렬, 그리고 동적 모션에 대한 다차원 필터링을 수행합니다.
2. 듀얼 트랙 구성:
   • 복잡한 영화적 내러티브: 단일 스토리라인 내에서 서로 다른 주제와 장면 간의 몽타주 전환에 중점을 둡니다.
   • 주제 중심 내러티브: 다양한 장면, 타임라인, 카메라 각도에 걸쳐 핵심 정체성을 유지하는 데 중점을 둡니다.
3. 점진적 캡셔닝 파이프라인: 텍스트 정렬 충돌을 해결하기 위해 저자들은 2 단계 비전 - 언어 모델 (VLM) 전략을 제안합니다:
   • 1 단계: 단일 샷에 대한 세밀하고 독립적인 재캡셔닝.
   • 2 단계: "영화 감독 보조" 에이전트가 이러한 샷들을 집계하여 핵심 참조를 해결하고, 문맥적 일관성을 보장하며, 출력을 실제 샷 수에 맞게 포맷팅합니다.
4. 샷 간 매칭 (복사 - 붙여넣기 방지): 모델들이 2D 복사가 아닌 3D 정체성을 학습하도록 강제하기 위해, 데이터셋 구축 시 참조 이미지를 대상 비디오에서 샘플링하는 것을 명시적으로 금지합니다. 대신 참조 주체는 분리된 샷(최소 1 개의 중간 샷 또는 32 프레임 이상 분리됨) 에서 추출되어 카메라 각도와 조명에서 상당한 변이를 보장합니다.

B. 영화적 내러티브 벤치마크

저자들은 글로벌 텍스트 지표를 넘어 시각 - 논리 주도 패러다임으로 이동하는 새로운 평가 세트를 제안합니다:

• 트랙 1: 내러티브 효과성 검증:
  • 서브샷 텍스트 정렬: 의미적 누출 없이 로컬 프롬프트 준수를 측정합니다.
  • 다차원 시각 논리 (MDVL): 장면 논리 (배경 안정성), 캐스팅 논리 (정체성 보존), 액션 논리 (시간적 연속성), 공간 논리 (180 도 규칙 준수) 를 평가하는 LLM 기반 평가입니다.
  • 시간적 역동성: 비디오가 정적 슬라이드쇼가 아님을 보장하기 위해 광학 흐름 (RAFT) 을 사용합니다.
• 트랙 2: 주제 일관성 검증:
  • 분리된 정체성 보존: 외부 참조 이미지에 대한 충실도 평가와 생성된 샷 간의 내부 일관성 평가를 분리합니다.
  • 복사 - 붙여넣기 변이 (ACP-Var): 참조 이미지와 생성된 프레임 간의 구조적 및 포즈 다양성을 정량화하는 새로운 지표입니다. 이는 참조 이미지의 경직된 2D 자세로 수렴하는 모델을 패널티 처리합니다.
  • 복사 - 붙여넣기 비율 (CP-Rate): 사소한 2D 복사를 감지하기 위해 특징 유사성 엔트로피를 측정합니다.

3. 주요 기여

1. MuSS 데이터셋: 복사 - 붙여넣기 단계를 제거하기 위한 엄격한 샷 간 매칭을 특징으로 하는, 다중 샷 비디오 및 S2V 생성을 위해 특별히 큐레이션된 최초의 대규모 오픈소스 데이터셋.
2. 점진적 주석 전략: 로컬 샷 정확성과 글로벌 내러티브 일관성을 모두 보장하여 시공간 텍스트 충돌을 해결하는 새로운 VLM 파이프라인.
3. 영화적 내러티브 벤치마크: ACP-Var 지표와 MDVL 프레임워크를 특징으로 하는 포괄적인 평가 세트로, 글로벌 텍스트 정렬에서 구조적 시각 논리와 3D 일관성으로 초점을 이동시킵니다.
4. 최첨단 성능: MuSS 로 증강된 모델이 스토리텔링 효과성과 샷 간 정체성 보존에서 기존 베이스라인을 크게 능가함을 입증했습니다.

4. 실험 결과

MuSS 로 증강된 베이스라인을 StoryDiffusion, HoloCine, EchoShot, Phantom, VACE 등 최첨단 모델들과 광범위하게 비교한 실험 결과:

• 내러티브 효과성 (트랙 1): MuSS 모델은 장면, 캐스팅, 액션, 공간 논리에서 가장 높은 점수를 기록하여, 다른 모델들이 실패하는 극적인 시점 전환 중에도 구조적 일관성을 유지할 수 있음을 입증했습니다 (예: 배경 환각 또는 캐릭터 소실).
• 주제 일관성 (트랙 2):
  • 기존 S2V 모델 (Phantom 및 VACE 등) 은 참조 이미지에 대한 충실도는 높았으나 샷 간 정체성을 유지하지 못해 (낮은 Inter-Sub.Con) "2D 스티커 생성기"로 작용했습니다.
  • MuSS 모델은 **가장 높은 ACP-Var(0.8827)**와 **가장 낮은 CP-Rate(7.35%)**를 달성하여 픽셀을 복사하는 것이 아니라 새로운 뷰를 합성하는 데 성공적으로 학습했음을 확인시켰습니다.
  • 최첨단 그라운딩을 달성하면서도 우수한 내부 정체성 보존을 유지했습니다.
• 인간 상관관계: 제안된 지표는 전문적인 인간 판단과 강한 상관관계를 보였습니다 (Spearman's $\rho = 0.826$), 벤치마크의 과학적 엄격성을 검증했습니다.

5. 의의

MuSS는 분리된 단일 샷 생성과 산업 수준의 영화적 스토리텔링 간의 간극을 해소함으로써 비디오 생성 연구에서 중요한 진전을 의미합니다.

• 패러다임 전환: "복사 - 붙여넣기" 단계를 벗어나 진정한 3D 구조적 이해와 새로운 뷰 합성으로 커뮤니티를 이동시킵니다.
• 표준화: 이전 벤치마크 (단일 샷 품질에 중점) 가 다루지 못했던 복잡한 다중 샷 논리를 평가하기 위한 필요하고 엄격한 기준을 제공합니다.
• 미래 영향: 진정한 내러티브 논리와 3D 일관성을 강제하는 데이터셋을 제공함으로써, 전문 단편 영화, 광고, 복잡한 시각적 내러티브를 생성할 수 있는 AI 기반 도구의 토대를 마련합니다.