기술 요약: GroundShot

문제 정의

시각적으로 일관된 멀티샷(multi-shot) 장편 영상을 생성하는 것은 텍스트-비디오(T2V) 합성 분야에서 여전히 해결되지 않은 과제입니다. 최근의 모델들은 일관된 짧은 클립을 제작할 수는 있지만, 이를 멀티샷 내러티브로 확장하면 시각적 드리프트(visual drift) 현상이 발생합니다. 샷의 수가 증가함에 따라 등장인물(캐릭터), 객체, 장소의 얼굴 특징, 색상, 형태 또는 공간적 일관성이 변하게 됩니다.

본 논문은 기존 멀티샷 방식의 두 가지 주요 한계를 식별합니다:

1. 전체 프레임 참조(Whole-Frame References): 기존 방식은 종종 프레임 수준의 메모리나 인접 프레임에 의존합니다. 이는 캐릭터, 객체, 배경을 서로 얽히게 만들어, 생성기가 혼합된 시각적 맥락으로부터 엔티티의 외형을 추론하도록 강제하며, 장면이 복잡해질수록 이 과정은 신뢰할 수 없게 됩니다.
2. 내러티브 순서 생성(Narrative-Order Generation): 대부분의 방법은 내러티브 순서대로 샷을 생성합니다. 이는 시스템이 이야기 후반부에 나타날 수 있는 더 명확하고 정보가 풍부한 모습(예: 더 나은 뷰)을 기다리는 대신, 초기 단계의 잠재적으로 취약한 뷰(예: 멀리 떨어진 설정 샷)로부터 메모리를 초기화하도록 강제합니다. 이러한 초기 저품질 참조의 오류는 앞으로 전파되어 누적된 정체성 드리프트를 유발합니다.

저자들은 인간 관찰자가 엔티티의 모든 후속 등장 장면을 **첫 번째 명확한 등장(canonical reference, 정형 참조)**과 비교함으로써 일관성을 판단한다는 점에 주목했습니다. 따라서 일관성은 생성 순서를 내러티브 순서로부터 분리하여 고품질의 정형 참조를 우선적으로 생성하도록 엔티티 수준에서 관리되어야 합니다.

방법론: GroundShot

GroundShot은 엔티티 수준의 시각적 메모리와 샷 스케줄링을 관리하기 위해 설계된 학습이 필요 없는(training-free), 모델 불가지론적(model-agnostic) 에이전트 프레임워크입니다. 이 프레임워크는 기존의 T2V 또는 참조 조건부 비디오(Ref2V) 백엔드를 래퍼(wrapper)로서 작동합니다. 파이프라인은 다섯 가지 핵심 단계로 구성됩니다:

1. 스크립트 파싱 및 엔티티 추출

LLM 파서는 입력 텍스트 스크립트와 선택적 글로벌 캡션을 분석하여 다음을 수행합니다:

• 반복되는 엔티티(캐릭터, 객체, 장소) 식별.
• 텍s 언급을 샷 간에 연결하여 고유한 엔티티 ID 할당.
• 우선순위 레벨 할당 (캐릭터 > 객체 > 장소).
• 각 샷에 등장하는 엔티티 집합 결정.

2. 품질 인식 샷 스케줄링 (Quality-Aware Shot Scheduling)

내러티브 순서를 따르는 대신, GroundShot은 참조 소스로서의 기대 효용을 기반으로 최적의 **생성 순서($\pi$)**를 결정합니다.

• 참조 품질 추정: 각 엔티티 $e$와 샷 $s_i$에 대해, $Q_{ref}$는 규모, 가려짐, 뷰 등을 고려하여 엔티티가 얼마나 명확하게 나타날 것으로 예상되는지에 기초한 점수 $q_{src}(s_i, e)$를 예측합니다.
• 의존성 그래프 구축: 스케줄러는 특정 엔티티에 대해 가장 높은 예측 품질을 가진 "소스 샷"에서 해당 엔티티를 포함하는 다른 샷으로 향하는 에지가 있는 유향 그래프를 구축합니다.
• 위상 정렬(Topological Sorting): 스케줄러는 높은 우선순위 엔티티와 더 큰 품질 이득을 우선시하여 엔티티 간의 충돌하는 선호도를 해결한 후, 위상 정렬을 수행하여 생성 순서를 산출합니다. 이는 고품질 참조 샷이 의존 샷보다 먼저 생성되도록 보장합니다.

3. 엔티티 수준 시각적 메모리

GroundShot은 프레임이 아닌 엔티티별로 조직된 동적 시각적 메모리 $R$을 유지합니다.

• 정형 참조(Canonical Reference): 엔티티에 대한 첫 번째 충분히 고품질인 참조는 **정형 참조($r^*_e$)**로 보호됩니다. 이 앵커는 절대 덮어쓰이지 않습니다.
• 보충 참조(Supplementary References): 보충 참조는 정형 정체성과 일치하면서도(identity gate), 다른 표정, 뷰 또는 장면 확장을 제공하는 등 중복되지 않는 시각적 증거를 제공하는 경우에만 허용됩니다(diversity gate).
• 그라운딩 및 검증: 샷이 생성된 후, 시스템은 엔티티 수준 그라운딩(ReferDINO와 같은 모델 사용)을 수행하여 후보 크롭(crop)을 추출합니다.
  • 캐릭터/객체: 전경 크롭을 추출합니다.
  • 장소: 이미지 편집 모델을 통해 전경을 마스킹 및 제거하여 배경 장면을 재구성합니다.
  • 품질 체크: 후보들은 유형별 품질 체크(예: 얼굴 가시성, 선명도, 재구성 안전성)를 거칩니다. 임계값 $\tau_{type}$을 통과한 후보만이 메모리에 수용됩니다.

4. 샷 생성

스케줄링된 순서에 따라 각 샷에 대해 다음을 수행합니다:

• 참조 검색: 기본적으로 정형 참조를 검색합니다. 만약 보충 참조가 대상 샷의 특정 뷰, 표정 또는 장소 범위를 더 잘 매칭한다면, VLM 스코러를 통해 선택됩니다.
• 생성 모드:
  • T2V: 사용 가능한 전경 참조가 없는 경우, 텍스트로부터 샷을 생성합니다.
  • Ref2V: 참조가 있는 경우, 해당 참조를 조건으로 샷을 생성합니다.
• 검증 및 수리: VLM 비평가가 생성된 비디오를 프롬프트 및 참조와 대조하여 검증합니다. 심각한 문제(정체성 불일치, 엔티티 누락)가 감지되면, 타겟팅된 수리(예: 더 강력한 컨디셔닝, 프롬프트 조정, 리시딩)를 시도합니다.

5. 경험 학습 (Experience Learning)

GroundShot은 성공적인 수리 작업과 실패 모드를 기록하는 생성 경험 로그 $X$를 유지합니다. 이는 유사한 샷에 대한 미래의 결정을 안내하여, 단일 생성 실행 내에서 반복적인 개선을 가능하게 합니다.

주요 기여

1. GroundShot 프레임워크: 멀티샷 일관성을 엔티티 수준의 참조 관리 문제로 공식화한 새로운 학습 불필요(training-free) 에이전트 프레임워크입니다. 이는 품질 인식 스케줄링을 통해 생성 순서를 내러티브 순서로부터 명시적으로 분리하고, 엔티티 참조의 큐레이션된 시각적 메모리를 유지합니다.
2. GroundBench: 엔티티 수준에서 멀티샷 일관성을 평가하기 위해 설계된 진단 벤치마크입니다. 이는 스크립트를 제어된 챌린지 모듈(예: 스케일 변화, 다중 정체성 판별, 장면 재방문)로 구성하여, 전체적인 프레임 수준 메트릭을 넘어 미세한 실패 분석을 가능하게 합니다.
3. 실증적 검증: 광범한 실험을 통해 Ground-Shot이 추가적인 학습이나 모델 수정 없이도 엔티티 수준의 일관성 지표(ARC, WCI, XCD)에서 강력한 베이스라인(HoloCine, MultiShotMaster, StoryMem 포함)을 능가함을 입증했습니다.

결과

• 정량적 성능: GroundBench에서 GroundShot은 앵커 상대적 일관성(ARC) 및 **최악의 경우 정체성(WCI)**에서 최첨단(SOTA) 결과를 달성하여, 샷 전반에 걸친 엔티티 정체성 보존 능력이 우수함을 보여주었습니다. 또한, 유사한 정체성을 효과적으로 구분하는 교차 캐릭터 판별(XCD) 능력도 향상되었습니다.
• 백본 불가지론(Backbone Agnosticism): 이 프레임워크는 세 가지 서로 다른 비디오 생성 백엔드(Vidu, Kling, 오픈 소스 Wan2.1+Phantom)에서 일관성을 개선하여, 얻어진 이득이 특정 백엔드가 아닌 에이전트 프레임워크에서 기인함을 증명했습니다.
• 인간 평가: 48명의 참가자를 대상으로 한 연구에서 GroundShot은 정체성 일관성(4.18/5), 텍스트 정렬(4.23/5), 전반적 품질(4.21/5)에서 가장 높은 점수를 받으며 모든 베이스라인을 앞섰습니다.
• 절제 연구(Ablation Studies):
  • 엔티티 그라운딩: 엔티티 수준 그라운딩을 제거하고(전체 프레임을 사용하는 경우) 성능이 가장 크게 하락하여, 분리된 엔티티 참조의 필요성을 확인했습니다.
  • 스케줄링: 내러티브 순서 생성으로 되돌렸을 때 ARC와 WCI가 크게 저하되어, 참조 소스 샷을 먼저 생성하는 것의 중요성을 입증했습니다.
  • 동적 메모리: 단일 정형 앵커를 넘어 보충 참조를 허용하는 것이 뷰 변화 및 장면 확장을 처리하는 데(특히 장소의 경우) 매우 중요하다는 것을 보여주었습니다.

의의 및 주장

본 논문은 GroundShot이 시퀀셜한 프레임 수준 컨디셔닝에서 엔티티 중심의 참조 관리로 패러다임을 전환함으로써, 장편 비디오 생성의 근본적인 한계인 **누적 드리프트(cumulative drift)**를 해결한다고 주장합니다.

• 정형 참조 우선순위: 엔티티의 명확하고 고품질인 등장을 제공하는 샷을 우선적으로 생성함으로써, GroundShot은 모든 후속 등장이 잠재적으로 취약한 중간 프레임들의 사슬에서 드리프트되는 대신, 단일하고 신뢰할 수 있는 표준에 연결되는 "성형(star-shaped)" 일관성 구조를 구축합니다.
• 생산과 내러티브의 분리: 이 프레임워크는 샷이 생성되는 순서가 내러티브 순서와 일치할 필요가 없음을 보여줍니다. 이러한 유연성을 통해 시스템은 이야기에서 필요로 하기 전에 캐릭터와 장면의 시각적 정체성을 "사전 계산"할 수 있습니다.
• 실용성: GroundShot은 기본 비디오 생성 모델에 대한 추가 학습을 요구하지 않으므로, 기존의 최첨단 T2V 및 Ref2V 시스템에 즉시 적용 가능합니다.

저자들은 GroundShot이 기본 비디오 생성 백엔드의 품질 천장에 의해 제한될 수 있음을 인정합니다. 즉, 백엔드가 단 한 번의 시도로 인식 가능한 엔티티를 생성하지 못한다면 프레임워크가 문제를 완전히 해결할 수는 없습니다. 그러나 프레임워크는 사용 가능한 참조가 가장 높은 품질이 되도록 보장함으로써 멀티샷 생성의 일관성 천장을 크게 높입니다.