기술 요약: UnityShots

문제 정의

일관된 멀티샷 오디오-비디오 시퀀스를 생성하려면 샷 경계 전반에 걸쳐 피사체의 외형, 장면 컨텍스트, 화자의 정체성을 유지해야 합니다. 기존 방식들은 다음과 같은 구조적 한계를 가집니다:

• 엔드투엔드(End-to-end) 방식은 고정된 길이의 시퀀스로 학습되므로, GPU 메모리 제약으로 인해 장편 스토리텔링으로의 확장성이 제한됩니다.
• 샷 단위(Shot-by-shot) 방식은 종종 슬라이딩 윈도우나 키프레임 뱅크에 의존하며, 이는 시퀀스 길이에 따라 선형적으로 증가하여, 컨디셔닝 윈도우가 오프닝 샷을 지나치게 되면 정체성 드리프트(identity drift)를 유발합니다.
• 에이전트 오케스트레이션(Agent-orchestrated) 방식은 LLM 플래너를 사용하여 사전 학습된 생성기를 체이닝하지만, 기반 모델 자체에 네이티브한 크로스 샷 일관성 학습 기능이 부족하여 신호 전파가 어렵습니다.

또한, 현재의 설계들은 메모리를 단일한 컨텍스트 윈도우로 취급하여, 장기적인 서사적 앵커(오프닝 샷)와 단기적인 국소적 연속성(직전의 테일)을 구분하지 못합니다. 아울러, 시각 및 오디오 경계 신호를 결합하여 샷 컷에서 메모리 업데이트를 동적으로 제어하는 모델은 존재하지 않습니다.

방법론

UnityShots는 LTX-2.3 22B 듀얼 스트림 디퓨전 트랜스포머를 기반으로 구축된 메모리 구동형 멀티샷 오디오-비디오 생성 시스템입니다. 이 시스템은 크로스 샷 일관성을 해결하기 위해 구조화된 메모리 뱅크와 경계 조건부 게이팅 메커니즘을 도입합니다.

1. 듀얼 스트림 메모리 뱅크

시스템은 비디오와 오디오 스트림 모두에 대해 고정된 크기의 메모리 슬롯을 유지합니다:

• 비디오 메모리: 매 컷마다 업데이트되는 두 개의 고정 크기 슬롯으로 구성됩니다:
  • 장기 메모리 (LTM): 오프닝 샷($P_\ell=2$ 레이턴트 프레임)에 고정됩니다. 이는 글로벌 서사 정체성을 보존합니다. LTM의 기여도는 컷의 강도와 상관없이 앵커가 완전히 삭제되지 않도록 보장하는 규칙 기반 계수에 의해 제어됩니다.
  • 단기 메모리 (STM): 직전의 테일($P_v=4$ 레이턴트 프레임)을 보유합니다. 이는 국소적인 모션 다이내믹스와 장면 상태를 포착합니다. STM의 가중치는 출력 및 입력 샷의 콘텐츠에 의해 조건화된 콘텐츠 적응형 MLP에 의해 정교화됩니다.
• 오디오 메모리: 슬라이딩 윈도우 대신, 시스템은 매 샷마다 참조 오디오($A_{ref}$)에서 유도된 고정된 **참조 화자 토큰(reference speaker token)**을 주입합니다. 이를 통해 슬라이딩 오디오 뱅크를 유지하지 않고도 음색을 보존합니다.

2. 경계 조건부 메모리 게이팅

메모리 업데이트는 시각 및 오디오 신호를 융합한 복합 경계 점수($b_N$)에 의해 구동됩니다:
$$b_N = \tau_N \cdot (\alpha s_{vis} + \beta s_{aud} + \gamma s_{beat})$$
여기서 $\tau_N$은 이산적 컷 유형 사전 지식(FIRST, CONTINUE, HARD)이며, $s_{vis}$는 시각적 컷 확률, $s_{aud}$는 RMS 에너지 변화, $s_{beat}$는 비트 위치를 인코딩합니다.

• 게이팅 계수: 클리핑된 경계 점수로부터 두 개의 단조 증가 계수($g_{ltm}$ 및 $g_{stm}$)가 유도됩니다. LTM 계수는 앵커 손실을 방방지하기 위해 0보다 큰 값으로 엄격히 제한되며, STM 계수는 경계를 연결하도록 적응합니다.
• 업데이트 메커니즘: 메모리 슬롯은 오프닝 샷 앵커의 급격한 덮어쓰기를 방지하는 유계 업데이트 규칙을 사용하여 각 디노이징 패스 전에 업데이트됩니다.

3. Strata-RoPE 위치 인코딩

추가적인 깊이 토큰 없이 현재 샷, STM, LTM을 구분하기 위해, 시스템은 Strata-RoPE를 사용합니다. 시간적 RoPE 축은 세 개의 겹치지 않는 층(strata)으로 분할됩니다:

• 현재 샷: $[0, T_v - 1]$
• STM 밴드: $[f_{lim} - P_v, f_{lim} - 1]$
• LTM 밴드: $[f_{lim} - 2P_v, f_{lim} - P_v - 1]$
  이 설계는 로터리 커널이 거리에 따라 크로스 층 간의 상호작용을 자동으로 감쇠할 수 있도록 합니다.

4. 학습 및 추론

• 학습: 모델은 두 단계에 걸쳐 146k개의 주석이 달린 시네마틱 및 뮤직 비디오 클립으로 학습됩니다. 1단계에서는 싱글 샷에 대해 백본을 미세 조정합니다. 2단계에서는 메모리 슬롯과 게이팅을 도입하여 혼합된 컨디셔닝(I2V, T2V, R2V) 하에 멀티 샷 청크($k \in [3, 9]$)로 학습합니다.
• 추론: 각 샷에 대해, STM은 이전 샷의 테일을 전달받으며, LTM은 게이팅 메커니즘을 통해 업데이트됩니다. 백본은 참조 정체성, 메모리 슬롯 및 참조 오디오에 조건화되어 현재 샷을 디노이징합니다.

주요 기여

1. 메모리 구동형 듀얼 스트림 생성: AdaLN을 통해 트랜지션 강도를 제어할 수 있는 두 개의 슬롯 비디오 메모리 뱅크(LTM/STM)와 참조 화자 앵커를 갖춘 엔드투엔드 학습 백본을 제공합니다.
2. 경계 조건부 메모리 게이팅: 시각-오디오 결합 경계 신호를 사용하여 매 컷에서 메모리 뱅크를 업데이트하며, 글로벌 앵커와 국소적 연속성을 구분하는 메커니즘을 제공합니다.
3. 다문화 멀티 샷 벤치마크: 참조 정체성, 오디오, 그리고 컷별 전이 레이블을 포함하여 6개 문화 그룹과 10개 언어에 걸친 200개의 멀티 샷 시퀀스를 공개합니다.

결과

멀티 문화 벤치마크의 I2V, T2V, R2V 모드에서 평가했을 때, UnityShots는 탁월한 성능을 보여줍니다:

• 일관성: 모든 크로스 샷 일관성 지표(서사 일관성, 스토리, 캐릭터 일관성)에서 오픈 소스 베이스라인을 앞섭니다. 예를 들어, I2V 모드에서 가장 강력한 오픈 소스 베이스라인 대비 +0.40 NC 및 +0.69 Story를 달성했습니다.
• 폐쇄형 소스(Closed-Source)와의 비교: Kling과 같은 폐쇄형 시스템이 높은 프레임당 충실도를 보여주지만, UnityShots는 멀티 샷 축(NC, Story, Pace)에서 대등하거나 능가하며, 특히 화자 앵커 덕분에 오디오 연속성(AES-A, CLAP)에서 크게 앞섭니다.
• 장기 시퀀스 견고성: 어블레이션 연구를 통해 두 메모리 슬롯이 모두 필요함을 확인했습니다. 전체 시스템은 6개 이상의 샷이 있는 시퀀스에서도 정체성 일관성을 유지하는 반면, 단일 슬롯 변형이나 베이스라인은 드리프트 현상을 겪습니다.
• 인간 평가: 32명의 참가자를 대상으로 한 사용자 조사에서 UnityShots는 정체성 일관성 및 전반적인 품질 측면에서 모든 오픈 소스 베이스라인에 대해 다수의 선호도를 얻었습니다.

의의

본 논문은 메모리를 단일한 윈도우로 취급하는 것이 장편 생성에는 불충분하다고 주장합니다. 장기 정체성 앵커와 단기 연속성을 명시적으로 분리하고, 결합된 오디오-비주얼 경계 신호를 통해 이들의 업데이트를 게이팅함으로써, UnityShots는 일관된 멀티 샷 생성을 위한 확장 가능한 솔루션을 제공합니다. 이 연구는 싱글 샷 생성의 품질과 시네마틱 스토리텔링의 구조적 요구 사항 사이의 간극을 메우며, 수동 및 에이전트 기반 제작 파이프라인 모두와 호환되는 시스템을 제시합니다. 또한, 다양한 문화적 다양성과 크로스 샷 일관성에 대한 후속 연구를 촉진하기 위해 다문화 벤치마크를 공개합니다.