기술 요약: Vorch-Director

문제 정의

자기회귀적 연속 생성(Autoregressive continuation)은 짧은 윈도우 생성기를 반복적으로 확장함으로써 분 단위의 다중 샷 오디오-비주얼 콘텐츠를 생성할 수 있는 경로를 제공합니다. 그러나 결정적인 **학습-테스트 불일치(train-test mismatch, 노출 편향)**가 이 접근 방식의 발목을 잡습니다. 학습 중에는 모델이 깨끗한 정답 히스토리에 조건화되는 반면(교사 강요, teacher forcing), 추론 시에는 자신이 이전에 생성한 불완전한 출력물에 의존하게 됩니다. 이러한 불완전한 예측의 재귀적 재사용은 오류의 누적으로 이어져, 장기적인 시간 지평(temporal horizon)에서 정체성 드리프트(identity drift), 과도한 평활화(over-smoothing), 모션 불일치, 그리고 오디오-비주얼 비동기화를 유발합니다.

기존 솔루션들은 메모리 검색(깨끗한 컨텍스트를 가정함)이나 자기 롤아웃 학습(계산 비용이 많이 듦)을 통해 이를 완화하려고 시도합니다. 최근의 경량화된 접근 방식인 Matrix-Game은 예측 잔차(prediction residuals)를 조건부 히스토리에 주입하여 학습 중에 추론 시의 오류를 시뮬레이션합니다. 그러나 이러한 방법들은 확산 모델(diffusion models)의 근본적인 특성, 즉 예측 잔차가 생성될 때의 흐름 매칭 노이즈 레벨($\sigma$)에 본질적으로 의존한다는 점을 간과합니다. 높은 $\sigma$의 잔차는 거친 구조적 편차를 나타내는 반면, 낮은 $\sigma$의 잔차는 미세한 디테일의 오류를 포착합니다. 서로 다른 노이즈 체계 사이에서 잔차를 무분별하게 재사용하는 것은 히스토리를 과소하게 오염시키거나 과도하게 오염시켜, 추론 시의 분포를 충실히 재현하는 데 실패하게 만듭니다.

또한, 장기 생성은 위치 외삽(positional extrapolation) 문제를 야기합니다. 표준 연속 모델은 생성 길이에 따라 계속 증가하는 연속적인 위치 인덱스에 의요하며, 이는 모델이 학습 범위를 벗어나 외삽하도록 강제합니다. 이는 두 번째 노출 편향의 원인이 됩니다.

방법론: Vorch-Director

Vorch-Director는 LTX-2 오디오-비주얼 확산 트랜스포머(DiT)를 기반으로 한 노이즈 인식 오류 교정(noise-aware error rectification) 전략을 통해 이러한 과제들을 해결합니다.

1. $\sigma$-인식 잔차 주입 ($\sigma$-Aware Residual Injection)

핵심 혁신은 주입된 오류를 디노이징 과정과 일치시키는 전략입니다.

• 잔차 수집 (Residual Collection): 학습 중에 타겟 토큰으로부터 재구성 잔차($\delta = \hat{x}_0 - x_0$)를 수집하여 링 버퍼에 저장합니다. 결정적으로, 각 잔차는 그것이 생성된 노이즈 레벨 $\sigma$와 함께 태깅됩니다.
• 노이즈 매칭 샘플링 (Noise-Matched Sampling): 특정 노이즈 레벨 $\sigma$를 가진 디노이징 단계의 조건부 히스토리를 섭동(perturbation)할 때, 시스템은 저장된 노이즈 레벨 $\sigma'$가 $|\sigma' - \sigma| \leq \tau_\sigma$를 만족하는 잔차를 버퍼에서 샘플링합니다.
• 주입 (Injection): 이 매칭된 잔차들은 강도 $\gamma$ ( $U(0.9, 1.2)$에서 샘플링됨)로 히스토리 토큰에 주입됩니다. 이는 모델이 현재 학습하고 있는 디노이징 체계와 일치하는 오류 레지임을 보장하며, 임의의 노이즈를 적용하는 대신 모델이 현재 배우고 있는 특정 오류 유형을 모사하도록 합니다.

2. 컨디셔닝 안정화 및 태스크 임베딩 (Conditioning Stabilization and Task Embeddings)

오류 주입으로 인한 완전한 붕괴를 방지하고 다중 샷의 복잡성을 처리하기 위해 다음을 수행합니다:

• 클린 컨디셔닝 싱크 (Clean Conditioning Sink): 오염되지 않은 짧은 윈도우(1초)를 히스토리의 "싱크($\tau_{sink}$)"로 추가합니다. 이는 모델이 참조할 수 있는 안정적이고 깨끗한 앵커를 제공하여, 나머지 히스토리($\tau_{hist}$)가 오염되더라도 정체성 드리프트를 방지합니다.
• 태스크 임베딩 (Task Embeddings): 위치 외삽 문제를 해결하기 위해, 모델은 단순히 증가하는 위치 인덱스에만 의존하는 대신 토큰의 역할(Target, History, Sink, Reference Images, Reference Audio)을 구분하는 경량 태스크 임베딩($e_\tau$)을 사용합니다. 이를 통해 세그먼트가 바뀔 때마다 위치 인덱스를 초기화하면서도 시간적 일관성을 유지할 수 있어, 의미적 역할과 절대적 위치를 분리할 수 있습니다.
• 통합 프롬프트 템플릿 (Unified Prompt Template): 구조화된 프롬프트 템플릿은 피사체 참조(이미지 및 오디오)와 샷 설명을 결합하여, 단일 모델이 텍스트-투-비디오, 이미지-투-비디오, 오디오-비주얼 연속 생성 작업을 모두 처리할 수 있게 합니다.

3. 학습 목적 함수 (Training Objective)

모델은 4가지 혼합 태스크 코퍼스(각 25%씩 구성)로 학습됩니다:

1. 비디오 연속 생성 (히스토리만 존재)
2. 연속 생성 + 이미지 (히스토리 + 피사체 참조)
3. 피사체-IP (참조 이미지 기반 생성)
4. 오디오-비주얼 연속 생성 (히스토리 비디오/오디오 + 참조)

손실 함수는 타겟 토큰에만 적용되는 마스크드 흐름 매칭 손실(masked flow-matching loss)을 사용하여, 컨텍스트 분포는 추론 조건과 일치하면서도 감독 신호(supervision signal)는 깨끗하게 유지되도록 합니다.

주요 기여

1. $\sigma$-인식 잔차 주입: 예측 잔차를 해당 흐름 매칭 노이즈 레벨에 맞추는 전략을 통해, 자기회귀적 확산 생성에서의 노출 편향을 실질적으로 완화합니다.
2. 통합 컨디셔닝 인터페이스: 역사적 비디오, 참조 이미지, 타겟 비디오를 구분하는 경량 태스크 임베딩 시스템을 통해, 연속 단계 전반에 걸쳐 위치 인코딩을 재사용할 수 있게 하여 위치 외삽 편향을 제거합니다.
3. 통합 프레임워크: 제안된 학습 전략과 혼합 태스크 학습을 결합한 LTX-2 기반 프레임워크로, 단일 모델 내에서 다중 샷, 다중 피사체, 참조 가이드형 오디오-비주얼 생성을 지원합니다.
4. 새로운 벤치마킹: ST-Bench에서의 평가와 더불어, 인접 샷 평가보다 점진적 퇴화를 더 잘 특징짓는 앵커 상대적 일관성(Anchor-relative Consistency, ARC) 및 재출현(Reappear) 지표를 포함한 새로운 장기 오디오-비주얼 벤치마크를 도입했습니다.

결과

광범-한 실험을 통해 Vorch-Director가 강력한 베이스라인 모델들보다 안정성과 오디오-비주얼 충실도 면에서 우수함을 입증했습니다:

• ST-Bench (다중 샷 스토리): Vorch-Director는 4가지 교차 샷 일관성 지표 모두에서 큰 차이로 앞섰습니다. 특히, 가장 뛰어난 베이스라인인 JoyAI-Echo가 0.5900을 기록한 것에 비해 ViCLIP 점수 0.7887을 달성했습니다. 또한 장기 정체성 측정 지표에서도 성능이 뛰어납니다 (ARC: 0.6570 vs 0.3961; Reappear: 0.6648 vs 0.4114).
• UnityShots (T2V & R2V): 텍스트-투-비디오(T2V) 설정에서 Vorch-Director는 ViCLIP, ARC, Reappear에서 선두를 차지했습니다. 참조-투-비디오(R2V) 설정에서도 4가지 일관성 지표 모두에서 가장 강력한 베이스라인을 앞질렀습니다.
• 장기 오디오-비주얼 벤치마크: 동기화된 오디오가 포함된 22개 샷, 분 단위 생성 작업에서:
  • Vorch-Director는 오디오-비주얼 베이스라인인 JoyAI-Echo에 비해 모든 교차 샷 일관성 지표를 개선했습니다 (예: ViCLIP 0.6269 vs 0.4922).
  • 시각 전용 베이스라인(StoryMem, Memento)은 일부 유사도 지표에서 더 높은 점수를 보였으나, 논문에서는 이 시스템들이 오디오를 생성하지 않으며(더 쉬운 문제를 푸는 것임), 프레임 간 움직임이 적어 유사도 점수가 부풀려졌다고 명시했습니다.
  • 정성적으로, Vorch-Director는 Memento나 StoryMem에서 보이는 색상 왜곡이나 정체성 붕괴 없이 22개의 샷 전반에 걸쳐 주인공의 인지 가능성과 장면 충실도를 유지합니다.

의의 및 주장

본 논문은 분 단위 오디오-비주얼 생성의 주요 장애물이 컨텍스트 길이가 아니라, 노출 편향에 의한 히스토리 불일치라고 주장합니다. 노이즈 레벨 인식을 통해 주입된 오류를 디노이징 과정과 정렬함으로써, Vorch-Director는 교사 강요 학습의 효율성을 유지하면서도 더 현실적인 자기회귀적 히스토리를 생성합니다.

저자들은 Vorch-Director를 기존의 메모리 또는 게이팅 메커니즘에 대한 직교적인(orthogonal) 개선책으로 포지셔닝합니다. 즉, 무엇을 회상할지 결정하는 것이 아니라, 불완전하게 회상되거나 생성된 히스토리에 대해 기본 연속 모델을 견고하게 만드는 것입니다. 이 연구는 단일 모델이 복잡한 다중 샷, 다중 피사체, 동기화된 오디오-비주얼 생성을 지원할 수 있음을 보여주며, 현재 자기회귀적 비디오 생성의 한계인 드리프트 및 비동기화 문제를 해결합니다. 저자들은 시각 전용 시스템과의 격차를 좁히면서 동기화된 오디오를 유지하는 것이 여전히 남은 과제라고 겸허히 언급했으나, Vorch-Director는 안정적인 장기 생성으로 나아가는 중요한 진전임을 보여줍니다.