기술 요약: 장시간 비디오-비디오 생성을 위한 앵커드 트리 샘플링

1. 문제 제기

장시간 비디오 생성, 특히 비디오-비디오 (V2V) 영역에서는 **드리프트 (drift)**와 연속성 문제라는 두 가지 주요하고 서로 얽힌 과제에 직면해 있습니다.

• 드리프트: 생성이 시간이 지남에 따라 진행됨에 따라 오류가 누적되어 비디오 품질이 저하됩니다 (예: 색상, 질감, 대비의 변화).
• 연속성 문제: 이는 사물의 영속성 부재나 일시적 콘텐츠의 일관되지 않은 렌더링으로 나타납니다 (예: 다른 스타일이나 색상으로 다시 나타나는 사물).

현재의 솔루션들은 주로 자기회귀 (AR) 증류에 의존하며, 이는 양방향 모델을 인과적 생성기로 변환합니다. 이러한 방법들은 순차적 롤아웃을 안정화하려 시도하지만, 본질적인 한계를 안고 있습니다:

1. 호라이즌 확장 의존성: 한 청크의 오류가 다음 청크의 조건을 결정하여 드리프트가 시간에 따라 선형적으로 누적됩니다.
2. 순차적 롤아웃: 생성이 단계별로 수행되어야 하므로, 사용 가능한 하드웨어와 무관하게 실제 소요 시간이 선형적으로 증가합니다.
3. 리셋 아티팩트: 메모리를 관리하기 위해 AR 시스템은 종종 KV 캐시 리셋을 수행합니다. 이러한 리셋은 누적된 상태를 폐기하여 사물 정체성과 장면 상태에 "점프"하는 불연속성을 유발합니다.

또한, 기존 장편 작업은 텍스트-비디오 (T2V) 에 집중해 왔습니다. 밀집된 프레임별 조건 신호 (예: 포즈, 깊이, 에지) 가 미리 알려진 장편 V2V 는 아직 충분히 탐구되지 않았습니다. 저자들은 전체 조건 $c_{1:T}$가 알려져 있다면, 인과적 (왼쪽에서 오른쪽) 롤아웃을 고집할 필요가 없다고 주장합니다.

2. 방법론: 앵커드 트리 샘플링 (ATS)

이 논문은 훈련이 불필요한 (training-free) 추론 시간 스케줄러인 **앵커드 트리 샘플링 (ATS)**을 제안합니다. 이는 순차적 AR 롤아웃을 트리 형태로 조직화된 희소-밀집, 앵커 경계 보간 전략으로 대체합니다.

핵심 메커니즘

ATS 는 "양면" 원시 연산 (식 2) 을 활용하며, 여기서 모델은 시작 앵커 $A_a$와 끝 앵커 $A_b$뿐만 아니라 중간 조건 $c_{a:b}$를 기반으로 스펀 $x_{a:b}$를 생성합니다. 이를 통해 모델은 인과적으로가 아닌 양방향으로 콘텐츠를 채울 수 있습니다.

생성 과정은 계층적으로 조직화됩니다:

1. 루트 호출 (희소 앵커): 단일 호출이 전체 호라이즌 $T$에 걸친 희소 "앵커"(키프레임 또는 짧은 클립) 를 생성합니다. 정적 카메라 영역에서는 이러한 앵커를 재학습 없이 밀집 조건 신호에서 직접 유도합니다.
2. 재귀적 정제 (중간 앵커): 트리는 기존 앵커 사이에 새로운 앵커를 생성하여 정제됩니다. 구간이 모델의 컨텍스트 창보다 너무 크다면 중간 앵커가 삽입됩니다.
3. 리프 생성 (밀집 프레임): 최종 단계는 인접한 앵커 사이의 밀집 프레임을 합성합니다. 이러한 "리프" 스펀은 양쪽에서 앵커에 의해 경계됩니다.

주요 특성

• 상향식 분해: 의존성 그래프는 왼쪽에서 오른쪽이 아닌 상향식 (루트 $\to$ 정제 $\to$ 리프) 입니다.
• 병렬화: 동일한 트리 레벨의 형제 노드는 부모 앵커가 주어지면 조건부 독립적입니다. 이는 여러 GPU 에 걸친 병렬 실행을 가능하게 합니다.
• 훈련 불필요: ATS 는 기본 모델 가중치를 수정하지 않습니다. 사전 훈련된 양방향 생성기를 블랙박스 원시 연산으로 취급합니다.
• 정적 카메라 가정: 현재 구현은 희소 및 밀집 조건이 거의 동일하게 보이는 정적 카메라를 가정하며, 이를 통해 기본 모델이 "아웃-of-the-box"로 깨끗한 희소 앵커를 생성할 수 있습니다.

복잡성 및 지연 시간

• 자기회귀 (AR): 지연 시간은 청크 수 $K$에 비례하여 선형적으로 증가합니다 ($T_{AR} \approx K \cdot \tau_{call}$).
• ATS: 지연 시간은 호라이즌 깊이 $L$에 비례하여 로그적으로 증가합니다 ($T_{tree} \approx (L+1) \cdot \tau_{call}$).
• 드리프트 완화: 모든 생성 단계를 두 앵커 사이에 경계함으로써 드리프트는 전체 비디오에 걸쳐 누적되는 대신 앵커 쌍의 스펀 내에 제한됩니다.

3. 실험 결과

저자들은 Wan 2.1 + VACE(양방향 V2V 백본) 를 두 가지 최신 자기회귀 기준 모델인 LongLive와 Reward Forcing과 비교하여 ATS 를 평가했습니다.

설정

• 작업: 인페인팅, 아웃페인팅, 에지, 포즈, 깊이 등 다섯 가지 조건 모달리티에 걸친 30 분 V2V 생성.
• 지표: VBench-1.0 의 미적 품질 (AQ) 및 영상 품질 (IQ) 을 전역적으로 측정하고, "청크 드리프트"(캐시 내 저하) 및 "리셋 점프"(캐시 리셋 시 불연속성) 로 측정했습니다.

주요 발견

1. 품질 향상: ATS 는 전역 품질 측면에서 두 AR 기준 모델 모두를 능가했습니다.
   • LongLive 대비: +4.0 AQ / +6.6 IQ.
   • Reward Forcing 대비: +5.7 AQ / +6.2 IQ.
2. 드리프트 제거:
   • 청크 드리프트: AR 방법은 캐시 윈도우 내에서 상당한 품질 저하를 보였습니다. ATS 는 이를 평탄화하여 청크 전반에 걸쳐 일관된 품질을 유지했습니다.
   • 리셋 점프: AR 방법은 캐시 리셋 시 큰 불연속성을 보였습니다. ATS 는 이러한 점프를 완전히 제거했습니다.
3. 속도: 병렬화 덕분에 ATS 는 2000 초 길이의 비디오에 대해 최상의 AR 기준 모델보다 5.3 배 빠른 생성을 달성했습니다. 8 개의 GPU 만으로도 실시간보다 빠른 성능 (3.3 배) 을 달성했습니다.
4. 장시간 안정성: 저자들은 LTX-2.3에서 다섯 가지 모든 모달리티에 걸쳐 40 분 이상의 안정적인 생성을 입증했으며, 관찰 가능한 호라이즌 확장 콘텐츠 드리프트는 없었습니다.

4. 한계 및 향후 방향

이 논문은 현재 정적 카메라 구현의 한계를 명시적으로 인정합니다:

1. 앵커 오염: 단일 나쁜 앵커 (예: 루트) 는 그 전체 서브트리를 오염시킵니다. 이는 정적 카메라에서는 덜 중요하지만, 희소 생성이 어려운 동적 카메라에서는 문제가 됩니다.
2. 약한 운동 안내: 약한 운동 신호 (예: 깊이 맵) 의 경우 단일 키프레임으로는 부족하며, 다중 프레임 비디오 앵커가 필요합니다.
3. 일관성 격차: ATS 는 경계된 스펀 내의 시간적 일관성을 보장하지만, 명시적으로 추적되지 않는 경우 앵커 사이에 나타나는 사물 (카메라 밖 엔티티) 에 대한 정체성을 본질적으로 강제하지는 않습니다.
4. 비 V2V 일반화: 현재 방법은 희소 앵커를 생성하기 위해 밀집 소스 신호에 의존합니다. 밀집 가이드 없이 희소 콘텐츠를 환각해야 하는 순수 텍스트-비디오 (T2V) 나 동적 카메라 영역으로 아직 일반화되지 않았습니다.

제안된 향후 방향

저자들은 ATS 를 일반화하기 위한 세 가지 구조적 확장을 제안합니다:

1. 희소 생성 전문가: T2V 및 동적 카메라를 위한 희소 앵커를 생성하기 위해 전용 모델 (DCARL 의 키프레임 생성기와 유사) 을 도입하여 루트 호출의 밀집 조건 의존성을 대체합니다.
2. 의미론적 DAG: 시간뿐만 아니라 의미론적 제약 (예: 캐릭터 정체성, 장면 변경) 으로 인덱싱된 **유방향 비순환 그래프 (DAG)**로 엄격한 시간 트리를 대체하여 인접하지 않은 리프가 제약 조건을 공유할 수 있도록 합니다.
3. 참조 기반 조건: 전체 기간에 걸친 연속성을 강제하기 위해 명시적 참조 입력 (이미지/클립) 을 활용하여 접미사 기반 메모리에서 내재된 드리프트를 우회합니다.

5. 의의

이 논문은 ATS 가 장시간 생성 전략에서 중요한 전환점을 나타낸다고 주장합니다. 스케줄링 문제를 모델링 문제에서 분리함으로써 ATS 는 다음을 달성합니다:

• 드리프트 예방: 호라이즌 누적 드리프트를 앵커 경계 드리프트로 변환합니다.
• 연속성: AR 캐시 리셋으로 인한 "점프" 아티팩트를 제거합니다.
• 효율성: 임계 경로를 선형에서 로그로 축소하여 병렬화를 통한 대규모 속도 향상을 가능하게 합니다.
• 확장성: 기본 모델을 재학습하지 않고도 40 분 이상 (1 시간 규모) 에 근접하는 일관되고 드리프트 없는 생성이 가능한 첫 번째 비 아바타 프레임워크를 입증했습니다.

이 작업은 현재 정적 카메라 V2V 에 최적화되어 있지만, 트리 기반 양방향 패러다임이 장편 생성을 동적 및 텍스트 기반 영역으로 확장하기 위한 견고한 기반을 제공한다고 결론지었습니다.