기술 요약: 자기회귀 비디오 확산을 위한 리샘플링 포싱 (Resampling Forcing)

문제 정의

자기회귀(Autoregressive, AR) 비디오 확산 모델은 과거의 관측값에 기반하여 미래 프레임을 예측함으로써 물리적 역학의 인과적 성질을 엄격히 준수하는 세계 시뮬레이션의 유망한 패러다임을 제공합니다. 그러나 이러한 모델은 노출 편향(exposure bias) 문제로 인해 상당한 어려움을 겪습니다. 훈련 시 모델은 일반적으로 정답(ground-truth) 이력 프레임에 조건화되는 "교사 강요(teacher forcing)" 방식에 의존합니다. 하지만 추론 시에는 자신이 생성한 (불완전할 수 있는) 출력값에 조건화되어야 합니다. 이러한 훈련-테스트 간의 불일치는 **오차 누적(error accumulation)**으로 이어지며, 초기 예측의 작은 아티팩트가 자기회귀적 전개 과정에서 증폭되어 긴 호라이즌 동안 치명적인 비디오 붕괴를 초래하곤 합니다.

이러한 불일치를 완화하기 위한 기존 솔루션들은 일반적으로 보조 모델을 필요로 하는 사후 훈련 전략에 의존합니다:

1. 증류 기반 접근법 (예: Self Forcing): 먼저 양방향 교사 모델을 훈련시킨 후 이를 인과적 학생 모델로 증류합니다. 이는 미래 정보를 누설할 수 있는 비인과적 교사에 대한 의존성을 도입하여 엄격한 시간적 인과성을 저해합니다.
2. 적대적 접근법 (예: AAPT): 생성자와 판별자를 공동 최적화합니다. 이는 복잡한 온라인 판별기 훈련을 요구하며 확장성을 제한합니다.

나아가, AR 생성을 긴 비디오로 확장하는 것은 역사적 컨텍스트가 무한히 성장함에 따라 어텐션 복잡성을 악화시켜, 훈련과 추론 모두에서 계산 병목 현상을 생성합니다.

방법론: 리샘플링 포싱 (Resampling Forcing)

저자들은 처음부터 자기회귀 비디오 확산 모델을 훈련하기 위해 설계된, 교사 모델이 필요 없는 엔드 투 엔드(end-to-end) 프레임워크인 리샘플링 포싱을 제안합니다. 핵심 철학은 깨끗한 예측 목적을 유지하면서도 입력 섭동(모사된 오류)에 대해 모델이 강건해지도록 훈련하는 것입니다.

1. 셀프 리샘플링 메커니즘 (Self-Resampling Mechanism)

훈련 중에 추론 시의 모델 오류를 시뮬레이션하기 위해, 이 방법은 셀프 리샘플링 체계를 도입합니다:

• 프로세스: 깨끗한 정답 이력 대신, "저하된(degraded)" 이력 프레임에 조건화됩니다.
• 구현:
  1. 정답 프레임은 특정 타임스텝 $t_s$까지 오염되어 노이즈가 주입됩니다.
  2. 현재 가중치를 가진 온라인 모델 자체가 $t_s$에서 0까지의 나머지 디노이징 단계를 자기회귀적으로 완료하여, 저하되었지만 노이즈가 없는 프레임 $\tilde{x}$를 생성합니다.
  3. 모델 유도 오류를 포함하고 있는 이 저하된 프레임 $\tilde{x}$가 다음 프레임을 예측하기 위한 조건으로 사용됩니다.
• 핵심 설계: 이 리샘플링 과정에서 그래디언트(gradient)를 분리(detach)하여, 모델이 입력을 수정하는 대신 입력을 무시하는 법을 배우는 "지름길 학습(shortcut learning)"을 방지합니다. 이를 통해 모델은 자신의 불완전함을 스스로 교정하는 법을 배우게 됩니다.
• 타임스텝 샘플링: 오염 타임스텝 $t_s$는 로짓-노멀(logit-normal) 분포에서 샘깁로데하며, 이력의 충실도와 오류 교정의 유연성 사이의 균형을 맞추기 위해 파라미터 $s$에 의해 이동됩니다. 초기에는 표준 교사 강요를 사용하는 웜업(warm-up) 단계를 거친 후 리샘플링 포싱으로 전환됩니다.

2. 효율적인 어텐션을 위한 히스토리 라우팅 (History Routing for Efficient Attention)

긴 호라이즌 생성 시 점점 늘어나는 이력에 어텐션을 수행하는 데 따르는 계산 비용을 해결하기 위해, 저자들은 파라미터 프리 히스토리 라우팅 메커니즘을 도입합니다:

• 동적 검색: 모든 이전 프레임에 어텐션을 수행(밀집 인과적 어텐션)하거나 고정된 슬라이딩 윈도우를 사용하는 대신, 각 쿼리 토큰에 대해 가장 관련성이 높은 상위-$k$개의 이력 프레임을 동적으로 검색합니다.
• 선택 지표: 관련성은 쿼리 토큰과 이력 프레임 키(key)들의 평균 풀링된 디스크립터 사이의 내적(dot product)에 의해 결정됩니다.
• 복잡도: 이를 통해 비디오 길이 $L$이 증가함에 따라 어텐션 복잡도를 선형 $O(L)$에서 상수 $O(k)$로 줄이면서도, 다양한 컨텍스트 조합을 허용함으로써 고정된 윈도우보다 더 넓은 수용 영역(receptive field)을 유지합니다.

3. 훈련 목적 함수 (Training Objective)

모델은 시간적 인과성을 강제하는 **희소 인과적 마스크(sparse causal mask)**를 사용하여 훈련되며, 이는 프레임별 디퓨전 손실을 통해 병렬 훈련을 가능하게 합니다. 손실은 저하된(리샘플링된) 이력에 조건화된 모델의 예측값과 정답의 깨끗한 프레임 사이에서 계산됩니다.

주요 기여

1. 교사 없는 엔드 투 엔드 훈련: 양방향 교사나 판별자에 의존하지 않고 처음부터 자기회귀 비디오 확산 모델을 훈련하는 최초의 프레임워크로서, 미래 정보 누설을 방지합니다.
2. 리샘플링 포싱 알고리즘: 추론 시의 오류를 훈련 중에 시뮬레이션하여 오류 누적을 효과적으로 완화하고 긴 호라이즌 생성을 안정화하는 새로운 셀프 리샘플링 전략을 제시합니다.
3. 파라미터 프리 히스토리 라우팅: 동적으로 관련 있는 역사적 컨텍스트를 선택하여, 밀집 어텐션 대비 품질 저하를 거의 없이 긴 비디오 생성을 위한 효율적인 어텐션 복잡도를 달성합니다.
4. 네이티브 롱-비디오 훈련: 짧은 클립으로부터의 증류에 의존하는 대신 긴 시퀀스(예: 15초)에서 네이티브하게 훈련할 수 있는 능력을 갖추어 우수한 시간적 일관성을 이끌어냅니다.

실험 결과

본 방법은 5초 및 15초 비디오로 훈련된 Wan2.1-1.3B 아키텍처에서 평가되었습니다.

• 정성적 성능:
  • 안정성: 색상 및 질감이 시간이 지남에 따라 점진적으로 저하되는 베이스라인(예: Pyramid Flow, CausVid)과 달리, 리샘플링 포싱은 15초 비디오에서도 안정적인 시각적 품질을 유지합니다.
  • 인과성: 물리적 시뮬레이션(예: 우유 따르기)에서, 이 모델은 교사로부터의 미래 정보 누설로 인해 인과성을 위반하는 경우가 많은 증류 기반 베이스라인(예: LongLive)과 달리 물리적 법칙(단조 증가하는 액체 높이)을 엄격히 준수합니다.
• 정량적 성능 (VBench):
  • 본 방법은 0–5초, 5–10초, 10–15초 구간 전체에 걸쳐 최신 증류 베이스라인(Self Forcing, CausVid)과 대등하거나 더 나은 시간적 및 시각적 품질 점수를 달 achieves 합니다.
  • 네이티브 길이 훈련 덕분에 긴 비디오에서의 시간적 일관성 측면에서 베이스라인을 능가합니다.
• 효율성:
  • 히스토리 라우팅 메커니즘은 밀집 어텐션과 비교했을 때 품질 저하를 거의 일으키지 않으면서 75%의 어텐션 희소성(20개 프레임 중 상위 5개)을 달성합니다.
  • 경쟁하는 증류 방법들에 필요한 거대한 14B 파라미터 규모의 양방향 교사 모델을 제거합니다.

의의 및 주장

본 논문은 리샘플링 포싱이 보조 모델 없이도 자기회귀 비디오 월드 모델의 확장성 문제를 해결함으로써 발전시킨다고 주장합니다. 훈련 중에 오류를 시뮬레이션함으로써 모델은 자신의 드리프트(drift)를 스스로 교정하는 법을 배우고, 이를 통해 긴 호라이즌 동안 안정적인 생성을 가능하게 합니다. 동적 히스토리 라우팅의 통합은 또한 긴 컨텍스트 어텐션의 메모리 및 계산 병목 현상을 해결합니다. 저자들은 이 연구가 품질을 위해 시간적 인과성을 타협하는 증류 기반 파이프라인에 대한 실질적인 대안으로서, 처음부터 견고하고 엄격히 인과적인 비디오 모델을 훈련할 수 있는 실행 가능한 경로임을 제시합니다.