기술 요약: In-Context Forcing: 오토레그레시브 비디오 확산 모델에서의 컨텍스트 효과 규명

1. 문제 정의

현재의 몇 단계(few-step) 오토레그레시브(AR) 비디오 확산 모델은 시각적 충실도(visual fidelity), 시간적 역동성(temporal dynamics), 그리고 추론 속도 사이에서 임계적인 트레이드오프에 직면해 있습니다. 양방향 확산 모델은 높은 품질을 달나지만, 순차적 의존성으로 인해 추론 속도가 느리다는 단점이 있습니다. 반대로, 실시간 스트리밍을 위해 설계된 AR 모델들은 시각적 품질과 시간적 일관성 측면에서 어려움을 겪는 경우가 많습니다.

본 논문은 기존의 몇 단계 AR 확산 방식(예: Self Forcing, Rolling Forcing)에서 나타나는 두 가지 구체적인 실패 모드를 식별합니다:

1. 과도한 국소 디테일 누출(Excessive Local Detail Leakage): 기존 모델들은 현재 프레임의 모든 디노이징 단계에서 이전의 *완전하게 디노이징된 깨끗한 프레임(fully denoised clean frames)*을 컨텍스트로 사용합니다. 이로 인해 모델은 유의미한 시맨틱 가이드로 사용하는 대신, 인접 프레임으로부터 국소적인 패턴을 직접 복제하는 '지름길(shortcut)'을 택하게 됩니다. 이는 결과적으로 시간적 시맨틱을 저해하고 정적이며 반복적인 움직임을 초래합니다.
2. 학습-테스트 불일치 및 불일치성(Train-Test Mismatch and Inconsistency):
   • Self Forcing: 학습 시에는 정답(ground-truth) 컨텍스트를 사용하지만 추론 시에는 불완전하게 생성된 컨텍스트를 사용하는 격차를 만들어내어, 오류 누적을 유발합니다.
   • Rolling Forcing: 무작위 종료 플래그(exit flag)가 윈도우 내 서로 다른 프레임의 디노이징 단계를 결정하는 분할 학습 패러다임을 사용합니다. 이는 학습 과정에서 이질적인 품질의 혼합(거친 노이즈부터 정교한 예측까지)을 생성하여, 모든 프레임이 $t_0$로부터 기원하는 추론 시점의 분포와 최적화 목표를 어긋나게 만듭니다.
3. 순차적 병목 현상(Sequential Bottleneck): 완전히 디노이징된 이전 프레임에 대한 엄격한 의존성은 프레임 간 병렬 처리를 방해하여 추론 속도와 GPU 활용도를 제한합니다.

2. 방법론: In-Context Forcing

저자들은 In-Context Forcing을 제안하며, 이는 확산을 마스킹 과정으로 재정의하는 점진적 오토레그레시브 패러다임입니다. 깨끗한 컨텍스트 대신, 이 방법은 감소하는 노이즈 레벨을 가진 컨텍스트를 활용합니다.

핵심 메커니즘

• 점진적 노이즈 스케줄링(Progressive Noise Scheduling): 모델은 인접한 프레임에는 더 높은 노이즈 레벨을 적용하고, 멀리 떨어진 프레임에는 더 낮은 노이즈 레벨을 적용합니다.
  • 초기 디노이징 단계: 인접 프레임은 강하게 마스킹(높은 노이즈)되어, 모델이 미세한 디테일을 복사하는 대신 노이즈가 많은 컨텍스트로부터 거친 구조적/시맨틱 신호에 의존하도록 강제합니다.
  • 후기 디노이징 단계: 멀리 떨어진 프레임은 더 깨끗한 컨텍스트를 제공하여, 디테일 정제를 위한 정밀한 공간적 대응 관계를 제공합니다.
• 적응형 가이드(Adaptive Guidance): 이러한 코스-투-파인(coarse-to-fine) 스케줄링은 모델이 직전 프레임의 국소적 디테일에 과적합되는 것을 방지함으로써 견고한 시간적 일관성과 높은 프레임 간 역동성을 보장합니다.

학습: 단계별 롤링 KV 캐시(Step-wise Rolling KV Cache)

학습 중에 고유한 점진적 컨텍스트를 유지하면서 학습-테스트 일관성을 확보하기 위해, 저자들은 단계별 롤링 키-값(KV) 캐시를 도입했습니다.

• 자기 시뮬레이션(Self-Simulation): 학습 과정은 $T+1$ 단계를 가진 모델에 대해 단계 $s$를 무작위로 샘플링하고 $s+1$ 단계까지의 캐시 롤링 업데이트를 시뮬레이션함으로써 추론 스케줄을 모사합니다.
• 그래디언트 절단(Gradient Truncation): 메모리 관리를 위해 그래디언트는 마지막 디노이징 단계에 대해서만 유지됩니다. 이전 KV 캐시를 통해 흐르는 그래디언트는 절단되며, 이를 통해 필요 시 해당 캐시를 CPU로 오프로딩할 수 있어 메모리 오버헤드를 표준 베이스라인과 유사한 수준(<30% 증가)으로 유지합니다.
• 일관성: 이 메커니즘은 학생 모델이 추론 중에 마주하게 될 것과 동일한 점진적 컨텍스트 분포를 바탕으로 오류를 수정하는 법을 배우도록 하여, 학습-테스트 간의 간극을 메웁니다.

추론: 프레임 간 병렬 디노이징(Cross-Frame Parallel Denoising)

완전히 디노이징된 이전 프레임에 대한 엄격한 의존성을 해제함으로써, 이 패러다임은 프레임 간 병렬화를 가능하게 합니다.

• 통합 KV 캐시: 서로 다른 노이즈 레벨을 위한 여러 캐시를 유지하는 대신, 하나의 통합된 KV 캐시를 사용합니다.
• 스케줄 매트릭스: 스케줄 매트릭스 $T \in \mathbb{R}^{N \times M}$는 $N$개 프레임에 대한 $M$개의 디노이징 단계를 정의합니다. 이 매트릭스는 각 열이 단조 비감소 궤적을 따르는 "계단형(staircase)" 패턴을 보입니다.
• 병렬 실행: 프레임은 그 이전 프레임들이 충분히 정보가 풍부한 컨텍스트 상태에 도달하면 디노이징을 시작할 수 있습니다. 이를 통해 **프래임 간 인과적 어텐션(cross-frame causal attention)**을 사용하여, 인과적 순서를 해치지 않으면서도 여러 프레임을 동시에 처리할 수 있어 GPU 활용도를 크게 높일 수 있습니다.

3. 주요 기여

1. In-Context Forcing 패러다임: 감소하는 노이즈 레벨을 가진 컨텍스트를 활용하여 국소 디테일 누출을 완화하고, 시간적 일관성과 역동성을 위한 적응형 가이드를 제공하는 새로운 점진적 AR 프레임워크를 제시했습니다.
2. 단계별 롤링 KV 캐시: 자기 시뮬레이션과 바텀업 롤링 업데이트를 통해 점진적 컨텍스트를 유지함으로써, 메모리 효율성을 관리하면서도 엄격한 학습-테스트 일관성을 유지하는 학습 메커니즘을 도입했습니다.
3. 프레임 간 병렬 추론: 통합 KV 캐시를 통해 프레임 의존성을 해제하여 병렬 디노이징을 가능하게 함으로써, 고품질 AR 비디오 생성의 속도를 제한해 온 순차적 병목 현상을 해결했습니다.

4. 실험 결과

VBench 벤치마크를 사용하여 단기 비디오 및 확장된 장기 비디오(30초) 생성 작업에 대해 광범위한 실험을 수행했습니다.

• 시각적 충실도 및 역동성: In-Context Forcing은 Total Score, Quality Score, Semantic Score, Dynamic Degree 측면에서 기존 최첨단 모델들(Wan2.1, CausVid, Self Forcing, Rolling Forcing 포함)보다 우수한 성능을 보였습니다.
  • 단기 비디오의 경우, Total Score 84.34와 Dynamic Degree 72를 달성하여 Self Forcing(83.95 / 63)과 Rolling Forcing(83.03 / 43)을 앞질렀습니다.
  • 30초 장기 비디오에서는 Dynamic Degree 격차가 더욱 벌어져, In-Context Forcing이 86.40을 기록하며 Rolling Forcing의 40.63 대비 월등한 움직임 다양성을 입증했습니다.
• 추론 속도:
  • 프레임 단위 설정(Frame-wise Setting): Self Forcing 대비 총 추론 시간을 45.1% 단축(9.10초에서 5.00초로)했으며, 처리량(throughput)을 8.9 FPS에서 16.2 FPS로 증가시켰습니다(82% 상대적 속도 향상).
  • 청크 단위 설정(Chunk-wise Setting): 최적화된 청크 단위 구성에서도 총 추론 시간을 9.3% 단축했습니다.
• 사용자 조사: 블라인드 무작위 A/B 테스트 결과, 참가자들은 Wan2.1, CausVid, Self Forcing과 같은 베이스라인보다 In-Context Forcing의 생성 품질을 일관되게 선호했습니다.
• 어블레이션(Ablation): 어텐션 맵 분석 결과, 베이스라인 모델들은 국소 디테일에 과도하게 의존하는 날카롭게 집중된 대각선 어텐션을 보이는 반-면, In-Context Forcing은 더 넓은 시맨틱 수용 영역을 유지하는 더 부드럽고 분산된 분포를 유지함을 확인했습니다.

5. 의의 및 주장

본 논문은 In-Context Forcing이 현재 모델들의 프레임 간 오토레그레션과 프레임 내 디노이징 사이의 근본적인 고립 문제를 해결한다고 주장합니다. 노이즈를 제어 가능한 마스크로 다룸으로써, 이 방법은 다음과 같은 성과를 거두었습니다:

• AR 비디오 생성에서 정적이고 반복적인 움직임을 유발하는 "지름길 학습(shortcut learning)"을 방지합니다.
• 기존 증류 기반(distillation-based) AR 방식에 내재된 학습-테스트 불일치를 해결합니다.
• 프레임 간 병렬화를 원활하게 구현하여, 고품질 AR 비디오 생성의 속도를 역사적으로 제한해 온 순차적 병목 현상을 타파했습니다.

저자들은 이 접근 방식이 시각적 품질을 희생하지 않으면서 이러한 이득을 얻는다는 점을 강조하며, 이는 높은 충실도와 낮은 지연 시간이 모두 중요한 게임 시뮬레이션, 라이브 콘텐츠 제작, 로보틱스와 같은 실시간 인터랙티브 애플리케이션에 대한 실행 가능한 솔루션임을 시사합니다. 또한, 이 방법은 Self Forcing으로 학습된 가중치에 적용했을 때도 성능 향상을 보여주는 "플러그 앤 플레이(plug-and-play)" 능력을 갖추고 있어 강력한 일반화 성능을 입증했습니다.