기술 요약: 컨텍스트 포싱 (Context Forcing)

문제 정의

현재의 실시간 장기 비디오 생성 방식은 구조적인 **학생-교사 불일치(student-teacher mismatch)**로 인해 발생하는 근본적인 **망각-표류 딜레마(Forgetting–Drifting Dilemma)**에 직면해 있습니다.

• 망각 (Forgetting): 최첨단 모델들은 대개 짧은 컨텍스트 창(예: 3.0~9.2초)에 국한됩니다. 이는 오차 누적을 최소화할 수는 있지만, 긴 롤아웃(rollout) 과정에서 모델이 피사체와 장면의 흐름을 놓치게 만듭니다.
• 표류 (Drifting): 스트리밍 튜닝 전략(예: LongLive)은 짧은 컨텍스트를 가진 메모리 없는 교사(약 5초로 제한됨)를 사용하여 긴 컨텍스트의 학생을 학습시키려 시도합니다. 그러나 교사는 전체 생성 이력에 접근할 수 없기 때문에, 전역적 시간 의존성(global temporal dependencies)에 대해 학생을 가이드하는 데 실패합니다. 이는 오차 누적과 분포 변화를 초래하여, 시간이 지남에 따라 비디오가 실제 데이터 매니폴드(manifold)에서 벗어나 표류하게 만듭니다.

기존의 인과적 비디오 모델(causal video models)은 몇 초 이상의 일관성을 유지하는 데 어려움을 겪는데, 이는 교사가 짧은 창 너둠을 넘어 볼 수 없다는 점이 학생이 학습할 수 있는 컨텍스트 길이를 사실상 제한하기 때문입니다.

방법론

저자들은 긴 컨텍스트를 가진 교사를 통해 긴 컨텍스트의 학생을 학습시킴으로써 학생-교사 불일치를 해결하도록 설계된 프레임워크인 **컨텍스트 포싱(Context Forcing)**을 제안합니다.

1. 컨텍스트 기반 분포 매칭 증류 (Contextual Distribution Matching Distillation, CDMD)

핵심 목표는 학생의 분포 $p_\theta(X_{1:N})$와 실제 데이터 분포 $p_{data}(X_{1:N})$ 사이의 전역적 장기 KL 발산(KL divergence)을 최소화하는 것입니다. 이는 두 단계로 분해됩니다:

• 1단계 (국소 역학 - Local Dynamics): 학생은 실제 데이터와 짧은 윈도우($X_{1:k}$)의 분포를 일치시켜 국소적 역학을 학습하며, 이는 표준 분포 매칭 증류(DMD)와 유사합니다.
• 2단계 (전역 지속 - Global Continuation): 학생은 **컨텍스트 교사(Context Teacher)**에 대한 자신의 지속 예측($X_{k+1:N}$)을 매칭함으로써 장기 의존성을 학습합니다.
  • 컨텍스트 교사는 긴 컨텍스트 입력을 처리할 수 있고 전체 생성 이력을 인지할 수 있는 사전 학습된 모델입니다.
  • 학생은 자신의 자기 생성 롤아웃($X_{1:k} \sim p_\theta$)을 바탕으로 학습되어, 교사가 실제 학생이 마주하는 컨텍스트를 기반으로 감독을 제공하게 함으로써 노출 편향(exposure bias)을 완화합니다.
  • **장기 자기 롤아웃 커리큘럼(Long Self-Rollout Curriculum)**이 적용되어, 컨텍스트 호라이즌 $k$가 학습 단계에 따라 선형적으로 증가하며, 이를 통해 심각한 초기 분포 변화 없이 모델이 점진적으로 장거리 의존성에 노출되도록 합니다.
  • **클린 컨텍스트 정책(Clean Context Policy)**은 타겟 프레임은 무작위로 샘플링되더라도 컨텍스트 프레임($X_{1:k}$)은 교사의 학습 분포와 일치하도록 완전히 디노이징(denoised)된 상태를 유지하도록 보장합니다.

2. 컨텍스트 관리 시스템 (Slow-Fast Memory)

극단적인 지속 시간(예: 2분)에 대해 학습과 추론을 가능하게 하기 위해, 저자들은 이중 프로세스 기억 이론에서 영감을 받은 KV 캐시 관리 시스템을 도입했습니다. 캐시는 세 가지 구성 요소로 분할됩니다:

• 어텐션 싱크 (Attention Sink, $S$): 어텐션을 안정시키기 위해 초기 토큰을 유지합니다.
• 슬로우 메모리 (Slow Memory, $C_{slow}$): 고엔트로피 키프레임을 저장하는 장기 버퍼입니다. 유의미한 새로운 정보가 감지될 때만 업데이트됩니다.
• 패스트 메모리 (Fast Memory, $L_{fast}$): 즉각적인 국소 컨텍스트를 포착하는 순환 FIFO 큐입니다.

서프라이절 기반 통합 (Surprisal-Based Consolidation): 새로운 토큰이 생성될 때, 해당 키 벡터를 이전 토큰과 비교합니다. 만약 유사도가 임계값 미만이면(상태 전이나 시각적 변화를 나타냄), 해당 토록은 슬로우 메모리로 승격됩니다. 그렇지 않으면 폐기됩니다. 이는 시각적 중복성을 줄여줍니다.

유계 위치 인코딩 (Bounded Positional Encoding): 위치 인덱스가 무제한으로 증가하여 분포 변화를 일으키는 표준 자기회귀 모델과 달리, 이 시스템은 모든 토큰의 RoPE 위치를 고정된 범위 $\Phi = [0, N_s + N_c + N_l - 1]$ 내로 제한합니다. 최근 이력은 높은 인덱스를 통해 슬라이딩하며, 중요한 이력은 낮은 인덱스로 압축되어 긴 시퀀스에 대한 어텐션을 안정화합니다.

3. 강건한 컨텍스트 교사 학습

학생의 컨텍스트에 누적된 오류가 포함되어 있더라도 교사가 학생을 가이드할 수 있도록, 교사는 **오류 재순환 미세 조정(Error-Recycling Fine-Tuning, ERFT)**을 거칩니다. 교사는 과거 모델 잔차(residuals)에서 샘플링된 현실적인 누적 오류를 포함한 섭동된(perturbed) 컨텍스트로 학습되어, 학생이 표류하더라도 능동적으로 회복하고 신뢰할 수 있는 감독을 제공할 수 있습니다.

주요 기여

1. 컨텍스트 포싱 프레임워크: 긴 컨텍스트 교사를 긴 컨텍스트 학생에게 증류함으로써, 스트리밍 튜닝 방식에 내재된 감독 불일치를 제거하는 새로운 학습 패러다임입니다.
2. Slow-Fast 메모리 아키텍처: 선형적으로 증가하는 컨텍스트를 압축된 메모리 구조로 변환하는 컨텍스트 관리 시스템으로, 시각적 중복성을 크게 줄이고 20초 이상의 효과적인 컨텍스트 길이를 가능하게 합니다(기존 방식보다 2~10배 더 김).
3. 강건한 장기 비디오 생성: 제안된 방법이 다양한 장기 비디오 평가 지표에서 기존 베이스라인을 능가하며 탁월한 일관성을 유지함을 입증했습니다.

실험 결과

본 방법은 양방향 확산 모델(예: Wan2.1, LTX-Video) 및 자기회귀 베이스라인(예: LongLive, FramePack, Self Forcing++)과 비교 평가되었습니다.

• 컨텍스트 길이: 모델은 기존 방식의 1.5~9.2초와 비교하여 20초 이상의 효과적인 컨텍스트 길이를 지원합니다.
• 일관성 지표: 60초 비디오 생성 작업에서 Context Forcing은 다음 항목에서 우수한 점수를 기록했습니다:
  • DINO 점수 (피사체 일관성): 60초에서 87.89 (FramePack-F1의 68.50 및 LongLive의 86.26 대비).
  • CLIP-F 점수 (배경 일관성): 60초에서 95.35.
  • CLIP-T 점수 (의미론적 일관성): 60초에서 37.66.
• 정성적 결과: 시각적 비교 결과, 베이스라인 모델들은 10~20초 이후에 정체성 변화, 장면 리셋 또는 순환적 움직임 패턴을 보이는 반면, Context Forcing은 1분 전체 동안 일관된 피사체와 배경을 유지합니다.
• 절제 연구 (Ablation Studies):
  • **컨텍스트 증류(Contextual Distillation)**를 제거하면 의미론적 및 시간적 일관성이 저하되었습니다.
  • **유계 위치 인코딩(Bounded Positional Encoding)**을 제거하면 배경 안정성과 피사체 일관성이 크게 떨어졌습니다.
  • **ERFT(Error-Recycling Fine-Tuning)**는 컨텍스트 교사를 누적된 오류에 대해 더 강건하게 만든다는 것이 확인되었습니다.

의의 및 주장

본 논문은 컨텍스트 포싱이 인과적 비디오 생성의 근본 원인인 '망각-표류 딜레마'(짧은 컨텍스트 교사가 긴 컨텍스트 학생을 가이드하지 못하는 문제)를 해결한다고 주장합니다. 교사가 전체 생성 이력을 인지하게 하고 메모리 효율적인 아키텍처를 사용함으로써, 이 방법은 강건하고 일관된 장기 비디오 생성을 가능하게 합니다.

저자들은 이 방법이 표류 오류를 크게 완화하지만, 현재의 메모리 압축 전략이 정보 밀도 측면에서 최적화의 여지가 남아 있다고 언급했습니다. 향후 연구는 복잡하고 개방적인 비디오 합성을 위해 효율성을 더욱 개선할 수 있는 학습 가능한 컨텍스트 압축 및 적응형 메모리 메커니즘에 집중할 것을 제안합니다.

이 연구는 디지털 스토리텔링과 영화 제작을 위한 더 일관된 시각적 시퀀스를 향한 단계로 자리매김하며, 고도로 일관된 합성 미디어를 생성하는 것의 윤리적 영향에 주목하고 디지털 워터마킹 및 출처 표준을 옹호합니다.