기술 요약: 미래 강제 (Future Forcing)

문제 정의

자기회귀 (AR) 비디오 생성은 이전에 생성된 토큰을 기반으로 프레임이 인과적으로 생성되는 장시간 비디오 합성을 위한 확장 가능한 패러다임으로 부상했습니다. 추론을 가속화하기 위해 AR 모델은 역사적 컨텍스트의 불필요한 재계산을 방지하기 위해 키 - 값 (KV) 캐시를 활용합니다. 그러나 생성 길이가 증가함에 따라 KV 캐시는 선형적으로 커져 막대한 메모리 소비와 오차 누적을 초래합니다.

기존 KV 캐시 압축 방법들은 "중요한" 것으로 간주되는 토큰을 선택적으로 유지함으로써 이를 완화하려 시도합니다. 그러나 이러한 방법들은 주로 현재 또는 즉각적인 역사적 컨텍스트에서 도출된 단기 신호에 의존하여 토큰의 중요성을 평가합니다. 이 접근법은 치명적인 한계를 겪습니다: 생성 초기 단계에서 중요하지 않아 보였던 토큰이 미래 프레임 (예: 객체 정체성 유지, 장면 구조, 또는 운동 연속성 유지) 에 결정적으로 중요해질 수 있다는 점입니다. 이러한 토큰을 단기적인 기준에 따라 폐기하면 자기회귀 후속 단계로 전파되는 주의 (attention) 오류를 초래하여, 장시간 생성에서 시각적 열화, 시간적 불일치, 그리고 주제 이탈을 야기합니다.

방법론: 미래 강제 (Future Forcing)

저자들은 AR 비디오 생성의 단기 편향을 해결하기 위해 설계된 훈련이 불필요하고 미래를 인지하는 KV 캐시 정책인 미래 강제 (Future Forcing) 를 제안합니다. 이 방법은 훈련된 AR 비디오 모델에서 쿼리 표현의 안정성에 관한 핵심 실증적 관찰에 기반합니다.

핵심 통찰: Pre-RoPE 쿼리 안정성

저자들은 AR 비디오 모델 내 쿼리 표현의 역학을 분석하여 다음 두 가지를 구분합니다:

1. RoPE 변조 쿼리 ($\tilde{q}$): 회전 위치 임베딩 (RoPE) 이 적용된 후의 쿼리입니다. 이러한 쿼리는 위치 인코딩으로 인해 자기회귀 단계마다 크게 변합니다.
2. Pre-RoPE 쿼리 ($q$): 위치 변조 이전의 표준적이고 콘텐츠에 의존적인 쿼리 표현입니다.

광범위한 시각화와 이론적 분석 (이론적 분석 1) 을 통해, RoPE 변조 쿼리는 생성 단계마다 상당한 편차를 보이지만, 고정된 프롬프트 하에서 근본적인 Pre-RoPE 쿼리 분포는 놀라울 정도로 안정적임을 논문은 입증합니다. 이 정상성은 추가적인 순전파 (forward passes) 나 모델 재훈련 없이 역사적 Pre-RoPE 통계로부터 미래의 주의 행동을 추정할 수 있음을 의미합니다.

알고리즘 구성 요소

미래 강제는 두 개의 상호 보완적인 모듈로 구성됩니다:

1. 미래 인지 KV 캐시 제거 모듈:

   • 프록시 구성: 미래 프레임이 생성되기를 기다리는 대신, 이 방법은 역사적 Pre-RoPE 쿼리의 평균 ($\bar{Q}$) 에 미래 위치 ($t+\Delta$) 에 대한 RoPE 연산자를 적용하여 미래 쿼리 프록시 ($\tilde{Q}_{t+\Delta}$) 를 구성합니다.
   • 점수 매기기: 캐시된 KV 토큰의 중요성은 이러한 미래 쿼리 프록시에 대한 예측된 주의 가중치를 기반으로 점수화됩니다.
   • 하이브리드 선택: 최종 제거 점수는 예측된 미래 관련성과 역사적 주의 점수를 하이퍼파라미터 $\lambda$로 균형을 맞추어 결합합니다. 결합 점수가 낮은 토큰은 제거됩니다.

2. 미래 인지 KV 캐시 병합 모듈:

   • 제거된 토큰으로 인한 정보 손실을 최소화하기 위해, 이 방법은 단순히 이를 폐기하지 않습니다. 대신, 제거된 항목을 유지된 항목에 병합합니다.
   • 프로파일링 공간: 병합은 키 공간의 단순 유클리드 거리가 아닌, 미래 쿼리 프록시 하에서 예측된 주의 가중치 프로파일의 유사성에 기반하여 항목을 그룹화하는 "미래 쿼리 프로파일링 공간"에서 수행됩니다.
   • 값 집계: 병합된 항목의 값 벡터는 미리보기 (look-ahead) 구간 전체에 걸친 미래 주의 질량으로 가중치를 부여받아, 병합된 표현이 예상되는 주의 출력을 보존하도록 합니다.

3. 구현 세부 사항:

   • 전체 $QK^\top$ 주의 행렬을 물리적으로 생성하지 않고 토큰별 중요도 점수 (식 2) 를 계산하기 위해 맞춤형 경량 Triton 커널이 구현되어 계산 오버헤드를 줄였습니다.
   • 생존한 캐시된 프레임 위치를 연속적으로 매핑하기 위해 동적 RoPE 보정이 적용되어, 상대적 시간 거리가 모델의 훈련 분포 내에 유지되도록 합니다.

주요 기여

1. Pre-RoPE 안정성 발견: 논문은 훈련된 AR 비디오 모델에서 Pre-RoPE 쿼리 분포의 안정성을 식별하고 이론적으로 경계 지으며, RoPE 변조 쿼리의 높은 분산과 대비시킵니다.
2. 미래 강제 정책: 역사적 통계를 활용하여 미래 쿼리 프록시를 구성하고, 토큰 제거 및 병합 결정을 안내하는 훈련이 불필요하고 미래를 인지하는 KV 캐시 정책을 제안합니다.
3. 성능 향상: 광범위한 실험을 통해 미래 강제가 기존 베이스라인 (예: Self Forcing, Causal Forcing, Deep Forcing) 에 비해 제한된 KV 캐시 예산 하에서 장시간 일관성과 생성 품질을 크게 향상시킴을 입증했습니다.

실험 결과

이 방법은 VBench-Long 벤치마크를 사용하여 30 초 및 60 초 생성 작업에 걸쳐 대표적 AR 비디오 생성 모델 (Self Forcing, Causal Forcing, Rolling Forcing, Reward Forcing) 에서 평가되었습니다.

• 장시간 일관성: 미래 강제는 60 초 생성에서 기존 AR 비디오 KV 캐시 정책에 비해 VBench-Long 의 주체 일관성 (Subject Consistency) 에서 최대 1.49 점 향상을 달성했습니다.
• 품질 보존: 감소된 KV 캐시 예산 하 (예: 잠재 프레임 9~18 개만 유지) 에서 미래 강제는 피크 GPU 메모리 사용량을 베이스라인 대비 최대 1.8GB 줄이면서도 더 높은 미적 및 영상 품질을 유지했습니다.
• 단시간 충실도: 5 초 생성 작업 (훈련 구간 내) 에서 미래 강제는 최소한의 정보 손실을 겪었으며, 모든 압축 방법 중 전체 캐시 참조에 가장 근접한 PSNR 및 SSIM 점수를 달성했습니다.
• 효율성: 맞춤형 Triton 커널 구현은 미래 인지 점수 매기기가 추론 오버헤드를 무시할 수준으로 유지하도록 보장하여, 네이티브 또는 Deep Forcing 베이스라인과 비교 가능한 출력 FPS 를 유지했습니다.

의미 및 주장

이 논문은 미래 강제가 AR 비디오 생성의 확장성 한계에 대한 원칙적인 해결책을 제공한다고 주장합니다. Pre-RoPE 쿼리 분포의 고유한 정상성을 활용함으로써, 이 방법은 추가적인 훈련이나 교사 모델 없이 미래를 인지하는 의사결정을 가능하게 합니다.

저자들은 그들의 접근 방식이 미래의 일관성에 중요한 토큰을 종종 폐기하는 현재 캐시 정책의 "단시성"을 완화한다고 강조합니다. 미래 강제는 고정된 메모리 제약 내에서 AR 모델이 더 길고 일관된 비디오를 생성할 수 있게 하는 실용적이고 확장 가능한 압축 솔루션으로 제시됩니다. 이 연구는 표준 쿼리 구조의 안정성이 훈련된 AR 비디오 모델의 일반화 가능한 속성임을 시사하며, 향후 훈련이 불필요한 최적화 전략의 기초를 제공합니다.