기술 요약: NaviCache

문제 정의

HunyuanVideo, Wan, Open-Sora와 같은 비디오 확산 모델(Video Diffusion Models, VDMs)은 고충실도 콘텐츠 생성 측면에서 상당한 발전을 이루었습니다. 그러나 이들의 반복적인 샘플링 과정은 거대 아키텍처를 통한 수십 번의 순방향 패스(forward passes)를 요구하며 막대한 계산 비용을 발생시키고, 이는 실시간 배포를 저해합니다.

기존의 가속화 전략은 두 가지 범주로 나뉘며, 각각 심각한 한계를 지닙니다:

1. 오프라인 캘리브레이션 의존 방식: TeaCache나 MagCache와 같은 접근법은 큐레이션된 캘리브레이션 데이터셋에서 유도된 통계적 사전 지식이나 다항식 피팅에 의존합니다. 이는 높은 캘리브레이션 비용, 특정 데이터 분포에 대한 의존성, 그리고 캘리브레이션과 추론 사이의 분포 변화(distribution shift) 발생 시 성능 저하라는 문제를 안고 있습니다.
2. 오프라인 캘리브레이션 프리(Calibration-Free) 방식: EasyCache와 같은 방식은 캘리브레이션 데이터셋이 필요 없지만, 즉각적인 영차 근사(Zero-Order Approximation, Zero-Order Hold)에 의존합니다. 이러한 방법은 스텝 간의 특징 변화율이 일정하다고 가정하는데, 이는 확산 궤적(diffusion trajectory)의 내재적인 모멘텀을 포착하지 못합니다. 이로 인해 관측 노이즈에 취약해지며, 변동성이 큰 영역에서 과도한 스킵(시각적 아티팩트 발생) 또는 불충분한 가속(가속 부족)을 초래합니다.

핵심 과제는 오프라인 캘리브레이션 오버헤드를 피하면서도, 확산 과정 중 발생하는 비정상적(non-stationary)이고 모멘텀 중심적인 특징 진화 역학을 정확하게 모델링하는 방법을 개발하는 것입니다.

방법론: NaviCache

저자들은 비디오 특징의 진화를 관성 항법 시스템(Inertial Navigation System, INS) 문제로 재개념화한 플러그 앤 플레이 방식의 테스트 타임 자기 캘리브레이션 프레임워크인 NaviCache를 제안합니다. NaviCache는 절대적인 변화량을 추정하는 대신, 입력과 출력 변화 사이의 상대적 결합을 상태 공간 추적 문제로 모델링합니다.

핵심 구성 요소

1. 상태 공간 모델링 (State-Space Modeling):
   본 방법은 특징 변화율($\phi_t = \Delta O_t / \Delta I_t$)을 선형 가우시안 상태 공간 모델(LGSSM) 내의 은닉 상태 $r_t$로 정식화합니다. 이는 이 비율을 정적인 상수로 취급하는 대신, 불확실성과 운동학적 관성(kinematic inertia)을 명시적으로 모델링합니다.

2. 초기 정렬 단계 (Initial Alignment Phase):
   확산 과정이 초기 타임스텝(높은 노이즈 구간)에서 혼돈스럽고 비정상적인 역학을 보인다는 점을 인식하여, NaviCache는 전략적인 "초기 정렬" 단계를 채택합니다. 처음 $N_{align}$ 스텝 동안은 스킵 없이 전체 연산을 수행합니다. 이를 통해 시스템은 상태 평균($\hat{r}_0$)과 오차 공분산($P_0$)에 대한 편향되지 않은 초기화를 계산할 수 있으며, 추정기가 특징 매니폴드에 대해 캘리브레이션된 이해를 바탕으로 "항법 모드"에 진입할 수 있도록 보장합니다.

3. 이중 상태 추정 엔진 (Dual-State Estimation Engine):
   주요 확산 단계 동안 NaviCache는 두 가지 충분 통계량인 상태 추정치($\hat{r}_t$)와 추정 불확실성($P_t$)을 추적하기 위해 재귀적 베이지안 필터를 활용합니다. 프로세스는 두 단계로 진행됩니다:

   • 사전 투영 (Prior Projection): 시스템은 특징 비율의 내재적 드리프트 또는 "모멘텀"을 모델링하기 위해 프로세스 노이즈($Q_t$)를 포함하여 상태와 불확실성을 전방으로 투영합니다.
   • 관측 정정 (Observational Rectification): 누적된 오차가 안전 임계값을 초과하면, 전체 연산을 트리거하여 그라운드 트루스 측정값($z_t$)을 얻습니다. 이 측정값은 사후 불확실성을 최소화하도록 유도된 교정 융합 계수(Calibrated Fusion Factor, CFF) $K_t$를 사용하여 사전 예측과 융합됩니다. 이 메커니즘은 안정적인 영역에서는 역사적 관성을 우선시하고, 격변적인 영역에서는 새로운 관측값과 즉각적으로 정렬하는 지능형 게이트키퍼 역할을 합니다.

4. 불확실성 인지 스키핑 메커니즘 (Uncertainty-Aware Skipping Mechanism):
   스킵 또는 업데이트 결정은 누적 오차 메트릭($E_{acc}$)에 의해 제어됩니다. 만약 $E_{acc}$가 충실도 임계값($\tau$) 미만으로 유지되면 시스템은 연산을 스킵합니다(데드 레코닝, Dead Reckoning). 임계값이 돌파되면 시스템은 전체 업데이트를 수행하여(측정 수정, Measurement Fix) 궤적을 재고정하고 오차 누적기를 리셋합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

• 이론적 재정식화: 저자들은 확산 역학과 관성 항법 시스템(INS) 이론 사이의 첫 번째 공식적 매핑을 확립하여, VDM의 특징 진화를 상태 공간 모델로 재정식화했습니다.
• NaviCache 프레임워크: 오프라인 캘리브레이션 없이도 특징 매니폴드를 정확하게 추적할 수 있는 이중 상태 추정 엔진과 초기 정렬 단계를 갖춘 오프라인 캘리브레이션 프리 프레임워크를 제안합니다.
• 이론적 보장: 본 논문은 프로세스 및 측정 노이즈가 존재할 경우, NaviCache가 기존의 캘리브레이션 프리 휴리스틱보다 낮은 추정 오차 경계(error bound)를 달성한다는 이론적 증명을 제공합니다.
• 실증적 성능: 광범위한 실험을 통해 여러 모델(Wan, HunyuanVideo, Open-Sora)에서 추론 효율성과 시각적 충실도 모두에서 NaviCache가 일관되적으로 베이스라인을 능가함을 입증했습니다.

실험 결과

실험은 세 가지 대표적인 VDM인 Wan 2.1, HunyuanVideo, Open-Sora 1.2를 대상으로 VBench 데이터셋에서 수행되었습니다.

• 효율성 대 품질 트레이드오프: NaviCache는 세 가지 구성(fast, mid, slow)을 제공합니다. 유사한 레이턴시 환경에서 NaviCache는 EasyCache와 같은 오프라인 캘리브레이션 프리 방식보다 일관되게 우수한 시각적 보존력을 보여줍니다. 예를 들어, HunyuanVideo에서 "mid" 모드는 2.17배의 속도 향상을 달성하면서 PSNR 32.65를 기록하여, EasyCache의 2.15배 속도 향상(PSNR 32.53)보다 뛰어난 성능을 보였습니다.
• 캘리브레이션 의존 방식과의 비교: NaviCache는 오프라인 캘리브레이션 방식과 비교하여 놀라운 충실도를 보여줍니다. Wan 2.1에서 "slow" 모드는 PSNR 25.10을 달성하여, TeaCache(22.79) 및 MagCache(23.33)보다 현저히 높았습니다. TeaCache가 가끔 프롬프트 특화 피팅 덕분에 근소한 우위를 점하기도 하지만, NaviCache는 픽셀 수준 및 지각적 재구성(더 낮은 LPIPS, 더 높은 SSIM)에서 우월합니다.
• 시각적 충실도: 사례 연구에 따르면 기존 방식들은 종종 시간적 불일치, 고스팅, 구조적 왜곡(예: 변형된 손이나 물체)을 겪습니다. NaviCache는 이러한 문제를 효과적으로 완화하여 급격한 움직임 중에도 구조적 무결성과 고주파 디테일을 유지합니다.
• 절제 연구 (Ablation Studies):
  • 초기 정렬: 정렬 스텝을 늘리면 충실도는 향상되지만 레이턴시가 증가합니다. 20%의 비율이 최적의 균형점으로 발견되었습니다.
  • 노이즈 파라미터: 프로세스 노이즈($Q$)를 낮추면 레이턴시를 희생하여 충실도가 향상되며, 측정 노이즈($R$)를 낮추면 레이턴시는 줄어들지만 시각적 보존력이 위험해질 수 있습니다.
  • 확장성: 이 방법은 다양한 해상도(480p/720p)와 프레임 수(51/102)에 걸쳐 안정적인 가속(1.81×–1.91×)을 유지합니다.
• 오버헤드: NaviCache는 오프라인 캘리브레이션 시간이 전혀 필요하지 않습니다. 스키핑 판단을 위한 테스트 타임 계산 오버헤드는 무시할 수 있는 수준입니다(약 0.0109초).

의의 및 주장

본 논문은 NaviCache가 제어 이론과 비디오 생성 사이의 근본적인 도메인 간극을 메운다고 주장합니다. 특징 진화를 무작위한 떨림이 아닌 밑바탕의 모멘텀을 가진 구조화된 궤적으로 모델링함으로써, NaviCache는 플러그 앤 플레이 방식의 테스트 타임 자기 캘리브레이션을 가능하게 합니다.

저자들은 이 접근법이 오프라인 방식의 과도한 캘리브레이션 비용과 분포 변화 취약성을 제거하는 동시에, 영차 근사의 정확도 한계를 극복한다고 단언합니다. 오차 경계가 있는 계산 스키핑에 이론적으로 근거한 NaviCache는 대규모 생성 모델의 효율적인 배포를 위한 원칙적인 솔루션으로 제시되며, 대규모 비디오 합성을 위한 계산 및 에너지 장벽을 크게 낮춤으로써 "그린 AI(Green AI)" 목표에 기여합니다.