기술 요약: 자동회귀 확산 모델을 활용한 비디오 역문제 솔버 가속화

문제 정의

비디오 역문제 (Video Inverse Problems) 는 저해상도, 마스킹, 또는 흐릿한 열화된 측정값 $y$로부터 깨끗한 비디오 $x$를 복원하는 것을 목표로 하며, 이는 $y = A(x) + n$으로 정의됩니다. 확산 (diffusion) 및 흐름 기반 (flow-based) 모델이 이러한 작업을 위한 강력한 제로샷 (zero-shot) 사전 지식으로 부상했지만, 두 가지 치명적인 비효율성으로 인해 실시간 배포가 현재 저해되고 있습니다:

1. 높은 초기 지연 (High Initial Latency): 기존 확산 모델 기반 비디오 역문제 솔버 (DVIS) 는 일반적으로 전체 비디오를 통합적으로 복원하며, 전체 시퀀스를 동시에 샘플링합니다. 결과적으로 첫 번째 프레임은 전체 비디오가 복원될 때까지 표시될 수 없어, 총 복원 시간과 동일한 지연 병목 현상이 발생합니다.
2. 낮은 처리량 (Low Throughput): 현대 비디오 확산 모델은 종종 변이 오토인코더 (VAE) 의 잠재 공간 (latent space) 에서 작동합니다. 측정 일관성을 강제하기 위해 현재 솔버들은 복원 과정에서 여러 번의 VAE 통과 (인코딩 및 디코딩) 를 요구하며, 이로 인해 처리량이 1 초당 1 프레임 (FPS) 미만으로 제한됩니다.

방법론

저자들은 이러한 병목 현상을 해결하기 위해 자동회귀 (AR) 비디오 확산 모델을 활용하는 **자동회귀 비디오 역문제 솔버 (AVIS)**와 그 가속화된 변형인 AVIS Flash를 제안합니다.

핵심 프레임워크: AVIS

전체 비디오를 통합적으로 처리하는 비자동회귀 솔버와 달리, AVIS 는 스트리밍 방식으로 비디오를 복원하며 비디오 청크를 순차적으로 생성합니다. 이 아키텍처는 자연스럽게 초기 지연 병목 현상을 제거합니다. 처리량 문제와 확산 모델의 본질적인 느림을 해결하기 위해 AVIS 는 **측정 일관성 초기화 (measurement-consistent initialization)**를 도입합니다:

• 초기화: AVIS 는 순수 가우시안 노이즈에서 역확산을 시작하는 대신, 다단계 최적화 알고리즘 (켤레 기울기법) 을 사용하여 목적 함수 $\|y - A(x)\|^2$를 최소화함으로써 픽셀 공간에서 거친 측정 일관성 추정치 $x_{init}$를 먼저 계산합니다.
• 가속화된 샘플링: 이 추정치는 잠재 공간으로 인코딩되어 중간 시간 단계 $t_0$까지 확산됩니다. 그런 다음 역확산 과정은 $t=1$이 아닌 $t_0$에서 시작하여 필요한 샘플링 단계를 크게 줄입니다.
• 반복적 가이드: AVIS 는 모든 비디오 청크에 대해 디노이징 단계마다 분해된 확산 샘플링 (DDS) 프레임워크를 사용하여 측정 일관성을 강제합니다. 이는 잠재 추정치를 디코딩하고, 측정값과 정렬하기 위해 근사 최적화 문제를 해결한 후 다시 인코딩하는 과정을 포함하며, 비용이 많이 드는 야코비안 (Jacobian) 계산 없이 수행됩니다.

가속화된 변형: AVIS Flash

효율을 더욱 높이기 위해 AVIS Flash는 가이드 전략을 수정합니다:

• 단일 청크 가이드: 측정 일관성 (반복적 VAE 통과를 통해) 을 첫 번째 비디오 청크에만 강제합니다.
• 자동회귀 전파: 후속 청크 ($n \ge 2$) 는 수정된 접두사 (corrected prefix) 로부터 자동회귀 전파 (KV 캐싱 사용) 를 통해만 생성되며, 명시적인 측정 가이드를 우회합니다.
• 이론적 정당성: 저자들은 오류 분해 분석 (명제 1) 을 제공하여 최종 오류가 초기 오류 (초기화로 완화됨) 와 이전 청크에서 전파된 컨텍스트 오류에 의해 제한됨을 보여줍니다. 컨텍스트 오류가 증폭기가 아닌 가산적 교란으로 작용한다는 점을 관찰하여, 지속적인 가이드 없이도 충실도를 유지할 수 있음을 확인했습니다.
• 장기 비디오 안정성: 매우 긴 시퀀스의 경우, 프레임워크는 시간적 드리프트를 방지하기 위해 측정 일관성을 주기적으로 재주입할 수 있습니다 (예: $N$개의 청크마다).

주요 기여

1. AVIS 프레임워크: 제로샷 비디오 복원을 위한 자동회귀 비디오 확산 모델에 대한 조사. AVIS 는 측정 일관성 추정치로 역확산 과정을 초기화하여 복원을 가속화하며, 샘플링 단계를 줄이면서도 모든 청크에 대한 일관성을 유지합니다.
2. AVIS Flash: 측정 일관성을 오직 첫 번째 청크에만 강제하는 고도로 가속화된 변형. 이 접근법은 경쟁력 있는 성능을 유지하면서 처리량을 크게 증가시켜 효율성과 성능 간의 유리한 트레이드오프를 제공합니다.
3. 성능 향상: 이 논문은 이러한 방법들이 선두의 비자동회귀 솔버에 비해 초기 지연을 획기적으로 줄이고 처리량을 증가시켜 실시간 배포의 길을 연다고 보여줍니다.

실험 결과

이 방법들은 5 가지 역문제 (초해상도 4 배, 무작위 인페인팅 50% 마스크, 가우시안 디블러, 시간 평균, 시공간 평균) 에 걸쳐 100 개의 고해상도 비디오에서 평가되었습니다.

• 효율성:
  • 지연: AVIS 는 초기 지연을 114 초 (LVTINO) 에서 4 초로 줄입니다.
  • 처리량: AVIS 는 처리량을 0.71 FPS에서 1.18 FPS로 증가시킵니다. AVIS Flash 는 단일 RTX 4090 GPU 에서 5.91 FPS를 달성하며 (H100 에서는 10.2 FPS), 이는 베이스라인 대비 8 배에서 12 배의 속도 향상입니다.
• 복원 품질:
  • AVIS 는 DiffIR2VR-Zero, VISION-XL, LVTINO 와 같은 베이스라인 대비 충실도 지표 (PSNR, SSIM, LPIPS, FVD) 및 지각적 지표 (VBench) 에서 우수한 또는 매우 경쟁력 있는 결과를 달성합니다.
  • AVIS Flash 는 AVIS 대비 특정 지표에서 약간 감소한 경쟁력 있는 성능을 유지하지만, 속도는 극적으로 개선됩니다.
• 애블레이션 연구:
  • 자동회귀 KV 캐시를 제거하면 성능이 저하되어 컨텍스트 전파의 가치를 확인시켜 줍니다.
  • 초기화 없이 순수 노이즈에서 역 과정을 시작하면 드리프트가 발생하며, 측정 일관성 초기화가 충실도에 필수적입니다.
  • 시작 시간 $t_0 = 0.1$과 $K=2$ 샘플링 단계가 속도와 품질 간의 최적 균형을 제공하는 것으로 확인되었습니다.

중요성 및 주장

이 논문은 AVIS 와 AVIS Flash 가 확산 기반 비디오 역문제 솔버의 실용적이고 실시간인 배포를 위한 강력한 기반을 확립한다고 주장합니다. 자동회귀 생성과 새로운 초기화 전략을 활용함으로써, 이 프레임워크는 확산 모델의 고품질 생성 사전 지식과 실제 응용 프로그램의 엄격한 지연/처리량 요구 사항 사이의 간극을 메웁니다.

저자들은 이 방법들이 최첨단 기술을 크게 발전시켰지만, 여전히 초기 픽셀 공간 가이드를 위해 여러 번의 VAE 통과에 의존한다고 지적합니다. 향후 작업은 프로세스를 더욱 가속화하기 위해 잠재 공간에서 직접 측정 일관성을 강제하는 방안을 탐구할 수 있습니다. 또한, 열화된 입력으로부터 고품질 비디오를 복원하는 능력은 허위 정보와 민감한 데이터의 재구성에 관한 윤리적 고려사항을 제기하며, 저자들은 이를 고려해야 할 더 넓은 영향으로 인정합니다.