기술 요약: InfVSR

문제 정의

실제 세계의 비디오 콘텐츠는 종종 수천 프레임에 걸쳐 확장되어, 기존 생성형 비디오 초해상도 (VSR) 접근법에게 심각한 병목 현상을 초래합니다. 현재 방법론들은 이러한 긴 시퀀스를 처리할 때 두 가지 주요 과기에 직면합니다:

1. 비효율성: 전체 시퀀스 확산 모델이 요구하는 다단계 탈노이즈 과정은 비디오 길이에 비례하여 증가하는 막대한 계산 비용과 메모리 사용량을 초래합니다.
2. 불일치성: 메모리를 관리하기 위해 기존 방법론들은 종종 비디오를 짧은 독립적인 청크로 분해합니다. 이러한 시간적 분해는 사전 학습된 모델이 학습한 글로벌 시간적 일관성을 파괴하여, 아티팩트, 깜빡이는 텍스처, 그리고 시청 경험을 방해하는 불연속성을 초래합니다.

과거의 증가된 오버랩이나 사후 보정과 같은 해결책들은 이러한 문제를 부분적으로 완화하지만, 장거리 및 의미 수준의 일관성을 유지하지는 못합니다. 따라서 스트리밍 가능 (고정된 메모리로 임의의 길이를 처리) 이고 일관성 (시간적 일관성을 명시적으로 모델링) 이 있는 VSR 모델에 대한 시급한 필요성이 있습니다.

방법론: InfVSR

저자들은 InfVSR을 제안합니다. 이는 일관성 기반 스트리밍 생성형 VSR 프레임워크로, 사전 학습된 텍스트 - 비디오 (T2V) 사전 지식을 활용하면서도 효율적인 스트리밍 추론을 가능하게 하는 자기회귀 단일 단계 확산 (AR-OSD) 패러다임으로 VSR 을 재정의합니다.

1. 이중 시간尺度 모델링을 갖는 인과적 DiT 아키텍처

InfVSR 의 핵심은 이전 프레임을 다시 참조하지 않고도 국소적 및 글로벌 일관성을 모두 유지하도록 설계된, 사전 학습된 3D 확산 트랜스포머 (DiT) 의 인과적 적응입니다.

• 롤링 KV-캐시 (국소적 부드러움): 대형 언어 모델 (LLM) 에서 영감을 받아, 이 방법은 자기주의 (self-attention) 레이어 내에 고정 길이의 롤링 키 - 값 (KV) 캐시를 구현합니다. 원래 타임라인에 기반한 절대 위치 임베딩을 할당함으로써, 모델은 청크 경계를 넘어 시간적 인식을 유지합니다. 이는 비디오 길이와 관계없이 메모리와 계산을 일정하게 유지하면서 부드러운 운동 및 외관 전환을 보장합니다.
• 공동 시각적 안내 (글로벌 일관성): 캐시 단절로 인한 장거리 단서의 손실을 방지하기 위해, 이 방법은 공동 시각적 안내 모듈을 도입합니다. 저해상도 (LR) 핵심 프레임은 사전 학습된 시각 인코더 (DAPE) 를 사용하여 인코딩되고, DiT 의 교차주의 (cross-attention) 레이어에 시각적 프롬프트로 주입됩니다. 이러한 프롬프트는 여러 인접한 청크에 걸쳐 공유되는 의미적 앵커 역할을 하여 장거리 의미를 안정화하고, VLM 기반 프롬프트 추출의 경량 대안으로 작용합니다.

2. 효율적인 자기회귀 사후 학습

학습 전략은 2 단계 커리큘럼과 특정 손실 함수를 통해 충실도, 일관성, 메모리 효율성을 균형 있게 조정하도록 설계되었습니다.

• 패치별 픽셀 감독: 3D VAE 디코더에서 전체 프레임 감독의 막대한 메모리 오버헤드를 피하기 위해, 이 방법은 무작위 공간 크로핑을 사용합니다. 재구성 손실은 잠재 공간에서 무작위로 샘플링된 패치와 픽셀 공간의 해당 정답 (ground-truth) 패치에 적용됩니다. 이 전략에는 다음이 포함됩니다:
  • 충실도 손실: 평균 제곱 오차 (MSE) 와 DISTS 지각 손실의 결합.
  • 시간적 부드러움 손실: 예측 시퀀스와 정답 시퀀스 간의 프레임별 차이를 정렬하여 국소적 시간적 일관성을 강제합니다.
• 교차 청크 분포 매칭 (DMD): 확장된 범위에서 생성된 비디오가 현실적인 운동 패턴과 정렬되도록 분포 매칭 손실이 적용됩니다. 이는 생성된 트리플릿 - 청크 시퀀스의 분포와 교사 모델에서 학습된 실제 비디오 분포 간의 KL 발산을 최소화하여 고수준 의미적 일관성을 보장합니다.
• 2 단계 커리큘럼:
  • 1 단계: 단일 단계 확산에 적합하도록 고해상도 긴 클립에서 픽셀 감독만을 사용하여 초기화.
  • 2 단계: KV-캐시, AR 추론, 그리고 픽셀 및 분포 매칭 손실을 모두 포함하는 저해상도에서의 자기회귀 적응.

3. 벤치마킹: MovieLQ

긴 형식 평가 기준의 부재를 해결하기 위해, 저자들은 실제 세계의 열화 (degradations) 를 가진 10 개의 1000 프레임 길이 단일 샷 비디오로 구성된 MovieLQ 벤치마크를 소개합니다. 기존의 픽셀 단위 지표를 넘어, 그들은 시간적 일관성을 종합적으로 평가하기 위해 VBench (주제 일관성, 배경 일관성, 운동 부드러움) 의 의미 수준 지표를 채택합니다.

주요 기여

1. InfVSR 프레임워크: 무제한 길이 시퀀스에서의 초효율적 추론을 지원하는 실제 세계 VSR 을 위한 새로운 T2V 기반 자기회귀 단일 단계 확산 프레임워크.
2. 이중 시간尺度 메커니즘: 국소적 부드러움을 위한 롤링 KV-캐시와 글로벌 일관성을 위한 공동 시각적 안내의 도입으로, 고정된 메모리 사용량을 가능하게 함.
3. 학습 혁신: 충실도, 일관성, 효율성을 효과적으로 균형 잡는 패치별 픽셀 감독 전략과 교차 청크 분포 매칭 손실.
4. 새로운 벤치마크: 긴 형식 VSR 평가를 위한 MovieLQ 수립 및 의미 수준 일관성 지표의 채택.

실험 결과

광범위한 실험을 통해 InfVSR 이 다양한 데이터셋 (UDM10, SPMCS, MVSR4x, VideoLQ, MovieLQ) 에서 최첨단 (SOTA) 성능을 달성함을 입증했습니다.

• 품질: 이 방법은 여러 벤치마크에서 충실도 (PSNR, SSIM) 와 지각 품질 (MUSIQ, CLIP-IQA, DOVER) 에서 1 위 또는 2 위 점수를 달성합니다.
• 일관성: InfVSR 은 MGLD-VSR, STAR, SeedVR2 와 같은 기존 방법론에 비해 가장 낮은 광류 왜곡 오차 ($E^*_{warp}$) 와 우수한 의미 일관성 점수 (SC, BC, MS) 를 달성합니다.
• 효율성: 이 방법은 MGLD-VSR 과 같은 다단계 방법론에 비해 58 배의 속도 향상을 제공하며, 최근의 단일 단계 방법론 (예: SeedVR2 보다 5.48 배 빠름) 보다 훨씬 빠릅니다. 결정적으로, 메모리 사용량은 긴 비디오 (예: 1000 프레임) 에서도 일정하게 유지되는 반면, 전체 주의 (full-attention) 기반선들은 메모리 부족 (OOM) 오류나 선형적인 메모리 증가를 겪습니다.

의의

이 논문은 InfVSR 이 AR-OSD 패러다임으로 VSR 을 재정의함으로써 기존 전체 시퀀스 접근법의 길이 제한을 극복했다고 주장합니다. 인과적 DiT 적응과 단일 단계 증류 및 일관성 기반 학습을 결합함으로써, 이 방법은 시간적 일관성을 유지하면서 초효율적 추론을 가능하게 합니다. 저자들은 InfVSR 을 장거리 비디오 향상을 위한 생성형 VSR 시스템의 실용적 배포를 향한 기초적인 단계로 위치시키며, 품질, 일관성, 계산 비용 사이의 중요한 트레이드오프를 해결하는 확장 가능한 솔루션을 제시합니다.