SparkVSR: Interactive Video Super-Resolution via Sparse Keyframe Propagation

이 논문은 사용자가 임의의 이미지 초해상도 모델을 통해 선택한 희소 키프레임을 제어 신호로 활용하여, 저해상도 비디오의 모션에 기반한 일관성을 유지하면서도 아티팩트를 수정하고 세부 사항을 개선할 수 있는 대화형 비디오 초해상도 프레임워크인 SparkVSR 을 제안합니다.

핵심

🎬 기존 방식: "블랙박스 마법사" vs 새로운 방식: "감독과 배우"

1. 기존 방식의 문제점: "예상치 못한 마법"

기존의 화질 개선 AI 는 마치 예측 불가능한 마법사와 같습니다.

• 상황: 흐릿한 옛날 영상을 AI 에게 주면, AI 는 "알아서 잘 고쳐줄게!"라고 말하며 결과물을 뚝딱 만들어냅니다.
• 문제: 하지만 AI 가 만든 결과가 마음에 들지 않다면? (예: 얼굴이 너무 뭉개졌거나, 옷 무늬가 이상하게 변함) 사용자는 아무것도 할 수 없습니다. "그냥 나오는 대로 받아들이세요"가 전부가죠. 마치 마법사가 만든 요리를 맛없다고 해서 다시 조리할 수 없는 것과 같습니다.

2. 스파크 VSR 의 혁신: "핵심 장면을 찍는 감독"

스파크 VSR 은 이 문제를 해결하기 위해 사용자가 직접 '핵심 장면 (Keyframe)'을 선택하고 수정할 수 있게 해줍니다.

• 비유: 영화를 찍을 때, 감독이 모든 장면을 처음부터 끝까지 직접 연기할 필요는 없습니다. 대신 가장 중요한 장면 (핵심 장면) 몇 개만 완벽하게 찍어두고, 나머지 장면은 배우들이 그 흐름을 따라 자연스럽게 이어가게 하죠.
• 작동 원리:
  1. 핵심 장면 선택: 사용자가 흐릿한 영상 중 가장 중요한 장면 (예: 주인공 얼굴이 나오는 1 초) 을 몇 개 골라냅니다.
  2. 고화질로 다듬기: 사용자가 이 골라낸 장면들을 다른 강력한 AI 를 이용해 아주 선명하고 예쁘게 고화질로 만듭니다. (이때 사용자가 "이 눈썹을 더 짙게 해줘"라고 지시할 수도 있습니다.)
  3. 나머지 장면 연결: 스파크 VSR 이 이 '완벽하게 고쳐진 핵심 장면'을 바탕으로, 나머지 흐릿한 장면들을 자연스럽게 이어 붙여 고화질 영상으로 만듭니다.

🔧 핵심 기술: "두 단계 훈련" (레시피 만들기)

이 기술이 어떻게 이렇게 똑똑해졌을까요? 두 단계로 나누어 훈련시켰습니다.

1. 1 단계 (잠재 공간 학습): AI 가 먼저 '개념'을 배웁니다. 흐릿한 영상과 선명한 핵심 장면을 비교하며 "어떻게 움직이는지"를 익힙니다. 이때는 아주 빠르게 학습합니다.
2. 2 단계 (픽셀 공간 학습): 이제 실제 '세부 묘사'를 다듬습니다. 핵심 장면의 질감 (피부 결, 옷 주름 등) 을 나머지 영상에 얼마나 자연스럽게 퍼뜨릴지, 그리고 영상이 깜빡거리지 않도록 (시간적 일관성) 어떻게 할지 정교하게 조정합니다.

🎛️ 사용자의 통제권: "레시피 조절"

스파크 VSR 의 가장 큰 장점은 사용자가 결과물을 조절할 수 있다는 점입니다.

• 비유: 식당에서 요리사가 요리를 해줄 때, "소금기를 좀 더 적게 해줘"라고 주문할 수 있는 것과 같습니다.
• 기능:
  • 강조하기: "핵심 장면의 디테일을 더 살려줘!"라고 하면 AI 가 그 특징을 더 강하게 퍼뜨립니다.
  • 약하게 하기: "핵심 장면이 너무 이상해서, 원래 영상의 흐름을 더 따르겠어"라고 하면 AI 가 핵심 장면의 영향을 줄이고 원래 영상의 움직임을 더 존중합니다.
  • 선택의 자유: 사용자가 직접 장면을 고를 수도 있고, 컴퓨터가 자동으로 중요한 장면을 골라주거나, 무작위로 골라주기도 합니다.

🌟 왜 이것이 중요한가요?

• 오래된 영화 복원: 1940 년대 흑백 영화를 고화질 컬러로 만들 때, 사용자가 "이 장면의 글자는 또렷하게, 이 장면의 얼굴은 자연스럽게"라고 지시하며 복원할 수 있습니다.
• 스타일 변경: 영상을 애니메이션 스타일로 바꾸고 싶다면, 한 두 장만 애니메이션 스타일로 그려주면 나머지 전체가 자연스럽게 애니메이션으로 변합니다.

📝 한 줄 요약

"스파크 VSR 은 흐릿한 영상을 고화질로 만들어주는 AI 에게, 사용자가 직접 '핵심 장면'을 고르고 수정할 수 있는 '감독'의 권한을 부여하여, 원하는 대로 완벽하게 영상을 복원하고 편집할 수 있게 해주는 기술입니다."

이 기술은 더 이상 AI 가 만든 결과물을 맹목적으로 받아들이는 시대를 끝내고, 사용자가 창의적으로 영상을 다듬을 수 있는 새로운 시대를 열었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 초해상도 (Video Super-Resolution, VSR) 기술은 학습이 완료된 후 추론 (Inference) 단계에서 '블랙박스 (Black-box)' 방식으로 동작한다는 치명적인 한계가 있습니다.

• 사용자 통제 불가: 사용자는 모델이 생성한 결과물을 그대로 받아들여야 하며, 예상치 못한 아티팩트 (artifacts) 를 수정하거나 특정 프레임의 디테일을 제어할 수 없습니다.
• 제약된 인터페이스: 최근 텍스트 프롬프트를 통한 제어 시도는 시도되었으나, 이는 고수준의 개략적인 안내에 그치며 프레임 단위의 정밀한 제어에는 한계가 있습니다.
• VSR 의 본질적 난제: 초해상도 문제는 본질적으로 '잘못된 문제 (ill-posed)'로, 하나의 저해상도 (LR) 입력에 대해 여러 가지 고해상도 (HR) 복원 가능성이 존재합니다. 기존 모델은 학습된 확률 분포에 의존할 뿐, 사용자의 의도나 특정 프레임의 정보를 반영하지 못합니다.
• 단일 프레임 ISR 의 한계: 최신 이미지 초해상도 (ISR) 모델은 뛰어난 디테일 복원 능력을 갖췄으나, 이를 비디오의 각 프레임에 독립적으로 적용하면 심각한 시간적 불일치 (Temporal Inconsistency) 와 깜빡임 (Flickering) 이 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 SparkVSR이라는 새로운 인터랙티브 VSR 프레임워크를 제안합니다. 이는 사용자가 소수의 키프레임 (Keyframes) 을 선택하고 편집하여 전체 비디오의 복원을 유도하는 'Human-in-the-loop' 프로세스입니다.

2.1 전체 아키텍처

• 이중 인코딩 (Dual-Encoding):
  • LR 비디오: 저해상도 입력 비디오를 3D Causal VAE 를 통해 잠재 공간 (Latent Space) 으로 인코딩합니다.
  • HR 키프레임: 사용자가 선택한 소수의 프레임은 외부의 강력한 ISR 모델 (예: Nano-Banana-Pro, PiSA-SR) 을 통해 고해상도로 복원된 후, 동일한 잠재 공간으로 인코딩됩니다. 이때 선택되지 않은 프레임은 'Zero Latent'로 처리되어 희소 (Sparse) 한 참조 정보를 형성합니다.
• 조건부 생성: LR 비디오 잠재 벡터와 희소 HR 키프레임 잠재 벡터를 채널 차원에서 연결 (Concatenation) 하여 Diffusion Transformer 에 입력합니다.
• 1-Step 디노이징: 계산 효율성을 위해 DOVE 에서 영감을 받아, LR 잠재 벡터를 노이즈가 있는 상태로 간주하고 단일 단계 (t=399) 의 디노이징을 수행하여 HR 비디오를 생성합니다.

2.2 2 단계 학습 파이프라인 (Two-Stage Training)

정밀한 키프레임 제어와 강건한 시간적 전파를 위해 두 단계의 학습 전략을 사용합니다.

1. Stage 1 (잠재 공간 학습): VAE 디코더를 고정하고 Transformer 만 학습합니다. HR 키프레임에 강하게 인 augmentations (색상 왜곡, 노이즈 등) 을 가해 외부 ISR 모델의 출력 분포를 모방하도록 학습하며, 참조 프레임이 없는 상황 (Reference Dropout) 에 대비하여 맹목적인 복원 능력을 키웁니다.
2. Stage 2 (픽셀 공간 학습): 시간적 일관성과 지각적 질감을 개선하기 위해 픽셀 공간에서 학습합니다.
   • 비디오 브랜치: 희소 키프레임 조건 하에 비디오를 생성하며, 픽셀 MSE, 지각적 손실 (DISTS), 프레임 일관성 손실을 함께 최소화합니다.
   • 이미지 브랜치: 단일 LR 이미지와 'Zero Latent'를 결합하여 참조가 없는 상황에서도 모델이 강력한 생성적 사전 지식 (Generative Priors) 을 유지하도록 합니다.

2.3 유연한 인터랙티브 추론

• 키프레임 선택 전략: 수동 선택, 코덱 I-프레임 추출, 무작위 샘플링 등 다양한 전략을 지원합니다.
• 프롬프트 기반 인터랙션: 텍스트 프롬프트 (작업 지시 + 콘텐츠 설명) 를 통해 키프레임의 복원 방향을 정밀하게 제어할 수 있습니다.
• 참조 없는 안내 (Reference-Free Guidance, RFG): Classifier-Free Guidance (CFG) 개념을 적용하여, 참조 프레임의 신뢰도나 사용자의 선호도에 따라 지시 척도 (s) 를 조절합니다.
  • $s > 1$: 키프레임의 디테일을 강력하게 전파 (고주파수 텍스처 강조).
  • $s < 1$ 또는 $s=0$: 모델의 내부 복원 능력에 의존 (참조 프레임이 부실할 때 유용).

3. 주요 기여 (Key Contributions)

1. 새로운 인터랙티브 VSR 패러다임: 블랙박스 추론을 탈피하여, 소수의 편집 가능한 키프레임을 제어 신호로 활용하는 인간 중심의 VSR 프로세스를 정립했습니다.
2. 강건한 키프레임 조건부 잠재 - 픽셀 학습: LR 비디오 잠재와 희소 HR 키프레임 잠재의 융합을 통해 시간적 전파 능력을 학습하고, 픽셀 공간 정제를 통해 지각적 품질을 극대화하는 2 단계 학습 전략을 제안했습니다.
3. 유연한 추론 및 제어 메커니즘: 다양한 키프레임 선택 전략과 참조 프레임의 유무/품질에 따라 적응적으로 작동하는 안내 (Guidance) 메커니즘을 통해 다양한 시나리오에서 강건한 성능을 보장합니다.
4. 최고 수준의 성능 (State-of-the-Art): 다양한 벤치마크에서 기존 모델들을 압도하는 성능을 달성했으며, 특히 지각적 품질 (Perceptual Quality) 과 시간적 일관성 (Temporal Consistency) 의 균형 (Pareto Optimality) 을 이루었습니다.

4. 실험 결과 (Results)

• 정량적 평가: UDM10, SPMCS, YouHQ40, RealVSR, MovieLQ 등 다양한 데이터셋에서 평가되었습니다.
  • 지각적 지표: CLIP-IQA, DOVER, MUSIQ 에서 기존 최첨단 모델 (STAR, DOVE, SeedVR2, FlashVSR 등) 대비 최대 24.6% (CLIP-IQA), 21.8% (DOVER), 5.6% (MUSIQ) 향상된 성능을 기록했습니다.
  • 왜곡 지표: 참조가 없는 모드 (Ours*) 에서도 높은 PSNR/SSIM 을 유지하며, 참조를 추가할 경우 지각적 품질이 더욱 극대화되는 것을 확인했습니다.
• 정성적 평가:
  • MovieLQ (실제 노후 필름): 텍스트와 얼굴 디테일 (피부 질감, 수염 등) 을 선명하게 복원하며, 기존 모델들의 과도한 블러링이나 아티팩트를 제거했습니다.
  • 시간적 안정성: X-T 슬라이스 프로파일 분석을 통해 SparkVSR 이 다른 모델들보다 훨씬 매끄럽고 일관된 시간적 흐름을 유지하며 깜빡임을 효과적으로 억제함을 증명했습니다.
• 범용성: 단순 초해상도를 넘어 노후 필름 복원/색상화 및 비디오 스타일 전이 (Style Transfer) 와 같은 제로샷 (Zero-shot) 작업에도 즉시 적용 가능한 범용 프레임워크임을 입증했습니다.

5. 의의 및 결론 (Significance)

SparkVSR 은 비디오 초해상도 분야에 다음과 같은 중요한 전환점을 제시합니다:

• 사용자 통제권 회복: 사용자가 복원 과정에 직접 개입하여 특정 프레임의 디테일을 수정하고 전체 비디오의 품질을 유도할 수 있게 함으로써, 실제 콘텐츠 제작 및 복원 워크플로우에서의 실용성을 크게 높였습니다.
• 최신 ISR 기술과의 융합: 최신 이미지 초해상도 모델의 강력한 공간적 사전 지식 (Spatial Priors) 을 비디오의 시간적 일관성 문제와 결합하여, 단일 프레임의 질감과 비디오의 자연스러움을 동시에 달성하는 새로운 접근법을 제시했습니다.
• 확장 가능성: 이 프레임워크는 VSR 을 넘어 다양한 저수준 비디오 편집 작업 (색상화, 스타일 변환 등) 에도 적용 가능한 범용적인 '인터랙티브 비디오 처리 프레임워크'로서의 가능성을 열었습니다.

결론적으로, SparkVSR 은 블랙박스 형태의 자동 복원을 넘어, 사용자가 주도하는 정밀하고 일관된 비디오 복원을 가능하게 하는 획기적인 기술입니다.