기술 요약: SNM-VFI

문제 정의

비디오 프레임 보간(Video Frame Interpolation, VFI)은 두 입력 프레임 사이의 중간 프레임을 합성하여 프레임 레이트를 높이거나 슬로 모션 비디오를 생성하는 것을 목표로 합니다. 기존의 접근 방식은 일반적으로 다음과 같은 두 가지 범주로 나뉘며, 각각 뚜렷한 한계를 가집니다:

1. 플로우 기반 방법(Flow-Based Methods): 이 방식은 광학 흐름(optical flow)을 사용하여 픽셀 수준의 대응 관계를 명시적으로 모델링합니다. 모션 궤적을 포착하는 데는 효과적이지만, 선형 운동 가정(등속도 운동)에 크게 의존합니다. 이러한 단순화는 실제 장면에서 흔히 발생하는 복잡하고 가속되거나 비선형적인 운동 패턴을 처리하는 데 실패합니다. 또한, 폐쇄(occlusion), 부정확한 객체 경계, 비정형 변형 등을 처리하는 데 어려움을 겪어 블러(blur) 아티팩트를 유발하곤 합니다.
2. 확산 기반 방법(Diffusion-Based Methods): 최근의 생성 모델들은 지각적으로 사실적인 비디오 콘텐츠를 생성하는 데 인상적인 능력을 보여주었습니다. 그러나 표준 확산 기반 VFI 방식은 일반적으로 무작위 노이즈로부터 중간 프레임을 합성합니다. 이 접근 방식은 종종 시간적 일관성 결여, 파편화된 모션 궤적, 밀도 있는 픽셀 수준 대응 관계의 부재를 초래하여, 객체가 프레임 전반에 걸쳐 부자연스럽게 깜빡이거나 외형이 변하는 현상을 일으킵니다.

이 논문이 다루는 핵심 과제는 플로우 기반 방법의 정밀한 모션 모델링 및 대응 관계와 생성형 확산 모델의 높은 지각적 품질 및 사실성을 통합하면서도, 생성 구성 요소에 대한 작업 특화 학습(task-specific training)을 요구하지 않는 프레임워크를 구축하는 것입니다.

방법론: SNM-VFI

저자들은 사전 학습된 광학 흐름 모델과 기성 비디오 확산 모델을 결합하는 학습이 필요 없는(training-free) 프레임워크인 **대칭 비선형 모션 가이드 생성 비디오 프레임 보간(Symmetric Nonlinear Motion-guided Generative Video Frame Interpolation, SNM-VFI)**을 제안합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 대칭 비선형 모션 기반 플로우 보간

선형 모션 모델의 한계를 극복하기 위해, 저자들은 대칭 비선형 접근 방식을 사용하여 신뢰할 수 있는 모션 조건부 생성 프라이어(generative priors)를 구축합니다.

• 모션 모델링: 등속도 운동을 가정하는 선형 모델이나, 과거 및 미래 프레임을 포함할 때 플로우 벡터가 어긋날 수 있는 이차(quadratic) 모델과 달리, SNM-VFI는 대칭 전략을 활용합니다. 이는 기본 플로우($V_{0 \to 1}$)와 함께 과거($V_{0 \to -1}$) 및 미래($V_{1 \to 2}$) 광학 흐름을 공동으로 사용하여 중간 플로우($V_{0 \to t}$ 및 $V_{1 \to t}$)를 계산합니다.
• 비선형 근사: 중간 플우는 베이스 플로우를 분해하고, 대칭적인 주변부 플로우로부터 모션 단서를 포함하는 하이퍼파라미터 $\alpha$에 의해 제어되는 비선형 항을 더함으로써 근사화됩니다.
• 폐쇄 처리(Occlusion Handling): 이 방법은 폐쇄 맵을 명시적으로 계산합니다. 폐쇄된 영역이나 모션이 불확실한 영역에서는 비선형 추정을 안정적인 선형 근사로 대체하여 신뢰성을 확보합니다.
• 홀 채우기(Hole Filling): 광학 흐름의 일관성(선형성을 가정함)에 의존하는 대신, 역방향 플로우(inverse flows)에 대한 순방향 워핑(forward warping)을 수행하여 추가적인 플로우 필드를 생성하며, 이를 통해 홀 영역(소스 매핑이 없는 영역)을 채웁니다.
• 출력: 이 단계는 플로우 가이드 중간 프레임과 그에 상응하는 신뢰도 맵을 생성합니다.

2. 플로우 가이드 잠재 초기화 및 반복적 확산

프레임워크는 미세 조정(fine-tuning) 없이 저수준의 시간적 처리를 위해 사전 학습된 비디오 확산 모델을 적응시킵니다.

• 잠재 프라이어(Latent Priors): 1단계에서 생성된 플로우 가이드 중간 프레임은 VAE 인코더를 사용하여 잠재 표현으로 인코딩됩니다. 이 잠재 표현은 확산 과정을 초기화하는 데 통상적으로 사용되는 무작위 가우시안 노이즈를 대체합니다.
• 반복적 가이드: 디노이징 단계 동안, 플로우 가이드 잠재 표현은 특징 수준(feature level)에서 확산 출력과 융합됩니다. 가중치 함수를 통해 초기 디노이징 단계에서는 플로우 기반 모션 단서가 시간적 정렬을 확립하도록 더 강한 영향을 미치게 하고, 후기 단계에서는 확산 모델이 지각적 세부 사항을 정교화하도록 점진적으로 주도권을 갖게 합니다.

형 3. 신뢰도 기반 융합

최대 출력 품질을 달am하기 위해, 프레임워크는 플러 기반 보간의 구조적 정밀도와 확산 출력의 사실적인 세부 사항을 융합합니다.

• 전략: 플로 추정 모듈에서 도출된 신뢰도 맵을 사용하여 두 출력의 조합에 가중치를 부여합니다.
• 메커니즘: 정렬이 잘 된 영역(고신뢰 영역)에서는 플로우 기반 예측을 유지합니다. 대응 관계가 누락되거나 신뢰할 수 없는 폐쇄 및 객체 경계와 같은 불확실한 영역에서는 확산 모델에 의해 생성된 고품질 픽셀을 통합합니다. 이는 신뢰도 점수에 기반한 가중 합(weighted sum)을 통해 이루어집니다.

주요 기여

1. SNM-VFI 프레임워크: 사전 학습된 광학 흐름 및 비디오 확산 모델을 활용하여 견고한 시간적 일관성과 높은 지각적 품질을 달성하는 새로운 학습 불필요(training-free) 생성형 VFI 프레임워크입니다.
2. 대칭 비선형 모션 프라이어: 대칭적인 과거 및 미래 플로우를 활용하여 비선형 모션을 정확하게 포착하고 폐쇄를 처리함으로써 신뢰할 수 있는 플로우 기반 중간 프레임과 신뢰도 맵을 생성하는 새로운 모션 모델링 접근 방식입니다.
3. 플로우 가이드 확산: 플로우 가이드 잠재 초기화 및 반복적 특징 수준 가이드를 도입하여, 확산 디노이징 과정 전반에 걸쳐 대응 관계를 인식하는 모션 단서를 주입함으로써 시간적 불일치를 방지합니다.
4. 신뢰도 기반 융합: 정확한 플로우 예측과 불확실한 영역에서의 확산 생성 세부 사항을 선택적으로 결합하여, 구조적 정밀도와 시각적 사실성의 균형을 맞추는 융합 전략입니다.

실험 결과

저자들은 DAVIS, Sintel, KITTI의 세 가지 도전적인 벤치마크에서 $\times2$ 및 $\times4$ 보간 설정 모두에 대해 SNM-VFI를 평가했습니다.

• 정량적 성능:
  • 지각적 품질: SNM-VFI는 LPIPS 및 FID와 같은 지각적 지표에서 지속적으로 최첨단(SOTA) 또는 최첨단에 근접한 결과를 달듯이, 순수 플로우 기반 방법 및 다른 확산 기반 접근 방식보다 월등히 높은 성능을 보였습니다.
  • 재구성 정확도: 이 방법은 픽셀 수준 지표(PSNR 및 SSIM)에서도 경쟁력 있는 성능을 보여주었으며, 특히 복잡한 모션 시나리오에서 1위 또는 2위를 차지했습니다.
  • 견고성: 모션 비선형성이 더 뚜렷한 $\times4$ 보간에서, SNM-VFI는 임의의 타임 스텝이나 큰 모션 처리에 어려움을 겪는 방법들보다 우수한 성능을 유지했습니다.
• 정성적 관찰:
  • 시각적 결과에서 SNM-VFI는 역방향 워핑 방식이 블러를 생성하거나 확산 전용 방식이 시간적 깜빡임 또는 환각된 콘텐츠를 겪는 큰 모션 및 복잡한 궤적을 효과적으로 처리함을 보여주었습니다.
  • 이 방법은 매끄러운 객체 경계를 보존하고 프레임 전반에 걸쳐 일관된 객체 정체성을 유지했습니다.

의의 및 주장

본 논문은 SNM-VFI가 구조적 정밀도를 가진 플로우 기반 방법과 지각적 풍부함을 가진 생성형 확산 모델 사이의 간극을 성공적으로 메운다고 주장합니다. 학습이 필요 없는(training-free) 프레임워크로서 기성 사전 학습 모델을 활용함으로써, 고품질 비디오 프레임 보간을 위한 실용적이고 효율적인 솔루션을 제공합니다.

저자들은 자신들의 접근 방식이 기존 기술의 특정 실패 모드, 즉 선형 플로우 모델의 가속 및 폐쇄 처리 능력 부족과 표준 확산 기반 VFI의 시간적 일관성 결여 문제를 해결한다고 강조합니다. 절제 연구(ablation studies)는 대칭 비선형 모션 모델링과 특정 융합 전략이 다양한 모션 시나리오에서 견고한 결과를 얻기 위한 핵심 구성 요소임을 확인시켜 줍니다. 이 연구는 저수준 시각 작업에서 생성 모델을 안정화하기 위해 명시적인 모션 가이드가 필수적임을 입증하며, 이를 통해 시각적으로 매력적이면서도 시간적으로 일관된 결과를 생성할 수 있게 합니다.