기술 요약: MotionCraft

문제 정의

비디오 초해상도(Video Super-Resolution, VSR)는 저해상도 입력을 바탕으로 고충실도, 고해상도 비디오 시퀀스를 재구성하는 것을 목표로 한다. 모바일 사진술부터 아카이브 복원에 이르기까지 다양한 응용 분야에서 매우 중요하지만, 기존 방법들은 국부적 세부 사항의 충실도(local-detail fidelity), 장거리 시공간 모델링, 지각적 사실성(perceptual realism), 그리고 계산 효율성 사이의 근본적인 트레이드오프 문제에 직면해 있다.

• 합성곱(Convolutional) 접근 방식은 국부적 구조를 보존하지만, 움직임이 크거나 열화가 복잡할 때 정렬 오류(misalignment errors)가 발생하기 쉽다.
• 트랜스포머(Transformer) 기반 방법은 장거리 의존성을 포착하지만, 이차 복잡도(quadratic complexity)로 인해 고해상도 또는 긴 시퀀스 처리에 있어 과도한 계산 비용을 초래한다.
• 생성적(잠재/확산) 방법은 풍부한 질감을 합성하지만, 시간적 일관성(temporal coherence)을 유지하는 데 어려움을 겪는 경우가 많으며 프레임 간 불연속성을 방지하기 위한 특수한 컨디셔닝이 필요하다.

나아가, 현재의 시스템들은 종종 폐쇄(occlusion) 영역이나 질감이 없는 영역에서 실패하는 외부 움직임 단서(예: 광학 흐름/optical flow)에 의존하며, 이는 시간적 불일치를 유발한다. 견고한 움직임 처리, 효율적인 장거리 모델링, 그리고 스트리밍 맥락에서의 매끄러움(smoothness)과 충실도(fidelity) 사이의 사용자 제어 가능한 트레이드오프를 동시에 제공하는 프레임워크는 부족한 실정이다.

방법론

MotionCraft는 월드 모델(world models)에서 영감을 받아 비디오 복원을 **움직임 인식 잠재 상태 예측(motion-aware latent state prediction)**으로 정식화한다. 이 모델은 압축된 잠재 공간 내에서 작동하며, 엄격하게 인과적(strictly causal)이고 스트리밍 가능한 추론을 위해 설계되었다. 프레임워크는 네 가지 핵심 구성 요소로 이루어져 있다.

1. 인과적 움직임 인코딩 및 신뢰도 기반 융합

외부 움직임 추정치에만 전적으로 의존하는 대신, MotionCraft는 두 가지 움직임 스트림을 융합한다:

• 외부 움직임(External Motion): 인과적 이력(causal history)에 걸쳐 외부 단서(예: 광학 흐름)로부터 집계된 정보.
• 내부 움직임(Internal Motion): 저해상도 인코더를 통해 관찰된 이미지 이력으로부터 직접 추출된 정보.
• 신뢰도 게이팅(Reliability Gating): 광도 불일치(photometric inconsistency) 검사를 통해 위치별 외부 움직임 단서의 품질을 평가한다. 융합을 제어하기 위해 신뢰도 맵($c_t$)이 생성되어 외부 브랜치와 내부 브랜치의 가중치를 조절한다. 또한, 소형 잔차 보정기(compact residual corrector)가 외부 움직임의 체계적인 편향을 보정한다.

2. 적응형 희소 어텐션(Adaptive Sparse Attention)을 갖춘 잠재 월드 트랜스포머(Latent World Transformer, LWT)

핵-단위 프로세싱 유닛은 저해상도 입력으로부터 고해상도 잠재 상태를 예측하는 잠재 월드 트랜스포머이다.

• 적응형 희소 어텐션: 이차 복잡도를 피하기 위해 공간 토큰을 블록 단위로 분할한다. 모델은 훈련 시에는 미분 가능한 소프트 top-k 선택을 사용하고, 추론 시에는 하드 top-k 검색을 사용한다. 이 메커니즘은 국부적 문맥을 보존하면서도, 국부성과 표적화된 비국부적 상호작용 사이의 균형을 맞추며 소수의 매우 관련성 높은 원격 블록을 선택적으로 검색한다.
• 인과적 메모리: 키-값 메모리 캐시($M_{t-1}$)는 이전 프레임의 요약본을 저장하여 엄격한 인과성(미래 프레임의 선행 참조 없음)을 보장한다.

3. 제어 인터페이스(Controllability Interface)

MotionCraft는 디코딩 전 잠재 상태를 조절할 수 있는 명시적이고 사용자 접근 가능한 인터페이스를 도입한다.

• 글로벌 스칼라($\gamma$) 및 공간 게이트($g_t$): 이러한 파라미터들을 통해 사용자는 시간적 매끄러움과 재구성 충실도 사이의 균형을 동적으로 조절할 수 있다. $\gamma$를 높이면 PSNR은 점진적으로 감소하지만 움직임의 매끄러움은 단조 증가하며, 예측 가능한 트레이드오프를 제공한다.

4. 조건부 디코딩 및 훈련

• 소형 조건부 디코더: 압축된 디코더는 예측된 잠재 상태와 현재의 저해상도 입력을 사용하여 고해상도 프레임을 재구성한다.
• 증류(Distillation): 디코더는 더 강력한 교사 모델(teacher model)로부터 증류를 통해 정교해지며, 픽셀 공간의 감독을 유지하면서 미세한 디테일을 전달한다.
• 훈련 목적 함수: JEPA 스타일의 표현 손실(representation loss), 잠재 증류, 흐름 기반 시간적 일관성 손실, 재구성 손실, 지각 손실(perceptical loss), 그리고 적대적 손실(adversarial loss)의 조합을 사용하여 훈련된다. 훈련은 밀집된 교사 모델이 희소-인과적 학생 모델로 증류되는 커리큘럼을 따른다.

주요 기여

1. 통합된 움직임 인식 잠재 예측: 본 논문은 움직임 인식 예측을 신뢰도 기반 희소 어텐션과 결합한다. 움직임 보정과 어텐션을 별개로 취급하는 기존 연구들(예: RealBasicVSR, RealViFormer)과 달리, MotionCraft는 신뢰도 게이팅과 블록 선택을 결합하여 움직임의 품질이 비국부적 검색에 직접 영향을 미치도록 한다.
2. 적응형 희소 어텐션 메커니즘: 국부성을 보존하면서 원격 블록을 검색하는 새로운 어텐션 설계를 통해, 고해상도 스트리밍을 위한 계산 가능성을 확보함과 동시에 움직임 브랜치와 공동 최적화한다.
3. 압축된 제어 인터페이스: 글로벌 스칼라와 공간 게이트를 통해 매끄러움-충실도 트레이드오프에 대한 미세한 사용자 수준 제어를 가능하게 하는 메커즘을 제공하며, 이는 기존 VSR 프레임워크에서는 거의 찾아볼 수 없는 기능이다.
4. 스트리밍 최적화 아키텍처: 키-값 캐시와 희소 어텐션을 활용하여 미래 프레임의 선행 참조 없이 엄격하게 인과적인 추론을 수행하도록 설계되어, 효율적인 실시간 처리를 가능하게 한다.

실험 결과

MotionCraft는 여러 데이터셋(UDM10, MovieLQ, YouHQ40, REDS, SPMCS, VideoLQ, AIGC30)에서 최신 기술(RealBasicVSR, RealViFormer, Upscale-A-Video, STAR, SeedVR, FlashVSR 포함)을 대상으로 평가되었다.

• 재구성 충실도: MotionCraft는 모든 데이터셋에서 우수한 PSNR 및 SSIM 점수를 달성했다. 예를 들어, REDS 데이터셋에서 27.05 dB PSNG 및 0.805 SSIM에 도달하여 차순위 방법(RealViFormer, 25.96 dB)을 능가했다.
• 지각적 품질: 모델은 무참조 지표(MUSIQ, CLIP-IQA, DOVER)에서 유의미한 개선을 보였으며, 워핑 에러($E^*_{warp}$)를 감소시켜 더 나은 시간적 일관성과 질감 합성을 입증했다.
• 시간적 안정성: 정량적 분석 결과, 베이스라인 모델들에 비해 낮은 시간적 아티팩트 발생률과 높은 흐름 일치도를 보였다. 모델은 외부 움직임 추정기(예: RAFT에서 GMFlow로 변경)가 교체되어도 성능 저하가 미미할 정도로 견고함을 유지했다.
• 효율성: 768×1408 해상도의 비디오에 대해 MotionCraft는 비교 대상 중 가장 높은 처리량(18.63 FPS)과 가장 낮은 피크 메모리 소비량(10.25 GB)을 달면서도 경쟁력 있는 파라미터 수(~1.7B)를 유지했다.
• 절제 연구(Ablation Studies): 단계적 절제 연구를 통해 움직임 인식 융합, 적응형 희소 어텐션, 그리고 제어 인터페이스가 각각 충실도, 안정성 및 사용자 제어에 긍정적으로 기여함을 확인했다.

의의 및 주장

본 논문은 MotionCraft가 고품질 VSR을 일상적인 스트리밍 환경에서 실행 가능하게 만드는 결정적인 장벽들을 해결한다고 주장한다. 움직임 인식 잠재 상태 예측 문제로 복원 문제를 정식화함으로써, 이 프레임워크는 견고한 움직임 추정, 효율적인 장거리 모델링, 그리고 명시적인 사용자 제어를 단일 파이프라인에 성공적으로 통합했다.

저자들은 이 시스템이 시간적 매끄러움과 재구성 충실도 사이의 예측 가능한 트레이드오프를 가능하게 한다는 점을 강조한다. 이는 품질이나 효율성 중 하나를 희생하지 않고는 달성하기 어려웠던 기능이다. "월드 모델"에서 영감을 얻은 접근 방식은 전체 어텐션의 막대한 계산 부담이나 표준 확산 모델의 확률적 불연속성 없이도 시간적 일관성을 유지할 수 있게 한다. 이 연구는 MotionCraft를 실제 환경에서의 고충실도 시각 업스케일링을 위한 실용적이고 효율적이며 상호작용 가능한 제어가 가능한 솔루션으로 자리매김한다.