Trajectory-aware Shifted State Space Models for Online Video Super-Resolution

이 논문은 기존 온라인 비디오 초해상도 방법의 장기 시간 모델링 한계를 극복하고, 궤적 기반 토큰 선택과 힐베르트 스캐닝을 활용한 시프트 상태 공간 모델 (TS-Mamba) 을 도입하여 정확도와 효율성을 동시에 개선한 새로운 아키텍처를 제안합니다.

핵심

이 논문은 **"TS-Mamba"**라는 새로운 기술을 소개합니다. 이 기술은 흐릿하거나 낮은 화질의 동영상을 실시간으로 선명하게 만들어주는 '비디오 초해상도 (Video Super-Resolution)' 분야에서 혁신을 이뤘습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: 흐릿한 라이브 방송을 선명하게 하려면?

생각해 보세요. 라이브 방송을 보고 있는데 화면이 깨지거나 흐릿합니다. 화질을 높여주려면, 현재 보고 있는 프레임 (화면) 에만 집중하면 안 됩니다. 이전 몇 초 동안의 영상 흐름을 봐야 어떤 부분이 움직였는지, 어떤 디테일이 숨어 있는지 알 수 있죠.

하지만 기존 기술들은 두 가지 큰 문제가 있었습니다:

1. 너무 느리거나 무거움: 모든 이전 프레임을 다 분석하려면 컴퓨터가 너무 많은 일을 해야 해서 실시간 방송에는 적합하지 않았습니다.
2. 기억력이 짧음: 바로 앞의 한 두 프레임만 보고 판단하다 보니, 멀리서 움직이는 물체의 흐름을 놓치거나 흐릿하게 처리했습니다.

2. TS-Mamba 의 해결책: "유능한 나침반"과 "지혜로운 정리꾼"

이 논문은 TS-Mamba라는 두 가지 핵심 아이디어로 이 문제를 해결했습니다.

① '궤적 (Trajectory)'을 따라가는 나침반

기존 기술들은 "이전 프레임의 모든 픽셀을 다 찾아보자"라고 무작정 헤맸습니다. 하지만 TS-Mamba 는 **"이 물체가 어디로 움직였을까?"**라는 **궤적 (Trajectory)**을 먼저 그립니다.

• 비유: 도서관에서 책을 찾을 때, 모든 책장을 뒤지는 게 아니라, "이 책은 저쪽 3 층에 있을 거야"라고 **나침반 (궤적)**을 이용해 가장 관련 있는 책 (픽셀) 만 골라내는 것과 같습니다.
• 효과: 불필요한 정보를 다 처리하지 않고, 가장 중요한 정보만 골라내므로 속도가 매우 빨라집니다.

② '시프트 (Shifted)'된 Mamba: 구석구석 살피는 정리꾼

여기서 'Mamba'는 정보를 처리하는 아주 똑똑한 AI 모델입니다. 하지만 Mamba 는 영상을 1 차원 줄로 만들어 읽기 때문에, 2 차원인 영상의 **공간적 연결성 (이웃 픽셀 간의 자연스러운 관계)**이 끊어질 수 있는 단점이 있습니다.

• 비유: 책장을 정리할 때, 한 줄로만 읽으면 책장 왼쪽과 오른쪽의 연결이 끊겨 보일 수 있습니다.
• 해결책 (TS-Mamba): 이 논문은 **"시프트 (Shift)"**라는 기술을 썼습니다. 책을 읽을 때 한 번은 왼쪽에서 오른쪽으로, 또 한 번은 약간 비켜서서 (Shift) 다시 읽는 방식입니다.
• 효과: 이렇게 **네 가지 다른 방향과 이동 (Shift)**을 조합해서 읽으면, Mamba 가 영상의 구석구석을 놓치지 않고 자연스럽게 연결할 수 있게 됩니다. 마치 미로에서 길을 찾을 때 여러 방향으로 시선을 돌려 길을 찾는 것과 같습니다.

3. 왜 이것이 대단한가요?

이 기술은 화질은 최고로 유지하면서, 컴퓨터의 작업량 (복잡도) 은 22.7% 이상 줄였습니다.

• 기존: "모든 것을 다 계산해서 화질을 높이자." → 화질은 좋지만 컴퓨터가 과부하 걸림 (실시간 불가).
• TS-Mamba: "가장 중요한 정보 (궤적) 만 골라내고, 효율적으로 정리하자." → 화질은 기존 최고 수준과 비슷하거나 더 좋으면서, 컴퓨터는 훨씬 가볍게 작동함.

4. 요약: 한 문장으로 정리하면?

"TS-Mamba 는 흐릿한 라이브 영상을 볼 때, '물체의 움직임을 예측하는 나침반'으로 중요한 정보만 골라내고, '여러 각도에서 비켜서 보는 눈'으로 정보를 자연스럽게 연결하여, 화질은 선명하게 유지하면서 실시간으로 처리할 수 있게 만든 똑똑한 AI 기술입니다."

이 기술이 상용화되면, 우리가 화상 회의나 라이브 방송을 볼 때 더 선명하고 끊김 없는 고화질 영상을 더 가볍고 빠르게 즐길 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 온라인 비디오 초해상도 (Online VSR) 의 한계: 실시간 비디오 회의 및 생중첩 등 온라인 애플리케이션에서는 낮은 지연 시간과 낮은 계산 복잡도가 필수적입니다. 기존 온라인 VSR 방법들은 주로 단일 이전 프레임만을 사용하여 시간적 정렬 (temporal alignment) 을 수행합니다. 이는 장거리 시간적 모델링 (long-range temporal modeling) 을 제한하여 재구성 품질의 향상을 막는 요인이 됩니다.
• 기존 모델의 복잡도 문제: 장거리 정보를 활용하는 기존 방법들 (Transformer, Diffusion 모델, Deformable Conv 등) 은 높은 성능을 보이지만, 계산 복잡도가 매우 높아 실시간 온라인 애플리케이션에 적용하기 어렵습니다.
• Mamba (SSM) 의 한계: 최근 선형 계산 복잡도와 전역 수용 영역 (global receptive field) 을 가진 상태 공간 모델 (SSM, 예: Mamba) 이 제안되었으나, 기존 Mamba 기반 비디오 처리 방법들은 Hilbert 스캐닝 등의 과정에서 발생하는 **공간적 불연속성 (spatial discontinuity)**을 충분히 보상하지 못하거나, 반복적인 스캐닝으로 인해 복잡도가 증가하는 문제가 있었습니다.

2. 제안 방법론: TS-Mamba (Methodology)

저자들은 **궤적 인식 시프트 상태 공간 모델 (Trajectory-aware Shifted State Space Models, TS-Mamba)**을 제안하여 효율적인 시공간 정보 집합을 달성했습니다.

2.1. 핵심 구성 요소

1. 궤적 기반 토큰 선택 (Trajectory-based Token Selection):

   • 비디오 내의 토큰 (token) 궤적을 먼저 구축합니다.
   • 현재 프레임의 토큰과 가장 유사한 토큰을 이전 프레임들의 궤적을 따라 선택합니다. 이를 통해 장거리 시간적 정보를 효율적으로 필터링하고 집합합니다.
   • 토큰 선택의 정확도를 높이기 위해 **궤적 인식 손실 함수 (Trajectory-aware loss)**를 도입하여 학습 시 궤적 생성을 감독합니다.

2. 궤적 인식 시프트 Mamba 집합 (TSMA) 모듈:

   • 선택된 토큰과 현재 프레임 토큰을 집합하기 위해 TSMA 모듈을 사용합니다.
   • Shifted SSMs 블록 (S-SSMs): Hilbert 스캐닝의 한계를 극복하기 위해 제안된 핵심 블록입니다.
     • Hilbert 스캐닝의 불연속성 분석: Hilbert 스캐닝은 윈도우 내부 (intra-window) 와 윈도우 간 (inter-window) 에서 공간적 불연속성을 발생시킵니다.
     • 스캔 - 시프트 - 스캔 (Scan-Shift-Scan) 전략: 표준 SSM 블록과 제안된 S-SSM 블록을 병렬로 구성합니다. S-SSM 블록은 Hilbert 스캐닝과 특정 **시프트 연산 (Shift operations, 예: Up, Left, Down 등)**을 결합하여 불연속성을 보상합니다.
     • 보상 분기: 윈도우 내부 불연속성 보상 (IntraWCB) 과 윈도우 간 불연속성 보상 (InterWCB) 을 위한 두 가지 병렬 분기를 설계하여 공간적 연속성을 강화합니다.

3. 시간 차원 선택적 스캐닝 (SS3D):

   • 공간적 Hilbert 스캐닝을 기반으로 시간 차원을 따라 선택적 스캐닝을 수행하여, 시공간적으로 인접한 픽셀 정보를 1D 토큰 시퀀스로 변환하고 장거리 시공간 특성을 포착합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 SSM 기반 온라인 VSR 모델: 기존 CNN 기반의 단일 이전 프레임 의존에서 벗어나, 토큰 수준에서 장거리 시공간 정보를 집합하는 최초의 SSM 기반 온라인 VSR 모델입니다.
2. 비디오 궤적과 Mamba 의 결합: 비디오 궤적을 도입하여 이전 프레임 중 가장 유사한 토큰을 선택하고, 이를 기반으로 효율적인 토큰 수준 시공간 집합을 수행하는 새로운 아키텍처를 제안했습니다.
3. 불연속성 보상을 위한 시프트 SSM 블록: Hilbert 스캐닝의 불연속성을 보상하고 Mamba 의 국소적 공간 연속성을 강화하기 위해 4 가지 시프트 연산과 Hilbert 스캐닝을 결합한 새로운 블록을 설계했습니다.
4. 효율성과 성능의 동시 달성: 계산 복잡도를 크게 줄이면서도 최첨단 (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: REDS4, Vid4, Vimeo-90K-T 등 3 개의 널리 사용되는 VSR 테스트 데이터셋에서 평가되었습니다.
• 성능: 6 개의 온라인 VSR 벤치마크 모델 (BasicVSR++, FDAN, KSNet, TMP 등) 과 비교하여 대부분의 경우 **최고의 성능 (SOTA)**을 기록했습니다.
  • REDS4 데이터셋에서 PSNR 30.73 dB, SSIM 0.8727 을 달성했습니다.
• 복잡도 감소:
  • 기존 SOTA 모델 대비 MACs (Multiply-Accumulate Operations) 기준 약 22.7% 이상 복잡도가 감소했습니다.
  • 파라미터 수는 약 3.0M 로 유지되면서 높은 효율성을 보였습니다.
• 실시간성: 720p 비디오 처리 시 33.5 FPS 를 달성하여 실시간 (Real-time) 요구사항을 충족했습니다. (TMP 보다 약간 느리지만 MACs 는 훨씬 낮음)
• Ablation Study: 궤적 생성, 궤적 손실 함수, Intra/Inter 윈도우 보상 분리, 시프트 연산 등 각 구성 요소가 성능 향상에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 온라인 비디오 초해상도 분야에서 효율성과 성능의 트레이드오프를 해결하는 중요한 진전을 이루었습니다.

• 실시간 적용 가능성: 높은 계산 복잡도 없이 장거리 시간적 의존성을 모델링할 수 있어, 저지연 실시간 비디오 처리 애플리케이션에 매우 적합합니다.
• SSM 의 시각적 작업 확장: Mamba 와 같은 상태 공간 모델이 비디오 처리, 특히 공간적 연속성이 중요한 VSR 작업에서 어떻게 효과적으로 적용될 수 있는지에 대한 새로운 패러다임을 제시했습니다.
• 향후 연구 방향: 궤적 기반 토큰 선택과 시프트 스캐닝 전략은 다른 비디오 이해 작업 (Video Inpainting, Interpolation 등) 으로 확장될 수 있는 잠재력을 가지고 있습니다.

요약하자면, TS-Mamba는 기존 온라인 VSR 방법의 단거리 정보 의존성과 고비용 문제를 해결하기 위해, 비디오 궤적과 시프트된 상태 공간 모델을 결합하여 높은 성능과 낮은 계산 비용을 동시에 달성한 혁신적인 모델입니다.