💻 computer science

GeoMag: Geometric-Aware Video Motion Magnification via State Space Model

본 논문은 기존 방법들의 구조적 일관성과 훈련 다양성 관련 한계를 해결하기 위해 새로운 Geo-200K 데이터셋을 지원으로 삼아 전역적 일관성과 선형 복잡도의 증폭을 가능하게 하는 상태 공간 모델을 활용한 기하학적 인식 비디오 모션 증폭 프레임워크인 GeoMag 를 소개합니다.

원저자: Kecheng Han, Yuchen Zhang, Bingqing Liu, Boqiang Guo, Wenbin Zheng, Shiyuan Pei

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kecheng Han, Yuchen Zhang, Bingqing Liu, Boqiang Guo, Wenbin Zheng, Shiyuan Pei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

연필로 쓴 글씨처럼 작은 진동을 가진 벌새의 날개나 진동하는 기계 부품을 담은 동영상이 있다고 상상해 보세요. 맨눈으로는 이러한 움직임이 너무 미세하여 흐릿하게 보이거나 정적 잡음처럼 보일 뿐입니다. **비디오 모션 마그니피케이션 (VMM)**은 이러한 보이지 않는 미세한 흔들림을 확대하여 우리가 볼 수 있도록 해주는"모션 현미경"과 같습니다.

하지만 이러한 미세한 움직임을 확대하는 것은 까다롭습니다. 단순히 움직임의 볼륨만 높인다면"정적 (잡음)"도 함께 증폭되어 종종 이미지가 손상되거나, 물체가 흔들리거나 왜곡되어 보이게 됩니다.

이 논문은 이러한 문제들을 해결하는 새로운 도구인 GeoMag을 소개합니다. 간단한 비유를 통해 그 작동 원리를 설명해 보겠습니다.

1. 문제: "흐릿함 vs. 파손"의 딜레마

이전 방법들은 두 가지 주요 접근 방식을 통해 움직임을 확대하려 했으나, 둘 다 결함이 있었습니다:

국소 탐정 (CNNs): 이는 한 번에 한 방만 살펴보는 탐정과 같습니다. 빠르지만 집 안의 나머지 부분에서 무슨 일이 일어나고 있는지 알지 못합니다. 이로 인해 이미지 일부가 뒤틀리는 국소적 왜곡이 발생합니다.
전체 감시자 (Transformers): 이는 도시 전체를 드론으로 조망하는 탐정과 같습니다. 큰 그림을 완벽하게 보지만, 실행 속도가 너무 느리고 비용이 많이 들어 실시간으로 고화질 동영상을 처리할 수 없습니다.

GeoMag은"골디락스"구역을 찾습니다. 전체 그림을 보면서도 (전체 일관성 유지) 국소 탐정만큼 빠르게 실행됩니다.

2. 비법: "Mamba"엔진

GeoMag 은 **상태 공간 모델 (State Space Model)**이라고 불리는 새로운 유형의 AI 아키텍처 (구체적으로 Mamba라는 변형) 를 사용합니다.

비유: 책을 읽는 상황을 상상해 보세요. 구식 방법 (Transformers) 은 이야기를 이해하기 위해 책의 모든 단어를 한 번에 읽으면서 다른 모든 단어와 비교하려 합니다. 이는 매우 느립니다.
GeoMag 의 접근 방식: 이는 책을 한 줄씩, 단어 단위로 선형적으로 읽지만"선택적 기억"을 가지고 있습니다. 중요한 줄거리 (실제 움직임) 는 기억하고 페이지에 난무한 무작위 낙서 (카메라 잡음) 는 즉시 잊어버립니다. 이를 통해 전체 이야기 (동영상 프레임 전체) 를 이해하면서도 매몰되지 않게 되어 매우 빠르고 효율적입니다.

3. 훈련장: "Geo-200K"

AI 모델은 물건을 깨뜨리지 않고 움직임을 확대하는 법을 배우기 위해 예제로 훈련되어야 합니다.

구식 방법: 대부분의 이전 모델들은 물체가 직선으로만 이동하는 동영상 (예: 앞으로 주행하는 자동차) 으로 훈련되었습니다. 이는 조종사에게 빈 직선 활주로에서만 비행하도록 가르치는 것과 같습니다.
신식 방법 (Geo-200K): 저자들은 Geo-200K라는 거대한 새로운 훈련 데이터셋을 구축했습니다. 물체가 직선으로만 이동하지 않고 회전하고, 비틀리고, 회전하는"가상 놀이터"를 만들었습니다. 또한 입자감과 흐림과 같은 현실적인"카메라 결함"도 추가했습니다.
결과: 마치 그 조종사를 돌풍과 급격한 회전으로 가득 찬 폭풍우 속에서 훈련시키는 것과 같습니다. 이제 GeoMag 이 실제 세계의 동영상에 직면했을 때, 복잡한 움직임이나 카메라 잡음에 놀라지 않습니다. 정확히 어떻게 처리해야 하는지 알고 있습니다.

4. GeoMag 의 작동 방식 (이중 스트림 주방)

이 시스템은 최종 동영상을 요리하기 위해 함께 일하는 두 명의"셰프"를 가지고 있습니다:

셰프 1 (모션 전문가): 이 셰프는 Mamba 엔진을 사용하여 움직이는 부분을 찾습니다. 미세한 움직임을 가져와 증폭 (크게 만들기) 한 후, "선택적 기억"을 사용하여 날카로운 가장자리나 잡음을 부드럽게 만듭니다. 움직이는 물체가 단단하게 유지되고 덩어리로 변하지 않도록 보장합니다.
셰프 2 (디테일 전문가): 이 셰프는 배경과 정적인 디테일 (벽이나 셔츠의 질감 등) 에 집중합니다. 움직임이 커지는 동안 나머지 이미지가 흐려지거나 선명도를 잃지 않도록 하는 것이 그들의 임무입니다.
최종 요리: 그들은 각자의 작업을 결합합니다. 움직임은 크고 선명하지만 배경은 선명하게 유지되고 물체가 녹아내리는 것처럼 보이지 않는 동영상을 얻게 됩니다.

5. 결과

이 논문은 GeoMag 을 기존 최첨단 방법들과 비교하여 테스트했습니다:

더 나은 화질: "아티팩트 (물결무늬나 깨진 모양 같은 기이한 시각적 결함)"가 적은 더 선명한 동영상을 생성합니다.
더 빠른 속도: "전체 감시자 (Transformer)"접근 방식을 사용한 가장 진보된 이전 방법보다 약 5 배 빠릅니다.
더 높은 견고성: 복잡한 Geo-200K데이터셋으로 훈련되었기 때문에, 단순한 직선 운동만으로 훈련된 모델들보다 회전하는 물체와 잡음이 많은 카메라를 훨씬 잘 처리합니다.

요약하자면: GeoMag 은 동영상 속 보이지 않는 움직임을 확대하는 새롭고 빠르며 지능적인 방법입니다. 이는 이미지를 안정적으로 유지하기 위한 교묘한"선택적 기억"시스템과 물체가 회전하거나 카메라가 흔들릴 때도 작동하도록 보장하는 초강력 훈련 데이터셋을 사용합니다.

기술 요약: GeoMag

문제 제기
비디오 모션 증폭 (VMM) 은 구조 분석, 생체의학, 미세 표정 감지 등 다양한 응용 분야에서 "모션 현미경"으로 작용하며 비디오 시퀀스 내에서 지각 불가능한 역학을 드러내는 것을 목표로 합니다. 그러나 핵심적인 과제는 여전히 존재합니다: 구조적 무결성을 훼손하지 않으면서 영상 노이즈와 미묘한 의미 있는 운동을 구별하는 것입니다. 기존 학습 기반 방법들은 구조적 딜레마에 직면해 있습니다. 합성곱 신경망 (CNN) 은 계산 효율성이 높지만 전역 기하학적 일관성에 필요한 장거리 의존성을 결여하여 종종 국소적 왜곡을 초래합니다. 반면, Transformer 기반 접근법은 전역 컨텍스트를 제공하지만 2 차 계산 복잡도로 인해 고해상도 처리가 불가능합니다. 또한, 현재 훈련 프로토콜 (예: LBVMM) 은 단순한 선형 이동에 크게 의존하여 실제 환경에서 발견되는 복잡한 기하학적 변환 (회전, 복합 운동) 및 센서 열화를 포착하지 못해, 단순화된 운동 패턴에 과적합되는 모델을 초래합니다.

방법론
저자들은 선형 계산 복잡도로 전역적으로 일관된 모션 증폭을 달성하기 위해 상태 공간 모델 (SSM), 특히 Mamba 아키텍처를 기반으로 구축된 기하학적 인식 VMM 프레임워크인 GeoMag를 제안합니다.

아키텍처: GeoMag 는 듀얼 스트림 설계를 사용합니다:
1. 주 모션 스트림: 딥 특징 추출기 (DFE) 와 Mamba 기반 시퀀스 인식 (MMSA) 인코더를 활용합니다. 스택된 Vision Mamba 블록으로 구성된 DFE 는 심층 의미 표현을 추출합니다. MMSA 인코더는 2D 선택적 스캔 (Selective Scan) 메커니즘을 사용하여 조작된 특징을 처리합니다. 이 메커니즘은 입력 의존적 선택성을 활용하여 일관된 운동 패턴을 유지하면서 확률적 노이즈를 억제하는 공간 가변 필터 역할을 하여, 선형 복잡도로 전역 일관성을 보장합니다.
2. 정적 특징 정제기 (SFR): 고주파수 텍스처 세부 정보를 보존하고 정적 배경을 안정화하여 딥 인코더에서 흔히 발생하는 미세 세부 정보 손실을 방지하기 위해 얕고 고해상도 특징에서 작동하는 병렬 브랜치입니다.
3. 특징 조작: 기존 위상 기반 방법과 달리 GeoMag 는 잠재 특징 공간에서 직접 운동 미분량을 계산합니다. 이러한 미분량은 증폭 계수 $\alpha$ 로 스케일링된 후 비선형 조작 함수를 거쳐 처리되며, 이후 MMSA 에 의해 정제되고 정적 세부 정보와 융합됩니다.
데이터 합성 (Geo-200K): 기존 훈련 데이터의 한계를 해결하기 위해 저자들은 대규모 합성 데이터셋인 Geo-200K를 구축했습니다. 이 파이프라인은 CocoNut 의 전경 객체와 OpenImages 의 배경을 합성하여 훈련 쌍을 생성합니다. 핵심적으로 다음과 같은 요소를 도입합니다:
- 복잡한 기하학적 변환: 순수 이동, 순수 회전, 그리고 결합된 변환의 혼합 (30%/30%/40% 비율).
- 센서 현실적 열화: 광자 샷 노이즈, 판독 아티팩트, 톤 매핑, 아날로그 - 디지털 변환 양자화를 포함하는 물리 기반 시뮬레이션 파이프라인.
- 운동학적 제약: 물리적 타당성과 수치적 안정성을 보장하기 위한 변위 및 회전에 대한 엄격한 경계.

주요 기여

GeoMag 프레임워크: 기존 CNN 및 Transformer 방법과 비교하여 시각적 아티팩트와 블러를 줄이면서 복잡한 기하학적 운동을 효과적으로 처리하는 상태 공간 모델 기반의 새로운 VMM 아키텍처.
Geo-200K 데이터셋: 복잡한 기하학적 변환과 현실적인 센서 열화를 통합한 대규모 합성 데이터셋으로, VMM 훈련을 위한 다양하고 현실적인 감독을 제공.
종합적 검증: 제안된 프레임워크와 데이터셋이 시각적 충실도와 계산 효율성 측면에서 최첨단 방법들을 능가함을 입증하는 광범위한 실험.

실험 결과

정량적 성능: 4 가지 합성 벤치마크 (이동, 회전, 노이즈, 블러 포함) 에서 Geo-200K 로 훈련된 GeoMag 는 기존 베이스라인을 일관되게 능가했습니다. 특히 비선형 회전 하에서 구조적 강성을 견디지 못했던 STB-VMM 및 EulerMormer 와 같은 Transformer 기반 베이스라인과 비교하여, 회전이 주를 이루는 Synthetic-II 데이터셋에서 GeoMag 는 가장 낮은 LPIPS(0.16) 와 RMSE 를 달성하여 현저히 우수한 성능을 보였습니다.
효율성: GeoMag 는 성능과 비용 간의 유리한 균형을 이룹니다. 300 프레임 720p 비디오를 처리하는 데 STB-VMM(1584G) 보다 약 5 배 적은 GFLOPs(296.1G) 를 필요로 하며, 처리 시간은 STB-VMM 의 31.6 초 및 EulerMormer 의 50.0 초에 비해 13.9 초입니다.
정성적 분석: 실제 환경 비디오 (예: 아기의 호흡, 엔진 진동, 로터 회전) 에 대한 시각적 비교에서 GeoMag 는 기존 방법들보다 구조적 연속성을 더 잘 보존합니다. 이는 수동으로 설계된 필터의 링잉 아티팩트, CNN 의 텍스처 블러, 그리고 어텐션 기반 모델에서 관찰되는 기하학적 불일치 (공간적 불연속성) 를 피합니다.
애블레이션 연구: SFR 모듈을 제거하면 RMSE 가 24.22 에서 29.42 로 현저히 저하되어 정적 영역을 안정화하는 데 그 필요성이 확인되었습니다. Mamba 백본을 CNN 또는 Transformer 변형으로 교체하면 성능이 현저히 낮아져 SSM 기반 설계의 유효성이 입증되었습니다.

의의
본 논문은 GeoMag 가 비디오 모션 증폭에서 장거리 의존성 모델링과 계산 비용 간의 트레이드오프에 대한 통합된 해결책을 제공한다고 주장합니다. 선택적 스캐닝을 통해 상태 공간 모델을 통합함으로써, 이 프레임워크는 Transformer 의 2 차 복잡도 없이 전역 기하학적 일관성을 포착합니다. furthermore, Geo-200K 의 도입은 데이터 품질의 중요한 병목 현상을 해결하여 복잡한 실제 세계 운동학과 영상 물리를 시뮬레이션하는 고품질 데이터 기반을 제공합니다. 저자들은 이 작업을 효율적인 모션 증폭 연구에 대한 강력한 벤치마크로 위치시키며, 상당한 계산 자원 감소로도 우수한 시각적 충실도를 달성할 수 있음을 입증합니다.