💻 computer science

GeoMag: Geometric-Aware Video Motion Magnification via State Space Model

本論文は、既存の手法が抱える構造的整合性と訓練の多様性に関する課題に対処するため、State Space モデルを活用して構造的整合性を保ちながら線形計算量で動作増幅を実現する幾何学的知覚型動画増幅フレームワーク「GeoMag」を提案し、これを支える新たな Geo-200K データセットを導入するものである。

原著者： Kecheng Han, Yuchen Zhang, Bingqing Liu, Boqiang Guo, Wenbin Zheng, Shiyuan Pei

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kecheng Han, Yuchen Zhang, Bingqing Liu, Boqiang Guo, Wenbin Zheng, Shiyuan Pei

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ハチドリのはばたきや振動する機械部品を撮影した動画を想像してみてください。肉眼では、これらの動きはあまりにも微小で、ぼやけや単なるノイズのように見えます。ビデオモーションマグニフィケーション（VMM） は、これらの目に見えない揺れを巨大化させて見えるようにする「モーション顕微鏡」のようなものです。

しかし、これらの微小な動きを大きくすることは困難です。単に動きの音量を上げれば、同時に「静電ノイズ」も増幅され、画像が破綻して、ぐらつきや歪みが生じることがよくあります。

本論文は、これらの問題を解決する新しいツールGeoMagを紹介しています。その仕組みを、簡単なアナロジーを用いて説明します。

1. 問題点：「ぼやけか破綻か」というジレンマ

従来の手法は、主に 2 つのアプローチでモーションを拡大しようとしましたが、どちらも欠点がありました。

局所的な探偵（CNN）： これらは、一度に 1 つの小さな部屋だけを見る探偵のようなものです。高速ですが、家の他の部分で何が起きているかは知りません。その結果、画像の一部が歪んで見える局所的な歪みが生じます。
グローバルな監視者（Transformer）： これらは、街全体をドローン視点で見る探偵のようなものです。全体像を完璧に捉えますが、実行には非常に時間とコストがかかり、リアルタイムで高解像度動画を処理できません。

GeoMag は「ジャストサイズ」の領域を見つけます。全体像（グローバルな整合性）を捉えつつ、局所的な探偵と同じ速度で動作します。

2. 秘密の武器：「Mamba」エンジン

GeoMag は、状態空間モデル（特にMambaと呼ばれる変種）と呼ばれる新しいタイプの AI アーキテクチャを使用します。

アナロジー： 本を読むことを想像してください。従来の手法（Transformer）は、物語を理解するために、すべての単語を一度に読み、他のすべての単語と比較しようとします。これは遅いです。
GeoMag のアプローチ： これは本を線形的に、単語ごとに読み進めますが、「選択的記憶」を持っています。重要なプロットのポイント（実際の動き）を記憶し、ページ上の無作為な落書き（カメラノイズ）を即座に忘れます。これにより、全体像（動画のフレーム全体）を理解しながらも、足踏みすることなく、驚くほど高速かつ効率的に動作します。

3. 訓練の場：「Geo-200K」

AI モデルは、破綻させずにモーションを拡大する方法を学ぶために、例を用いた訓練が必要です。

従来の方法： ほとんどの従来のモデルは、物体が直線的に動く（例えば車が前進する）動画で訓練されていました。まるで、パイロットを直線で空いた滑走路でのみ飛行するように教えるようなものです。
新しい方法（Geo-200K）： 著者らは、Geo-200Kと呼ばれる大規模な新しい訓練データセットを構築しました。そこでは、物体が直線的に動くだけでなく、回転、ねじれ、旋回を行います。また、粒状化やぼやけといった現実的な「カメラの故障」も追加されました。
結果： まるで、そのパイロットを突風や鋭い旋回を伴う嵐の中で訓練したようなものです。これで、GeoMag は現実世界の動画に直面した際、複雑な動きやカメラノイズに驚くことはありません。それらをどのように処理すべきか正確に知っています。

4. GeoMag の仕組み（2 ストリームキッチン）

このシステムは、最終的な動画を調理するために協力する 2 人の「シェフ」を持っています。

シェフ 1（モーション専門家）： このシェフは Mamba エンジンを使用して動く部分を見つけます。微小な動きを取り出し、増幅（大きく）し、その後「選択的記憶」を使用して、ギザギザの縁やノイズを滑らかにします。動く物体が剛体であり、かたまりに変化しないことを保証します。
シェフ 2（ディテール専門家）： このシェフは背景や静的な詳細（壁の質感やシャツなど）に焦点を当てます。動きが大きくなる一方で、残りの画像がぼやけたり鮮明さを失ったりしないようにすることが役割です。
最終的な料理： 彼らはそれぞれの作業を組み合わせます。その結果、動きは大きくて明確ですが、背景は鮮明で、物体が溶けているようには見えない動画が得られます。

5. 結果

本論文は、GeoMag を既存の最良の手法と比較してテストしました。

より高い品質： 「リップル」や「破れた形状」などの奇妙な視覚的アーティファクトが少ない、より明確な動画を生成します。
高速化： 「グローバルな監視者（Transformer）」アプローチを使用した最も高度な従来の手法よりも、約5 倍高速です。
より高い堅牢性： 複雑なGeo-200Kデータセットで訓練されたため、単純な直線運動のみで訓練されたモデルよりも、回転する物体やノイズの多いカメラへの対応がはるかに優れています。

まとめ： GeoMag は、動画内の目に見えない動きをズームインするための、新しく、高速で、賢い方法です。画像を安定させるための巧妙な「選択的記憶」システムと、回転やカメラの揺れがある場合でも機能することを保証するための超強化された訓練データセットを使用しています。

技術概要：GeoMag

問題定義
ビデオモーションマグニフィケーション（VMM）は、構造的解析、生体医学、微表情検出などの応用において、「運動顕微鏡」として機能し、ビデオシーケンス内の知覚不可能なダイナミクスを可視化することを目的としています。しかし、構造的完全性を損なうことなく、微小で意味のある運動をイメージングノイズから区別するという核心的な課題が残っています。既存の学習ベースの手法は構造的なジレンマに直面しています。畳み込みニューラルネットワーク（CNN）は計算効率が優れていますが、大域的な幾何学的整合性に必要な長距離依存性を欠いており、局所的な歪みを引き起こす傾向があります。一方、トランスフォーマーベースのアプローチは文脈を大域的に捉えますが、二次的な計算複雑性を伴うため、高解像度処理は実用的ではありません。さらに、現在のトレーニングプロトコル（例：LBVMM）は単純な線形変換に大きく依存しており、現実のシナリオで見られる複雑な幾何学的変換（回転、複合運動）やセンサーの劣化を捉えられていないため、単純化された運動パターンに過剰適合するモデルが生成されます。

手法
著者は、大域的に整合した運動増幅を線形計算複雑性で実現するために、状態空間モデル（SSM）、特に Mamba アーキテクチャを基盤とした幾何学的認識型 VMM フレームワーク「GeoMag」を提案します。

アーキテクチャ: GeoMag はデュアルストリーム設計を採用しています。
1. 主運動ストリーム: 深層特徴抽出器（DFE）と Mamba ベースのシーケンス認識（MMSA）エンコーダーを使用します。DFE はスタックされた Vision Mamba ブロックで構成され、深層意味表現を抽出します。MMSA エンコーダーは、2D 選択的スキャン機構を用いて操作された特徴を処理します。この機構は、入力依存の選択性を活用して一貫した運動パターンを保持しつつ確率的ノイズを抑制する空間可変フィルタとして機能し、線形複雑性で大域的整合性を保証します。
2. 静的特徴リファイナー（SFR）: 浅く高解像度の特徴に対して並列に動作するブランチであり、高周波テクスチャの詳細を保持し、静的背景を安定化させ、深層エンコーダーで一般的に見られる微細な詳細の損失を防ぎます。
3. 特徴操作: 従来の位相ベースの手法とは異なり、GeoMag は潜在特徴空間で直接運動微分を計算します。これらの微分は増幅係数 $\alpha$ によってスケーリングされ、非線形操作関数で処理された後、MMSA によって精緻化され、静的詳細と融合されます。
データ合成（Geo-200K）: 既存のトレーニングデータの限界に対処するため、著者は大規模合成データセット「Geo-200K」を構築しました。このパイプラインは、CocoNut から前景オブジェクトを、OpenImages から背景を合成してトレーニングペアを生成します。重要なのは、以下の要素を導入している点です。
- 複雑な幾何学的変換: 純粋な並進、純粋な回転、および複合変換の組み合わせ（比率 30%/30%/40%）。
- センサー現実的劣化: 光子ショットノイズ、読み出しアーティファクト、トーンマッピング、およびアナログ - デジタル変換量子化を含む物理ベースのシミュレーションパイプライン。
- 運動学的制約: 物理的妥当性と数値的安定性を確保するための、変位と回転の厳密な境界。

主な貢献

GeoMag フレームワーク: 状態空間モデルに基づく新規 VMM アーキテクチャであり、既存の CNN およびトランスフォーマー手法と比較して、複雑な幾何学的運動を効果的に処理しつつ、視覚的アーティファクトやぼやけを低減します。
Geo-200K データセット: 複雑な幾何学的変換と現実的なセンサー劣化を組み込んだ大規模合成データセットであり、VMM トレーニングのための多様で現実的な監督を提供します。
包括的検証: 提案されたフレームワークとデータセットが、視覚的忠実度と計算効率において最先端の手法を上回ることを示す広範な実験。

実験結果

定量的性能: 並進、回転、ノイズ、ぼやけを網羅する 4 つの合成ベンチマークにおいて、Geo-200K でトレーニングされた GeoMag は既存のベースラインを一貫して上回りました。特に、回転が支配的な Synthetic-II データセットでは、GeoMag は最低の LPIPS（0.16）と RMSE を達成し、非線形回転下での構造的剛性に苦慮した STB-VMM や EulerMormer などのトランスフォーマーベースのベースラインを大幅に凌駕しました。
効率性: GeoMag は性能とコストの間の好ましいトレードオフを達成します。STB-VMM（1584G）と比較して約 5 倍少ない GFLOPs（296.1G）で、300 フレームの 720p ビデオを 13.9 秒で処理します。これに対し、STB-VMM は 31.6 秒、EulerMormer は 50.0 秒を要します。
定性的分析: 現実世界のビデオ（赤ちゃんの呼吸、エンジンの振動、ローターの回転など）での視覚的比較により、GeoMag が先行手法よりも構造的連続性をよりよく保持することが示されました。手作業のフィルタのリンギングアーティファクト、CNN のテクスチャのぼやけ、アテンションベースモデルで見られる幾何学的不整合（空間的不連続性）を回避しています。
アブレーション研究: SFR モジュールを除去すると RMSE が顕著に劣化（24.22 から 29.42 へ）し、静的領域の安定化におけるその必要性が確認されました。Mamba バックボーンを CNN やトランスフォーマーのバリエーションに置き換えると性能が大幅に低下し、SSM ベースの設計の有効性が検証されました。

意義
本論文は、GeoMag がビデオモーションマグニフィケーションにおける長距離依存性モデリングと計算コストのトレードオフに対する統一された解決策を提供すると主張しています。選択的スキャンを備えた状態空間モデルを統合することで、トランスフォーマーの二次的複雑性なしに大域的幾何学的整合性を捉えます。さらに、Geo-200K の導入はデータ品質という重要なボトルネックに対処し、複雑な現実世界の運動学とイメージング物理をシミュレートする高品質なデータ基盤を提供します。著者は、この研究を効率的な運動増幅研究のための強力なベンチマークとして位置づけ、大幅に削減された計算資源で優れた視覚的忠実度が達成可能であることを実証しています。