💻 computer science

BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

本論文は、低照度および水中動画におけるノイズ、低コントラスト、色バランスの偏りを効率的に解決しつつ、既存のトランスフォーマーおよび畳み込みベースの手法と比較して計算リソースを大幅に削減する視覚状態空間モデルを活用した新しい動画強化フレームワークであるBVI-Mambaを導入する。

原著者： Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

映画を観ようとしていると想像してください。しかし、画面は霧に覆われ、色はくすんでおり、映像は揺れています。これが、カメラが非常に暗い場所（夜の洞窟など）や水中（光が散乱し吸収される場所）で記録しようとする際に起こる現象です。その結果得られる動画は、しばしばザラつき、ぼやけ、理解しにくいものになります。

本論文は、これらの乱れた動画を修正するための新しいツール「BVI-Mamba」を紹介しています。これは、新しい種類の人工知能の脳を用いて、映像を迅速かつ効率的に修復する「スマートな動画修復装置」と考えてください。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 問題点：古い AI の「重いバックパック」

以前、これらの動画を修正するには、まるで重いバックパックのような AI モデルが必要でした。これらは非常に強力でしたが、メモリを大量に消費し、実行にも時間がかかりました。特に、動画（単に長い一連の画像の集まり）にとっては顕著でした。

旧来の手法は、まるで 1 フレームずつ見て映画全体を修復しようとするか、巨大で動きの遅いロボットを使ってフレームを比較しようとするようなものでした。
**新しい手法（BVI-Mamba）**は、軽量で敏捷なランナーのようです。これは「ビジュアル・ステート・スペース（Visual State Space）」、あるいは「Mamba」と呼ばれる新しい AI アーキテクチャを使用しています。これにより、疲れを感じたり巨大なコンピュータを必要としたりすることなく、長い動画のシーケンスを処理することが可能になります。

2. 2 段階のプロセス：整列と磨き上げ

BVI-Mamba システムは、汚れた窓を掃除する 2 人のチームのように、主に 2 つの段階で機能します。

ステップ 1：「安定した手」（特徴量整列）
暗闇や水中で撮影すると、手が震えたり、被写体が動いたりします。これをクリアにするためにフレームを組み合わせようとする際、動画がジッターしたり「ゴースト」のように見えたりする原因となります。

比喩： すべてがわずかにずれたカードのデッキを積み重ねようとしていると想像してください。そのまま貼り付けただけでは、画像はぼやけてしまいます。
BVI-Mamba の役割： これは超精密なカードシャッフル機のように機能します。画像を修復しようとする前に、動画フレームの「特徴量（形状やエッジ）」をデジタル空間内で完全に整列させます。大きな動きと小さな詳細の両方を処理するための特別な「ピラミッド」システムを使用し、フレームが一致して動画がちらつかないように保証します。

ステップ 2：「魔法の磨き屋」（強化）
フレームが整列したら、システムは暗さ、ノイズ、色を修正する必要があります。

比喩： 標準的な AI を、小さな局所的な場所しか塗れない筆だと考えてください。部屋全体の「全体像」を見るのに苦労します。
BVI-Mamba の役割： それは、筆をレーザースキャナー（ビジュアル・ステート・スペース・ブロックと呼ばれる）に置き換えます。このスキャナーは、小さなほこりの粒と部屋全体を同時に見ることができます。それはシーン全体を横切る光の動きを理解します。これにより、古い手法よりもはるかに効果的に「雪」のようなノイズを除去し、暗い部分を明るくし、水中映像特有の奇妙な青や緑の色合いを修正できます。

3. なぜ優れているのか（結果）

著者たちは、この新しい「ランナー」を、古い「重いバックパック」（CNN やトランスフォーマーに基づくモデル）に対してテストしました。

レース： 実際の低照度および水中の動画データセットを用いたテストにおいて、BVI-Mamba が勝利しました。
スコア： 画質が鮮明で、高い「信号対雑音比」（ザラつきが少ない）と、より優れた構造的類似性（形状がより自然に見える）を生み出しました。
効率性： これは、より少ないコンピュータメモリと時間で達成されました。単により良い掃除屋であるだけでなく、より速い掃除屋なのです。

4. 水中の課題

水中の動画は厄介です。なぜなら、水は赤い光を吸収し、青い光を散乱させるフィルターのように働き、すべてを緑色や青色に見せるからです。

比較対象となる「完璧な」水中動画（「グラウンド・トゥルース」）が存在しないため、チームは巧妙なトリックを使用しました。まず、クリアな低照度の陸上動画で AI を訓練しました。その後、水中の映像を入力する前に、AI に「色補正メガネ」（色適応）を与えてホワイトバランスを調整しました。
結果は？AI は成功して濁った青い靄を取り除き、以前は見えなかった詳細を浮かび上がらせ、他の専門的な水中ツールを上回る性能を発揮しました。

まとめ

BVI-Mambaは、「軽量」な AI の脳を用いて、揺れ、暗さ、濁りを伴う動画を修復する新しい動画強化ツールです。重い計算に苦労するのではなく、フレームを完璧に整列させた後、スマートなスキャン技術を用いて画像を修復します。この論文は、暗い環境と水中のシーンの両方において、以前の AI 手法よりも高速で、メモリを少なく使い、より鮮明な結果を生み出すと主張しています。

以下は、「BVI-Mamba: 暗所および水中環境における視覚状態空間モデルを用いた動画強化」と題された論文の詳細な技術的サマリーです。

1. 問題定義

暗所および水中環境で撮影された動画は、以下に示すような深刻な画質劣化に悩まされています。

暗所における課題: ノイズ、低コントラスト、色バランスの崩れ、およびシャッタースピードの遅さまたは高感度設定に起因するモーションブラー。
水中における課題: 光の散乱と吸収によるぼやけ、ハロー効果、色歪み、およびコントラストの低下。

これらの劣化は、美的な画質だけでなく、物体検出や追跡などの下流のコンピュータビジョンタスクのパフォーマンスも損ないます。AI による画像強化は存在しますが、動画強化は以下の理由から依然として困難です。

時間的不整合: フレーム間のちらつきや明るさの揺らぎ。
計算コスト: 既存の深層学習手法（CNN、Transformer）は計算集約的かつメモリを大量に消費するため、リアルタイム処理が困難です。
データ不足: 特に水中シナリオにおいて、大規模なペアリングされたトレーニングデータセットが不足しています。

2. 手法：BVI-Mamba

著者らは、従来の畳み込み層や Transformer ブロックを視覚状態空間モデル（VSS）に置き換えることで、高い性能を維持しつつ線形な計算複雑性を実現する、新しいフレームワークBVI-Mambaを提案します。このアーキテクチャは、2 段階のパイプラインに従います。

A. 特徴量アライメントモジュール

時間的一貫性を確保し、ちらつきを防ぐため、モデルは強化前に複数の入力フレームをアライメントします。

メカニズム: EDVR から適応された**ピラミッド、カスケード、変形可能（PCD）アライメントモジュールを時間的・空間的注意（TSA）**融合と統合して利用します。
機能: 特徴量空間内でフレーム間の空間的・時間的変位を登録し、時間的詳細を抽出・処理することで、連続するフレーム間の一貫性を維持します。

B. 強化モジュール

このモジュールは、UNet 類似のアーキテクチャを用いてノイズ除去と明るさ調整を行います。

中核的な革新: 標準的な畳み込み層と Swin Transformer ブロックをすべて視覚状態空間（VSS）ブロックに置き換えています。
VSS ブロックの構造:
- Mambaフレームワークに基づき、特に**2D 選択的スキャン（SS2D）**メカニズムを利用します。
- SS2D プロセス: 入力パッチを 4 方向（左→右、上→下、右→左、下→上）に沿ってシーケンスに展開し、選択的状態空間モデル（SSM）で処理した後、結果をマージします。
- 利点: CNN（限られた受容野）や Transformer（二次的な複雑性）とは異なり、VSS ブロックは線形な計算複雑性で局所的な詳細と長距離のグローバルな依存関係の両方を捉えます。
数学的定式化: 層 $l$ における VSS ブロックは以下のように定義されます。
$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$
$h_{l+1} = FFN(LN(h_l)) + h_l$
(ここで $LN $はレイヤー正規化、$ FFN$ はフィードフォワードネットワークを表します。)

3. 主な貢献

暗所動画への Mamba の初適用: 本論文は、視覚状態空間（VSS）モデルを（以前は画像に限定されていた）動画強化に応用する最初のフレームワークを導入し、特に暗所および水中シナリオを対象としています。
効率的なアーキテクチャ: 重たい Transformer ブロックを VSS ブロックに置き換えることで、BVI-Mamba は線形な計算複雑性を達成し、CNN や Transformer ベースの対照モデルと比較してメモリ使用量と推論時間を大幅に削減します。
堅牢な時間的アライメント: PCD アライメントと VSS 強化の統合により、動画強化で一般的に問題となるちらつきや明るさの揺らぎを効果的に軽減し、高い時間的一貫性を保証します。
水中への適応: このフレームワークには、水中データにおける深刻な色バランスの崩れに対処し、水中データセットのグランドトゥルース不足を補うための色適応を用いた前処理ステップが含まれています。

4. 実験結果

このモデルは、3 つのデータセット（暗所のDID、暗所のBVI-RLV、水中のBVI-Coral）で評価されました。

定量的性能（暗所）:
- BVI-RLVデータセットにおいて、BVI-Mamba はPSNR 22.93、SSIM 0.820を達成し、以下の手法を上回りました。
  - PCDUNet (CNN): PSNR 19.50, SSIM 0.757.
  - STA-SUNet (Transformer): PSNR 20.64, SSIM 0.765.
  - BVI-CDM (Diffusion): PSNR 22.20, SSIM 0.773.
- また、グランドトゥルースとの知覚的類似性が優れていることを示す最低のLPIPS（0.146）も達成しました。
定性的性能:
- 視覚的な比較により、BVI-Mamba が競合する手法よりも効果的にノイズを低減し、詳細を鮮明にし、微細なテクスチャを保持していることが示されました。
水中の結果:
- BVI-RLV で事前学習されたモデルを色適応で適応させたところ、BVI-Mamba はZero-TIGと比較して視覚的に優れた結果を生み出し、深海の映像における色かぶりを補正し、視認性を向上させました。

5. 意義

パラダイムシフト: この研究は、**状態空間モデル（SSM）**が動画処理タスクにおいて Transformer の代替として実用的かつ優れており、性能と計算効率の間のより良いバランスを提供することを示しています。
実用的な展開: 削減されたメモリフットプリントと線形な複雑性により、BVI-Mamba はリソースが制約されたエッジデバイスや、リアルタイム監視・自律航行システムへの展開に有力な候補となります。
ドメインの拡大: 高度な生成・識別モデルと、暗所・水中といった過酷な物理環境との間のギャップを成功裏に埋め、水中探査や夜間セキュリティなどの重要なアプリケーションに対する堅牢な解決策を提供しています。