🤖 AI

FuseMamba-VD: Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection

本論文は、状態空間モデルのバックボーンを通じて精度と計算効率を効果的に両立させることで、複数のベンチマークにおいて最先端の暴力検知性能を達成する、ゲート付きクラス・トークン融合を備えた効率的なデュアルブランチVideoMambaアーキテクチャであるFuseMamba-VDを提案している。

原著者： Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

混雑した街の広場で、防犯カメラの映像から喧嘩が起きているのを見つけようとしている場面を想像してみてください。それは非常に困難な仕事です。もし単一のスナップショット（静止画）を見ただけなら、二人の人物が近くに立っていることは分かりますが、それが抱き合っているのか、それとも喧嘩をしているのかまでは判別できません。もし詳細を見ずに動きだけを追ったとした場合、突き飛ばしがパンチへと変わる瞬間の特定のジェスチャーを見逃してしまうかもしれません。

この論文では、この問題を解決するために設計された、FuseMamba-VDと呼ばれる新しいコンピュータプログラムを紹介しています。これは、特別な「二つの脳」を使ってカメラを見守る、高度に訓練された警備員のようなものだと考えてください。

その仕組みを、シンプルな概念ごとに分解して説明します。

1. 旧来の手法の問題点

従来のコンピュータプログラムは、主に二つの方法を試みてきましたが、どちらにも欠点がありました。

「遅い」手法 (CNN): これらは数秒ごとに写真を撮るようなものです。細部を見るのには優れていますが、喧嘩がどのように始まり、どのように終わったかという長い物語を見落としてしまいます。
「高コストな」手法 (Transformers): これらは、物語を理解するために図書館にあるすべての単語を一度に読もうとするようなものです。非常に賢いのですが、膨大な計算能力を必要とするため、現実世界のカメラで動かすには動作が重く、コストがかかりすぎます。

2. 新しい解決策：二人一組のチーム

著者たちは、Mamba（状態空間モデル）と呼ばれる新しい効率的なテクノロジーに着想を得て、同時に働く**二つの異なる「脳（ブランチ）」**を持つシステムを構築しました。

脳A（詳細の探偵）: このブランチはビデオをフレームごとに観察し、空間的な詳細に焦点を当てます。「人々はどのような姿をしているか？拳は握られているか？どのくらい近い距離にいるのか？」といった問いを立てます。これは、シーンの「形」や「外見」を優先します。
脳B（動きのトラッカー）: このブッチは、ビデオを連続的な流れとして観察し、時間的なダイナミクスに焦点を当てます。「動き方はどうか？スピードが上がっているか？突然の突進があるか？」といった問いを立てます。これは、「動き」と「タイミング」を優先します。

3. 秘訣：「ゲート・フュージョン」

通常、これら二つの脳が対話するのは、最後の方まで待つことになります。しかし、FuseMamba-VDは異なります。Gated Class Token Fusion (GCTF) と呼ばれるメカニズムを使用しています。

これは、二つの脳がビデオを見ている間、一歩ごとに会話をしているようなものです。

「詳細の探偵」（脳A）は、絶えず「動きのトラッカー」（脳B）に手がかりをささやきます。
特殊なゲート（スマートなスイッチ）が、その情報のどれくらいを通すかを決定します。動きが混乱している場合は、ゲートが「詳細に注目せよ」と指示するかもしれません。もし詳細がぼやけている場合は、「動きに集中せよ」と指示するかもしれません。

この、レイヤーごとの継続的な会話により、システムは情報を統合するのを最後まで待つのではなく、常に理解を洗練させ続けることができるのです。

4. 「クロップ（切り抜き）」のトリック

脳が観察を開始する前に、システムにはクロッピング・モジュールがあります。これは、ビデオ内の人物にズームインし、背景（木や車、空など）を切り取るカメラマンのようなものです。これにより、コンピュータは人間に関係のないものを見るためにエネルギーを浪費することがなくなり、人間の相互作用を検知するスピードと精度が大幅に向上します。

5. 結果：より速く、よりスマートに

著者たちは、膨大な量の現実世界の監視ビデオ（4つの異なるデータセットを一つの巨大なテスト用として統合したもの）と、DVDと呼ばれる新しいデータセットを用いて、この新システムをテストしました。

精度: このモデルは、従来の「最先端（state-of-the-art）」のモデルをすべて上回りました。従来の強力なモデルよりも、暴力の検知において優れていました。
効率性: これが大きな勝利です。新しいモデルははるかに軽量です。最も近い競合モデルである CUE-Net よりも、使用する計算量（FLOPs）が少なく、「ニューロン（パラメータ）」の数も少ないのです。
速度: その効率性の高さゆえに、高性能なハードウェア上で、従来の最高モデルよりも約4.7倍速く動作します。

まとめ

要するに、FuseMamba-VDは単にビデオを「見る」だけでなく、二人の専門家がアクションにズームしながら絶えず対話するビデオ暴力検知システムです。このチームワークにより、以前よりも正確に喧嘩を検知しながら、 de わずかなコンピュータパワーで動作することが可能となり、現実世界の監視カメラにおける実用的なソリューションとなっています。

技術要約: FuseMamba-VD

問題提起

監視カメラの急速な普及により、ビデオデータの量が膨大になり、暴力検知のための継続的な人間によるモニタリングは非現実的かつ信頼性に欠けるものとなっています。3D畳み込みニューラルネットワーク（CNN）やTransformerベースのアーキテクチャといった既存のディープラーニング手法は、時空間特徴の抽出において成功を収めていますが、重大な限界に直面しています。3D CNNは長距離の依存関係の捕捉に苦戦し、一方でTransformerはシーケンス長に対して二次関数的な計算複雑性を伴うため、長く高解像度な監視ビデオに対するスケーラビリティが制限されます。さらに、学習に使用される既存のデータセットの多くは、演出されたもの（例：映画のシーン）であったり、ラベル付けが弱い（weakly labeled）ものであったりするため、現実世界の監視シナリオにおける複雑さを十分に表現できていません。

手法

著者らは、状態空間モデル（SSM）を活用した、教師あり暴力検知のための効率的なアーキテクチャであるFuseMamba-VDを提案しています。その核心となる革新は、**二重分岐設計（dual-branch design）とゲート付きクラス・トークン融合（Gated Class Token Fusion: GCTF）**メカニズムの組み合わせにあります。

1. アーキテクチャの概要

本モデルは、双方向状態空間モジュールを利用したVideoMambaバックボーンに基づいています。これは主に4つのコンポーネントで構成されています。

クロッピング・モジュール（Cropping Module）: 計算リソースを関連する人間同士の相互作用に集中させるため、暴力は通常複数の個人が関与するという観察に基づき、各フレーム内のすべての検知された人物を含む領域を抽出します。
二重分岐パイプライン（Dual-Branch Pipeline）: 時空間パッチへとトークン化された後のビデオ入力（ $X \in \mathbb{R}^{3 \times T \times H \times W}$ $X \in R^{3 \times T \times H \times W}$ ）を、2つの並行するパイプラインで処理します。
- Branch-1 (Spatial-First Scanning): フレーム内の空間的レイアウトを優先するようにトークンを再構成し、その後に時間方向に連結します。このブランチは、微細な局所的空間キューを捉えるように設計されています。
- Branch-2 (Temporal-First Scanning): トークンの自然な時間順序を維持し、空間次元に沿ってスタックします。このブランチは、動的な動きのパターンとグローバルな時間的依存関係に焦点を当てます。
- 両ブランチは、事前学習済みのVideoMambaの重みを利用し、双方向スキャニングを採用しています。

2. ゲート付きクラス・トークン融合 (GCTF)

2つのブランチ間の情報を統合するために、新しい連続的な融合メカニズムが導入されています。遅延融合（late-fusion）のアプローチとは異なり、GCTFはネットワークの各層で動作します。

各ブランチは、すべての層においてクラス・トークン（$CLS$）を生成します。
学習可能なゲーティング・メカニズムが、空間ブランチの$CLS $トークン（$ CLS^1 $）を時間ブランチの$ CLS $トークン（$ CLS^2$）へと適応的にマージします。
融合は次のように定義されます： $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$ 。ここで、 $\sigma'$ はシグモイド関数で活性化された学習可能なパラメータです。
これにより、ネットワークの早い段階でどちらかのモダリティに過剰にコミットすることなく、空間的および時間的な表現を漸進的に洗練させることが可能になります。

3. 最終融合

最終層では、両ブッチからの$CLS$トークンが連結され、全結合投影層を通過して最終的な分類確率が生成されます。

主な貢献

本論文は、主に3つの貢献を述べています。

二重分岐状態空間アーキテクチャ: 教師ありビデオ暴力検知のための、初の状態空間ベースの二重分岐設計です。これは、遅延融合や重いアテンション・メカニズムに依存する従来のモデルとは対照的に、クラス・トークンを介した連続的な意味的相互作用を可能にしながら、空間的推論と時間的推論を明示的に分離しています。
ゲート付きクラス・トークン融合 (GCTF): ブランチ固有のクラス・トークンを適応的に統合する、連続的かつ層レベルの融合メカニズムです。これにより、特徴量の段階的な整合を実現し、単一のブランチへの早期の過剰なコミットを防ぎます。
統合された監視ベンチマークと効率性: 著者らは、4つの強力にラベル付けされたオープンソース・データセット（RWF-2000, RLVS, SURV, VioPeru）を、訓練セットとテストセット間のデータ漏洩を防ぐ厳格な制御の下で統合し、新しいベンチマークを作成しました。FuseMamba-VDが、先行研究と比較してパラメータ数とFLOPsを大幅に削減しながら、最先端の性能を達成することを実証しています。

実験結果

モデルは、新たに構築された統合ベンチマークおよび最近導入されたDVDデータセットを用いて評価されました。

統合ベンチマーク: FuseMamba-VDは、Top-1精度**95.85%**を達成し、SlowFast、VideoSwin、UniFormer-V2、CUE-Net、および様々なVideoMambaのバリアントを含むベースラインを上回りました。F1スコアは、暴力（violent）で95.89%、非暴力（non-violent）で95.81%でした。
DVDデータセット: 現実世界の変動性とクラス不均衡を伴うより困難なこのデータセットにおいて、モデルは**74.13%**のTop-1精度に達し、すべてのベースライン（71%以下）を上回りました。
効率性: 精度において最も近い競合であるCUE-Netを上回っているにもかかわらず、FuseMamba-VDは大幅に少ないリソースを使用しています。
- パラメータ数: 154.3M（CUE-Netは354M）。
- FLOPs: 1912 GFLOPs（CUE-Netは5906 GFLOPs）。
- 推論速度: NVIDIA H100 GPU上で、FuseMamba-VDは343.53 FPSを達成し、CUE-Net（72.64 FPS）に対して約4.7倍の高速化を実現しました。
アブレーション研究: 実験により、二重分岐設計が単一ブランチのバリアントよりも優れていることが確認されました。さらに、すべてのブロックで横方向の接続を行う構成は、特定の層（最初、中間、または最後）にのみ接続を適用する構成よりも優れた結果を示しました。

意義と主張

本論文は、FuseMamba-VDが精度と計算効率の最適なバランスを提供していると主張しており、スケーラブルでリソース効率の高いビデオ暴力検知のための状態空間モデル（SSM）の有望性を示しています。ゲーティング・メカニズムを通じて、空間的推論と時間的推論を効果的に分離しつつ連続的な相互作用を維持することで、モデルは暴力の兆候となる微妙な動きの違いに対する感度を向上させています。著者らは、本研究を、高い精度と低い計算コストの両方が極めて重要となる、実世界の監視アプリケーションへのステップとして位置付けています。コードと学習済みモデルはコミュニティに公開されています。