💻 computer science

Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection

本論文は、近接性を考慮した選択戦略を用いて異常の場所とタイミングを共同で学習する、弱教師ありビデオ異常検知のためのパッチベースの時空間フレームワークを導入しており、空間的に接地された研究を前進させるための新しいバウンディングボックスのアノテーションとリソースを公開しつつ、最先端の性能を達成している。

原著者： Hamza Karim, Nghia Nguyen, Lokman Bekit, Yasin Yilmaz

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hamza Karim, Nghia Nguyen, Lokman Bekit, Yasin Yilmaz

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、賑やかな都市の広場を映し出す24時間のセキュリティ映像を見ている監視員だと想像してください。あなたの仕事は、悪い奴ら（異常）を見つけ出すことです。

旧来の手法：「時間のみ」の探偵
これまでのほとんどのコンピュータプログラムは、ストップウォッチだけを持っている探偵のようなものでした。彼らは、「午後2時00分から午後2時15分の間に、何か奇妙なことが起きました！」とは言えるのですが、「どこで」起きたのかまでは言えませんでした。広場の噴水の近くでの喧嘩だったのか？パン屋での万引き事件だったのか？それとも、ただ鳥が窓にぶつかっただけなのか？特定の場所を指し示すことができなかったため、現実世界では信頼するのが困難でした。

新しい手法：「パッチベース」の探偵
この論文は、虫眼鏡と格子状のマップを持った探偵のように振る舞う、新しいシステムを紹介しています。このシステムは、ビデオの全フレームを一つの大きなぼやけた画像として見るのではなく、すべてのフレームを7x7の小さな正方形（パッチ）のグリッドに細かく切り分けます。

これは数独の盤面を想像してみてください。システムは、ビデオの毎秒ごとに、その盤面のあらゆる小さな正方形をチェックして、どの正方形が「怪しい」かを判断します。

「教師なし」での学習方法
通常、コンピュータに特定の悪党を見つける方法を教えるには、何千ものビデオに対して、その人物の周りにボックスを描く（先生が指をさして「ここを見て！」と言うような作業）必要があります。これはコストがかかり、時間がかかります。

この論文は、**弱教師あり学習（Weak Supervision）**を使用しています。例えば、「このビデオには犯罪が含まれています」と書かれたビデオのリストだけを持っている状況を想像してください。ただし、それが「いつ」「どこで」起きたのかは分かっていません。

課題： どこを見ればよいのか分からない状態で、どうやって悪党を見つけるのか？
解決策： システムは、**マルチインスタンス学習（MIL）**と呼ばれる戦略を使用します。システムは、どの小さな正方形が犯人であるかを推測します。もしビデオが「悪い（犯罪あり）」とラベル付けされているなら、それらの小さな正方形のうち、少なくとも一つは犯人であるはずです。システムは、試行錯誤を通じてそれらを特定する方法を学びます。

秘伝のレシピ：「近接性」ルール
著者たちは、人間らしいあることに気づきました。悪い出来事は、通常、たった一瞬、たった一つの孤立したピクセルだけで起こるわけではありません。それは**クラスター（集まり）**として発生します。喧嘩は、数フレームの間、一箇所で起きるだけでなく、人々の集団として発生するのです。

そこで、彼らは**「近接性を考慮したTop-k（Proximity-Aware Top-k）」**戦略を考案しました。

旧メソッド： 「たとえマップ上のあちこちに散らばっていたとしても、最も恐ろしい見た目の正方形を5つ選ぶ（時間も場所もバラバラでも構わない）」。
新メソッド： 「最も恐ろしい見た目の正方形を5つ選ぶが、それらが時間的・空間的に**隣接している（近傍である）**ことを確認する」。
これは、「一番大きな音を探すのではなく、隣り合って起きている一連の大きな音の集まりを探せ」と言っているようなものです。これにより、コンピュータがランダムな背景ノイズに惑わされるのを防ぎ、実際のイベントに対してクリーンで確実なボックスを描画できるようになります。

結果：未来への新しい地図
著者らは、4つの主要なビデオデータセット（UCF-CrimeやXD-Violenceなど）を用いてテストを行いました。

より高い精度： 彼らの「グリッド探偵」は、従来の手法よりも、「いつ」起きたか、そして「どこで」起きたかの両方において、はるかに正確に悪党を見つけ出しました。
新しいリソース： 2つのデータセットについては「どこで」というデータが不足していたため、著者らは自らテストビデオに対して手作業でボックスを描き込みました。彼らは、他の研究者がこれを利用して発展していけるよう、これらの新しいマップ（アノテーション）とコードを公開しています。

要約
この論文は、コンピュータに対し、単に「いつ」奇妙なことが起きたかを推測するだけでなく、グリッドベースのアプローチと、悪い出来事は「固まって発生する」というルールを用いることで、「どこで」起きているのかを正確に特定する方法を教えています。しかも、高価な手書きのトレーニングデータを必要としません。彼らはまた、コミュニティが利用できる新しい「解答集（バウンディングボックス）」も提供しました。

技術要約：Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection

1. 問題提起

弱教師ありビデオ異常検知（WSVAD）は、伝統的に時間的ローカリゼーション（時系列的な特定）、すなわちビデオシーケンス内の「いつ」異常が発生したかをビデオレベルのラベルのみを用いて特定することに焦点を当ててきました。しかし、このアプローチは空間的ローカリゼーション（空間的な特定）、つまりフレーム内の「どこ」で異常が顕在化しているかを見落としています。

著者らは、空間的ローカリゼーションが以下の理由から極めて重要であると主張しています：

解釈可能性： 人間のオペレーターがアラートを検証し、異常の原因を理解できるようにするため。
意思決定： 不審なオブジェクトの追跡やリソースの優先順位付けといった、よりきめ細かなアクションを可能にするため。
堅牢性： 背景のバイアスによって引き起こされる誤検知を減らすために、背景のノイズと真の異常を区別するための文脈的な手がかりを提供するため。

核心となる課題は、バウンディングボックスによる明示的な教師信号なしに、いかにして精密な空間的ローカリゼーション信号を学習するかであり、バウンディングボックスの注釈（アノテーション）の取得はコストが高く、主観的になりやすいという点にあります。既存の手法は、多くの場合、グローバルな表現やクリップレベルのスコアに依存しており、局所的な異常パターンを捉える能力には限界があります。

2. 手法

本論文では、Multiple Instance Learning (MIL) パラダイムの下で、空間と時間の両面における異常の発生を共同でモデリングする、パッチベースの時空間フレームワークを提案しています。

2.1. アーキテクチャの概要

入力ビデオは、時間セグメント（各16フレーム）に分割され、事前学習済みの特徴抽出器（UniFormer）を通じて、パッチレベルの時空間表現が生成されます。グリッドサイズは、セグメントあたり $7 \times 7$ のパッチに設定されています。

アーキテクチャは、主に2つのブランチで構成されています：

時間的集約（Temporal Aggregation）： 特徴量はパッチごとの時間シーケンスへと再構成され、各空間パッチの依存関係をモデリングするためにTemporal Transformerによって処理されます。
空間的集約（Spatial Aggregation）： 時間的に集約された特徴量は、再配置された後、Spatial Transformerを通過することで、各セグメント内のパッチ間の関係を捉えます。

これらのブランチは、2つの予測ヘッドへと送られます：

粗粒度ブランチ（Coarse-Grained Branch）： 空間特徴をプーリングすることで、セグメントレベルの異常スコアを生成します。
細粒度ブランチ（Fine-Grained Branch）： 各セグメントに対して、パッチレベルの異常確率（ $7 \times 7$ グリッド）を生成します。

2.2. 近傍を考慮した Top-k MIL 損失（Proximity-Aware Top-k MIL Loss）

主要な革新は、単に個々の最高スコアのみに基づく従来の top-k 選択に代わる、近傍を考慮した Top-k 選択戦略です。著者らは、異常事象は通常、時間的に連続した間隔にわたって発生することを観察しています。

損失関数は以下のように動作します：

時間的選択： 全体から $K$ 個の最高スコアのフレームを選ぶ代わりに、モデルはスライディングウィンドウを使用して、累積的な異常スコアが最も高い連続した $K$ 個のセグメントを見つけ出します。
空間的選択： これら選択されたセグメント内で、モデルはパッチグリッド上で畳み込みウィンドウ（ $z \times z$ ）をスライドさせ、合計応答が最大となるブロックを選択することで、最も識別的な空間領域を特定します。
損失の計算：
- 異常ビデオ： 選択された連続した時間ブロックおよびそれらに対応する高応答の空間パッチは、バイナリクロスエントロピー（BCE）損失の正例（Positive instances）として扱われます。
- 正常ビデオ： すべてのパッチが負例（Negative instances）として扱われます。
- 正則化： 異常集合に対してはスパース性を促すために $L1$ ノルムが適用され、正常集合に対してはスコアがゼロに近くなるように $L2$ ノルムが適用されます。

3. 主な貢献

本論文は、主に3つの貢献を挙げています：

新しいアーキテクチャ： 学習中にバウンディングボックスによる教師信号を必要とせずに、きめ細かな空間的ローカリゼーションを可能にする、パッチベースの弱教師あり時空間アーキテクチャ。
近傍を考慮した MIL 損失： 選択されるインスタンスが、純粋に最高スコアによってではなく、時間的および空間的な近接性に基づくクラスタリングによって形成される、新しい近傍認識型の top-k 損失関数。
新しいアノテーション： 広く使用されている2つのデータセット、XD-Violence と UBnormal のテストセットに対するフレームレベルのバウンディングボックス注釈の公開。これにより、WSVADにおける空間的ローカリゼーションの標準化された評価が可能になります。

4. 実験結果

本手法は、UCF-Crime、ShanghaiTech、XD-Violence、UBnormal の4つのベンチマークで評価されました。

4.1. 指標

著者らは、2つの補完的な指標を用いています：

時間的 IoU (Temporal Intersection over Union, TIoU)： 予測領域とグランドトゥルース（正解）領域の重なりを測定します。
トラックベース/領域ベースの検出率 (Track-Based/Region-Based Detection Rate, TBDR/RBDR)： 誤検知を考慮し、単なるフレームレベルの重なりではなく、時空間的な一貫性（トラック）を評価する、より包括的な指標です。

4.2. パフォーマンス

TIoU： 提案手法（"OURS"）は、4つのデータセットすべてにおいて、すべての最先端のベースライン（Deep-MIL、VADCLIP、ST-Prompt、LSTM-MILを含む）を上回っています。例えば、UCF-Crime では 40.51% を達成し、従来の最高値（LSTM-MIL の 32.91%）を 7.6% 近く上回りました。
TBDR/RBDR： 本手法は、すべてのデータセットにおいて両方の指標で最高スコアを記録しました。UCF-Crime では 77.20% TBDR および 69.83% RBDR に達し、UBnormal では 57.23% TBDR および 33.29% RBDR を達成しており、微細な異常に対する強力な汎化性能を示しています。
ゼロショット性能： 特定の異常クラスなしで学習を行うゼロショット設定において、提案モデルはベースラインと比較して最小の性能低下（3.08% の TBDR 低下）を示し、優れた汎化性能があることを示しました。
効率性： モデルは60フレームの入力に対して約 44.23 ms を要します。精緻化モジュールの存在によりベースラインよりわずかに高いものの、リアルタイム推論には十分な速度です。

4.3. アブレーション研究

コンポーネントの除去： 空間トランスフォーマーを除去すると最大の性能低下（19.15% TBDR 低下）が発生し、空間的アテンションの必要性が浮き彫りになりました。また、時間トランスフォーマーの除去も大幅に性能を低下させました。
損失関数： 標準的な MIL を近傍型 MIL（Proximity MIL）に置き換えると、様々な既存フレームワーク（Deep-MIL、URDMU、VADCLIP）において AUC が向上し、損失関数の汎用性が確認されました。
ハイパーパラメータ： $7 \times 7$ グリッドと空間ウィンドウサイズ $z=2$ の組み合わせが最適な結果をもたらしました。

5. 意義と主張

本論文は、純粋な時間的ローカリゼーションから結合的な時空間検出へと移行することで、WSVADにおける根本的な限界に対処することを主張しています。MIL を空間パッチレベルで再定式化することにより、バウンディングボックスによる教師信号なしに、領域レベルのスコアリングを可能にしています。

本研究の意義は以下の通りです：

解釈性の向上： 単なる時間的なタイムスタンプだけでなく、異常の明示的な空間マップを提供します。
バイアスの低減： 空間的な証拠を明示的にモデリングすることで、グローバルな表現に依存していた従来手法に見られる背景バイアスを軽減するのに役立ちます。
コミュニティへのリソース提供： XD-Violence と UBnormal に対するバウンディングボックス注釈を公開することで、これまでグランドトゥルースの欠如によって困難であった、空間的ローカリゼーションの評価を標準化することを目指しています。

著者らは、提案されたフレームワークが、実用的な計算効率を維持しながら、ローカリゼーション精度において大幅な向上を実現し、監視や安全性が重要なアプリケーションへのより信頼性の高い展開への道を開くと結論付けています。