💻 computer science

NSP-ML: Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning for Abnormal Behavior Recognition

本論文は、視覚データと、正常性誘導および時空間事前知識を考慮したテキストログを統合することで、キャンパス環境における文脈依存的な異常行動の認識を大幅に向上させ、CABRH8データセットにおいて最先端の性能を達成するマルチモーダル学習フレームワークであるNSP-MLを提案する。

原著者： Haichuan Liu, Xianmin Zhao

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haichuan Liu, Xianmin Zhao

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、学校のキャンパスのライブ映像を見守っている警備員だと想像してください。廊下を走っている生徒が見えます。これは危険の兆候でしょうか、それとも単に授業に遅れているだけでしょうか？廊下で泣いている人を見かけたら、それは怪我をしているのでしょうか、それとも単に気分が落ち込んでいるだけなのでしょうか？

この問題こそが、論文**「NSP-ML」**が解決しようとしているものです。

問題点：目は人を欺く

現在のほとんどの監視カメラは、**「非常に観察眼はあるが、状況が全く理解できていない観光客」**のようなものです。それらは「人が走っている」「人が泣いている」といった、目に見える内容を記述することには長けています。しかし、「それがなぜ重要なのか」を理解することには苦労します。

現実世界のキャンパスでは、行動の意味は「どこで」「いつ」起きるかによって完全に変わります。

走る： 遊び場では普通ですが、静かな図書室では不審な行為です。
泣く： カウンセリングルームでは通常の感情の発散ですが、化学実験室では潜在的な緊急事態かもしれません。

既存のシステムは主に「視覚的な証拠」（カメラが見ているもの）に依存しています。そのため、「その特定の時間や場所におけるルールの仕組み」を知らないために、混乱してしまうことがよくあります。

解決策：「コンテキスト（文脈）を理解する探偵」

著者らは、NSP-MLと呼ばれる新しいシステムを提案しています。これは単なるカメラではなく、**「学校のルールブックを読み、日課を把握している探偵」**だと考えてください。

このシステムは、ただビデオを見るのではなく、判断を下す前に2つの特別な「ログ（テキストによるメモ）」を読み取ります。

「正常性ログ（ここでは通常何が起きているか？）」： これはルールブックのようなものです。システムに「図書室では、人々は通常静かに歩いています」と伝えます。もしビデオで走っている様子が見られたら、システムはそれが「通常」のルールに反するため、フラグを立てます。
「時空間事前情報ログ（今はどのような雰囲気か？）」： これはデイリープランナー（日課表）のようなものです。システムに「月曜日の午前8時、理科棟です。これは事故のリスクが高い時間帯です」あるいは「金曜日の午後3時、体育館です。これはエネルギーの高い時間帯です」と伝えます。

仕組み：「仮説」ゲーム

このシステムは単に推測するわけではありません。**「もし〜だったら？」**というゲームを行います。

視覚的な手がかり： 学生が走っているビデオを見ます。
テキストによる手がかり： 「正常性ログ（図書室＝静か）」と「事前情報ログ（時期＝試験期間）」を読み取ります。
仮説： システムは心の内のストーリーを構築します。「もしこれが通常の図書室のシーンであるならば、走ることは異常事態である。」
比較： ビデオをこのストーリーと比較します。ビデオ（走行）がストーリー（静かな図書室）と衝突するため、システムはそれを正しく異常な行動として特定します。

この論文では、視覚的な手がかりが曖昧な場合に、テキストの手がかりを重視させるための特別な「アテンション・メカニメント（スマートなフィルター）」を紹介しています。これは、探偵が「ビデオには走っているように見えるが、文脈が『危険』だと叫んでいる。だから私は文脈を信じる」と言うようなものです。

結果：より賢く、より速く

研究者らは、似たような行動でも意味が変わってしまうトリッキーなキャンパスのシナリオが詰まったCABRH8というデータセットを用いて、このシステムをテストしました。

スコア： 新しいシステム（特に「Large」バージョン）は、正しい行動を特定する精度において**81.52%**を記録しました。これは、ビデオのみを見た場合や、単純なテキストラベルを使用した従来のメソッドよりも優れています。
効率性： より賢くなっているにもかかわらず、動作にスーパーコンピュータを必要としませんでした。実際、重量級の競合モデルよりも高速で、少ない計算リソースで動作しました。
証明： 彼らはまた、このシステムが「一発屋」ではないことを確認するために、一般的なアクションデータセット（UCF-101およびHMDB-51）でもテストを行いました。そこでも良好なパフォーマンスを示し、文脈を理解することが学校だけでなく、あらゆるビデオ解析において有用なスキルであることを証明しました。

まとめ

この論文は、AIにビデオと一緒に「コンテキスト（ルールとスケジュール）」を読み取るよう教えることで、バスに間に合わせようと走る学生と、火災から逃げるために走る学生を混同するのを防げると主張しています。このシステムは、単に行動を見るのではなく、その行動の背後にある**「ストーリー」**を理解するのです。

技術要約: 異常行動認識のためのNSP-ML

問題提起

キャンパス環境における異常行動の認識は、インテリジェントな監視および安全管理において極めて重要である。既存の手法は進展を見せているものの、その多くは視覚情報に依存している。この依存関係は重大な制限を生み出す。すなわち、視覚的な表現だけでは、文脈的な制約（時間、場所、および期待される活動パターンなど）に基づいた、外見は似ているが意味が異なる行動を区別できないことが多い。キャンパスの設定において、「走る」という動作は、運動場では正常であっても、実験室の廊下では異常となり得る。現在のマルチモーダルなアプローチは、テキスト入力を静的なラベルや一般的な記述として扱うことが多く、特定の時空間条件に関連する状況的規範や事前知識を明示的にエンコードすることに失敗している。その結果、これらのモデルは、異常性の定義が視覚的な外見そのものではなく、期待されるパターンからの逸脱に依存する、文脈依存型の異常行動の識別において困難に直面している。

手法

本論文では、視覚表現を2種類の特定の文脈的テキスト知識、すなわち常態性誘導ログ（normality-guided logs）と時空間事前知識誘導ログ（spatiotemporal prior-aware logs）と融合させるように設計されたフレームワークであるNSP-ML（Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning）を提案する。

1. 文脈的テキストの構築

本フレームワークは、静的なクラスラベルを使用する代わりに、各ビデオクリップ $i$ と候補クラス $c$ に対して、文脈条件付き行動仮説（ $H_{i,c}$ ）を構築する。この仮説は、以下の要素を結合して形成される：

行動プロトタイプ ( $B_c$ ): 行動の短い意味的記述。
常態性ログ ( $N_i$ ): 特定のキャンパス条件下での期待される行動に関するテキスト。
時空間事前知識ログ ( $P_i$ ): 特定の場所および時間に関連するリスクレベル、活動パターン、および感度を要約したテキスト。

2. 時空間事前知識の埋め込み

テキストログに加え、モデルは構造化された信号をテキストブランチに直接エンコードする：

時間埋め込み: タイムスタンプは、正弦波/余弦関数を用いて周期的な埋め込みに変換される。
地理的埋め込み: 場所は、座標、ゾーン密度、および管理感度に基づいてエンコードされる。
これら構造化された埋め込みは、テキストの事前知識記述と整合させるために、テキスト特徴空間へと投影される。

3. 事前知識対応マルチヘッド・アテンション

本フレームワークは、**事前知識対応マルチヘッド・アテンション（Prior-Aware Multi-Head Attention）**メカニズムを導入している。標準的なアテンションとは異なり、このモジュールは投影された文脈ベクトル ( $\bar{C}_i$ ) をクエリベクトルに注入する。これにより、モデルは時空間的な事前知識に導かれたトークンレベルの推論を実行することが可能となり、視覚的な証拠と文脈的仮説との相互作用を強化する。

4. ゲート付き文脈融合

軽量なゲーティングメカニズムが、行動プロトタイプ、常態性ログ、および事前知識ログの寄与を適応的にバランスさせる。これにより、モデルは各特定の分類決定に対して、常態性の期待値と事前知識の制約のどちらにどれだけの重みを割り当てるべきかを動的に決定できる。

5. 最適化目的関数

フレームワークは、以下の3つのコンポーネントからなる複合損失関数 ( $L$ ) を用いて訓練される：

文脈的分類損失 ( $L_{cls}$ ): 視覚表現を文脈条件付き仮説に適合させるための標準的なクロスエントロピー損失。
対称的対照学習損失 ( $L_{con}$ ): 視覚的特徴が対応する文脈的テキスト仮説と一致するようにするための、視覚と言語の整合性を目的とした目的関数。
反事実的文脈損失 ( $L_{cf}$ ): 不一致な仮説（例：あるシーンの常態性ログを別のシーンのものと入れ替える）を導入することで、モデルに正しいシーンの論理と誤った論理を明示的に区別させることで、文脈的な識別力を強化する新しい損失。

主な貢献

新規なマルチモーダル・フレームワーク: 本研究は、視覚データと常態性誘導ログおよび時空間事前知識誘導ログを融合させるNSP-MLを導入している。この統合された表現により、視覚的な証拠と状況的な期待値の相乗効果を活用することで、微妙な異常行動のより文脈に即した解釈が可能となる。
文脈的事前知識の明示的モデリング: テキストを静的なラベルとして扱う従来のアプローチとは異なり、本研究は文脈的に期待されるパターンからの逸脱に関連付けて異常行動をモデル化している。構造化された時空間埋め込みと事前知識対応アテンションメカニズムの導入により、クロスモーダルな相互作用を強化している。
堅牢な性能と汎用性: 本フレームワークは複数のデータセットにおいて有効性を実証している。キャンパス特化型のCABRH8データセットにおいて最先端の結果を達成し、一般的な行動認識ベンチマーク（UCF-101およびHMDB-51）においても強力な性能を維持しており、特定のキャンパスシナリオを超えた堅牢性を確認している。

実験結果

実験は主にCABRH8データセット（5,950クリップ、8カテゴリのキャンパス異常行動）を用いて行われ、UCF-101およびHMDB-51でも追加検証が行われた。

CABRH8における性能: 提案されたNSP-ML-Lバリアント（ViT-L/14バックボーンを使用）は、Top-1精度 81.52%、**Top-5精度 99.45%**を達成した。これは、既存の視覚のみの手法（例：TimeSformer, Swin-B）や静的なテキスト誘導型アプローチ（例：Top-1精度 80.26%を達成したCECL-L）を上回っている。
効率性: 高い精度にもかかわらず、NSP-ML-Lは良好な効率プロファイルを維持しており、295 GFLOPsを必要とし、32 FPSで動作する。これは、HCMT（992 GFLOPs）のような高コストな競合モデルよりも大幅に効率的である。
汎用性: UCF-101において、NSP-ML-Lは**98.68%の精度を達成し、HMDB-51では73.32%**を達成した。これは、いくつかの最先端のベースラインを上回っており、一般的な行動認識タスクへの強力な転移性を示している。
アブレーション研究: 実験により以下が確認された：
- 常態性ログと時空間事前知識を組み合わせることは、いずれか一方のみ、あるいは行動プロトタイプのみを使用する場合よりも優れた結果をもたらす。
- 構造化された時空間埋め込み（時間と場所）は、テキストによる事前知識のみの場合と比較して補完的な利点を提供する。
- 反事実的文脈損失 ( $L_{cf}$ ) は、正しいシーンの論理と誤った論理を区別するモデルの能力を向上させるために極めて重要である。

意義

本論文は、常態性のガイダンスと時空間的な事前知識を組み込むことが、インテリジェントなキャンパス環境における文脈依存型の異常行動認識を向上させるための効果的な経路であることを主張している。純粋な視覚的一致から、文脈条件付き行動仮説に関する推論へとシフトすることで、NSP-MLフレームワークは、動的で混雑した、文脈依存的なシーンに内在する曖昧さに対処している。結果は、このアプローチが、状況的な制約に基づいて異常性が異なる、視覚的に類似した動作をモデルがより良く区別することを可能にし、インテリジェントな監視システムのためのより堅牢なソリューションを提供することを示唆している。