Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

論文「Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection」の詳細な技術的サマリーを以下に示す。

1. 問題定義

ゼロショット動画異常検出（ZS-VAD） は、対象ドメインからの訓練データを一切使用せずに、監視動画内の異常イベントを時間的に局所化することを目指す。これは、対象データが利用できないデータプライバシーや新たな監視展開のシナリオにおいて極めて重要である。

• 現在の限界:
  • フレーム/オブジェクトベースの手法: 新たなシーンへ移行する際、背景や人間の外観におけるドメインシフトに悩まされる。
  • 既存のスケルトンベースの手法: 背景や外観の相違を排除する一方で、自己教師あり学習を通じて学習された低レベルのスケルトン表現（座標予測、再構成など）に依存している。意味的理解が欠如しているため、正常パターンに似ている新規の異常を区別することができない。
  • ドメインに限定された境界: 既存の手法は、ソース訓練データによって定義された正常性の境界に盲目的に依存しており、新たなシーンにおいて未見の正常イベントを異常として誤分類してしまう。

2. 手法

著者らは、汎用的な ZS-VAD を達成するために行動の意味的典型的性（Action Semantic Typicality） と 文脈の独自性（Context Uniqueness） を活用する新規フレームワークを提案する。このアプローチは、主に 2 つのモジュールから構成される。

A. 言語ガイド付き典型的性モデリング（訓練フェーズ）

このモジュールは、低レベルの座標ではなく、行動の高レベルの意味的理解を学習することを目的としている。

1. スケルトン - テキストの整合: 本モデルは、VAD 固有のデータではなく、外部の行動認識データセット（Kinect-400）を使用する。スケルトンエンコーダ（$E_s$）とテキストエンコーダ（$E_t$）を用いてスケルトン断片をテキストラベルと整合させ、スケルトンを言語整合的な意味空間に投影する。
2. 典型的性知識の選択（LLM 蒸留）:
   • 大規模言語モデル（LLM）にプロンプトを与え、400 種類の行動クラスから最も典型的な正常行動 20 種類（例：歩行、読書）と最も典型的な異常行動 20 種類（例：喧嘩、スカイダイビング）を特定させる。
   • これらの選択された「典型的」クラスに対応する高品質なスケルトン断片を、スケルトン - テキストの類似性に基づいてフィルタリングする。
3. 典型的性分布学習:
   • 選択された典型的な正常および異常特徴に対して正規化フロー（NF） を訓練する。
   • NF はこれらの行動の確率分布をモデル化する。推論時、異常スコア（$S^t$）は、学習された「正常」分布下でのテスト断片の負の対数尤度から導出される。これにより、モデルは特定のデータセットの統計量ではなく、意味的事前知識に基づいて新たなシーンに汎化できる。

B. 推論時の文脈独自性分析（推論フェーズ）

行動が厳密に「典型的」ではないシナリオ（特定の文脈において異常となる正常行動など）に対処するため、モデルは時空間文脈を分析する。

1. 文脈グラフの構築: 各スケルトン断片に対して、2 つのグラフを構築する。
   • クロスパーソングラフ（$G_c$）: 現在の人物を空間的に近接する他の人物と接続する。
   • 自己点検グラフ（$G_s$）: 現在の人物を、時間的に過去/未来の状態と接続する（冗長性を避けるため、直近の隣接状態は除く）。
2. 独自性スコアリング: モデルは、クエリ断片と両グラフ内の隣接要素との間の特徴距離を計算する。異常は稀で独自であるため、高い距離は異常を示唆する。独自性スコア（$S^u$）は、クロスパーソングラフと自己点検グラフの距離の最大値である。
3. 包括的スコアリング: 最終的な異常スコアは、典型的性スコア（$S^t$） と 独自性スコア（$S^u$） の正規化された組み合わせである：
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   これは、意味的事前知識（何が正常/異常であるべきか）と文脈的証拠（このシーンで実際に何が独自か）を統合する。

3. 主要な貢献

1. 新規フレームワーク: 低レベル表現学習を超え、意味的典型的性と文脈独自性へと移行する、スケルトンベースの ZS-VAD フレームワーク。
2. 言語ガイド付き典型的性モジュール: 対象ドメインの訓練なしで汎用的な意味空間を創出するため、LLM の典型的な正常/異常行動に関する知識をスケルトンエンコーダに蒸留する手法を導入。
3. 推論時の独自性分析: 個人間および時間ステップ間の時空間差異を分析し、文脈固有の異常を検出する、動的でシーン適応型の境界メカニズムを提案。
4. 最先端のパフォーマンス: 100 を超える未見の監視シーンを網羅する 4 つの大規模データセット（ShanghaiTech, UBnormal, NWPU, UCF-Crime）において、フルショットおよび他のゼロショット手法を上回る優れた結果を達成。

4. 実験結果

本手法は、対象ドメインからの訓練データなしで 4 つのデータセットにおいて評価された。

• パフォーマンス: 提案手法は全データセットで最先端（SOTA） の結果を達成した。
  • ShanghaiTech: 84.1% AUC（フルショット STG-NF の 85.9% に対し、0 ショット）。
  • UBnormal: 74.5% AUC（ゼロショットベースライン STG-NF より +5.7% の大幅な改善）。
  • NWPU: 62.1% AUC（ベースラインより +4.2%）。
  • UCF-Crime: 62.7% AUC（ベースラインより +10.8%）。
• フルショットとの比較: 驚くべきことに、この手法のゼロショット性能は、対象データで訓練されたフルショット手法と同等か、場合によってはそれを上回る。
• 効率性: 本モデルは軽量（パラメータ数約 5.0M）であり、大規模視覚言語モデル（LVLM）ベースのアプローチ（例：130 億パラメータ以上の LAVAD）よりも著しく小さい。推論速度は異常スコアリングロジックではなく、スケルトン抽出によって支配される。

5. 意義と影響

• プライバシー保護型監視: 局所ビデオデータを収集または訓練することなく新たな環境に異常検出を展開できる能力は、重要なプライバシー懸念に対処する。
• 汎化能力: 「データから正常性を学習する」ことから「意味的概念と文脈から正常性を学習する」ことへの転換により、従来の VAD システムを悩ませるドメインギャップを克服する。
• 実用的展開: フレームワークは計算効率が良く、推論時に複雑な多段階推論や大規模 LLM を必要としないため、実世界のエッジ展開に適している。
• パラダイムシフト: 本論文は、スケルトンデータが意味的事前知識と文脈分析と組み合わさることで、ゼロショット異常検出において非常に効果的なモダリティとなり、クロスシナリオ設定においてフレームベースおよびオブジェクトベースのアプローチを上回ることを実証している。