Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild

マルチモーダル大規模言語モデル（MLLM）をゼロショットで異常検知に応用する研究において、現状のモデルは正常クラスへの過度なバイアスによりリコールが極端に低下する課題があるものの、クラス固有の指示を用いることで性能を大幅に改善できる可能性が示されました。

要約

🕵️‍♂️ 結論から言うと：「AI は賢いけど、少し『おとなしすぎる』」

この研究の核心は、**「AI は動画を見て『何か変だ！』と叫ぶのが苦手だ」**という発見です。

AI は非常に賢く、動画の内容を言葉で説明したり、複雑な状況を理解したりする能力を持っています。しかし、監視カメラのように「何か悪いことが起きたらすぐにアラートを出す」という任務を与えると、「何も起きていない（正常）」と判断しすぎて、本当の事件を見逃してしまう傾向があることがわかりました。

🎭 3 つの重要な発見（物語で解説）

1. 「おとなしい AI」の問題点（保守的なバイアス）

想像してください。新しい警備員（AI）を雇いました。彼はとても頭が良く、周囲の状況をよく見ています。
しかし、彼には**「何か変なことがあれば『1』と叫んで、そうでなければ『0』と叫んで」**というルールがあります。

実験の結果、この AI は**「『0（正常）』と叫ぶのが大好き」**であることがわかりました。

• 精度（Precision）： 「変だ！」と叫んだときは、たいてい本当に変なことが起きていました（精度は 100% 近く）。
• 再現性（Recall）： でも、本当は変なことが起きているのに、彼は「何も起きていない」と言って見逃してしまうことが多すぎました（見逃し率が 90% 以上）。

🌰 例え話：
まるで、「火災報知器」が、煙を感知するたびに「火事だ！」と叫ぶのが怖くて、「何も起きていない」と言い続けるようなものです。
「火事だ！」と叫んだときは本当に火事ですが、実際の火災の 9 割は「見逃し」で終わってしまいます。監視カメラにとって、これは致命的です。

2. 「魔法の言葉」で AI を覚醒させる（プロンプトの重要性）

ここで研究者たちは、AI に**「具体的な指示」**を与えてみました。

• 指示なし： 「この動画を見て、変なことがあれば教えて」
• 指示あり： 「この動画を見て、『人が転ぶ』『物を盗む』『暴れる』といった具体的な異常行動があれば、すぐに『1』と叫べ」

すると、AI の態度が劇的に変わりました！
指示を具体的に与えることで、AI は「変なことを探そう」という意識を持ち、「見逃し」が劇的に減り、正解率（F1 スコア）が 0.09（9%）から 0.64（64%）まで跳ね上がりました。

🌰 例え話：
AI に「変なことを探して」と言うのは、「探偵に『何か事件を探して』とだけ頼むようなものです。彼は「事件なんてないかもしれない」と考えて、何もしません。
でも、「『泥棒が財布を盗んでいる』という具体的な事件を探して」と言えば、彼はそのパターンに集中して、見つけられるようになります。

3. 「長い動画」は万能ではない（時間軸の長さ）

研究者たちは、AI に見せる動画の長さ（1 秒、2 秒、3 秒）も変えてみました。

• 低い画質の場所（上海技術大学データ）： 動画が長いほど、AI は「あ、これは変だ！」と気づきやすくなりました。
• 高い画質の場所（CHAD データ）： 動画が長くなっても、あまり効果が出ませんでした。むしろ、情報が多すぎて混乱してしまうこともありました。

🌰 例え話：

• 低い画質の場所： 遠くから見るので、1 秒だけだと「誰かが走っている」のか「風で髪がなびいている」のか分かりません。でも、3 秒見れば「あ、走って逃げている！」とわかります。
• 高い画質の場所： 4K でくっきり見えているので、1 秒見れば変な動きはわかります。でも、3 秒見せると「あ、この人はただ歩いているだけだ」という余計な情報が入ってきて、AI が「変な動き」を見失ってしまうことがあります。

---

💡 この研究が教えてくれること

1. AI は「万能」ではない： 最新の AI は動画の理解力が高いですが、監視カメラのように「見逃し厳禁」の任務には、そのままでは使えません。
2. 「指示」が全て： AI に何をさせるかは、人間がどう指示するか（プロンプト）にかかっています。「変なことを探して」ではなく、「こういう具体的な悪い行動を探して」と教える必要があります。
3. 現実世界は難しい： 映画やきれいな動画データでテストされる AI は、実際の汚い・暗い・ごちゃごちゃした監視カメラの映像では、まだ「おとなしくなりすぎて」しまいます。

🚀 今後の展望

この研究は、「AI は監視カメラに使えるが、『見逃さない』ようにするための特別なトレーニング（指示の工夫）が必要だ」という現実的なチェックを行いました。

今後は、AI が「変なことが起きたら、たとえ間違えても一度はアラートを出す」ように調整する技術や、より現実的な環境で使える指示の作り方が重要になってくるでしょう。

一言でまとめると：

「最新の AI は賢い探偵ですが、指示を具体的に与えないと、事件を見逃して『何も起きていません』と言い続けるおとなしい探偵になってしまうよ」

技術概要

以下は、提示された論文「Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild」の技術的サマリーです。

論文概要

タイトル: Multimodal LLMs は監視に準備できているか？野外におけるゼロショット異常検出の現実確認
著者: Shanle Yao, Armin Danesh Pazho, Narges Rashvand, Hamed Tabkhi (UNC Charlotte)

---

1. 研究の背景と課題 (Problem)

マルチモーダル大規模言語モデル（MLLM）は、動画理解において顕著な汎用能力を示していますが、実世界の**動画異常検出（Video Anomaly Detection: VAD）**における信頼性は十分に検証されていません。

• 既存の課題: 従来の VAD システムは、再構成（reconstruction）や姿勢（pose）ベースのアプローチに依存しており、異常を「学習分布からの逸脱」として検出します。一方、MLLM は言語による推論を通じて異常検出を行うパラダイムシフトを可能にしますが、その実用性は不明です。
• 実世界とのギャップ: 既存のベンチマークは、編集されたクリーンな動画や構造化された物語を扱っており、監視カメラ特有のノイズ、低解像度、被写体の隠蔽、背景の雑音、そして文脈依存性の高い「異常」の定義（例：公園での走りは正常だが、制限区域では異常）を反映していません。
• 意思決定のギャップ: 多くの研究は AUC-ROC などのランキング指標を用いますが、実運用では「アラートを発令するかどうか」の明確な意思決定境界（Threshold）が必要です。MLLM がゼロショット設定でこの意思決定を信頼できるかどうかが問われています。

2. 提案手法と方法論 (Methodology)

本研究では、MLLM を VAD パイプラインに直接統合し、異常検出を**「弱時間的監督（weak temporal supervision）下でのプロンプト誘導型二値分類タスク」**として再定義しました。

• データセット: 監視動画の代表的なベンチマークである ShanghaiTech と CHAD のテストセットを使用。
• クリップ分割: 動画を 1 秒、2 秒、3 秒の非重複クリップに分割。フレームレベルのラベルを「クリップ内に異常フレームが 1 つでも含まれれば異常」としてクリップレベルに伝播。
• プロンプト設計:
  • ベースプロンプト: 人間が作成した基本プロンプト。
  • 生成プロンプト: 複数の LLM（ChatGPT, Gemini など）を用いて、詳細さ（Specificity）の異なる 3 つのプロンプト（短・中・長）を生成。
  • クラス固有指示（Class-specific Instructions）: 「異常」の定義を明確化し、特定の異常カテゴリに注意を向けるよう指示する追加コンテキストの有無を比較。
• モデル: Gemini 2.5 Flash Lite を主要モデルとして採用。フレーム単位の再構築を必要とせず、生動画ストリームから直接時空間推論を行うネイティブ動画分析能力を持つため、ゼロショット評価に適している。
• 評価指標: 精度（Precision）、再現率（Recall）、F1 スコア。特に、実運用における「見逃し（False Negative）」と「誤検知（False Positive）」のトレードオフを重視。

3. 主要な結果 (Key Results)

A. ゼロショット設定における「保守的バイアス」

プロンプトにクラス固有の指示がない場合、MLLM は極端な保守的バイアスを示しました。

• 高精度・低再現率: モデルは「異常がない」と判断する傾向が強く、精度（Precision）は 100% に近い値を示す一方で、再現率（Recall）は 3% 以下に崩壊しました。
• 実用性の欠如: 異常を「正常」として見逃す傾向が強く、セキュリティ監視のような高リスクな用途では実用不可能でした。

B. プロンプトの具体性とクラス固有指示の影響

• クラス固有指示の劇的な効果: プロンプトに「異常とは何か（例：不審な行動、危険な行為）」を具体的に定義する指示（+ class）を追加することで、モデルの意思決定境界が劇的に変化しました。
  • ShanghaiTech データセット: 最高 F1 スコアが 0.09（ベース）から 0.64（+ class）へ向上。
  • 再現率の改善: 例として、Gemini fast medium 設定で再現率が 4.69% から 39.60% へ大幅に向上しました。
• プロンプトの長さ: 詳細な（長い）プロンプトが常に良い結果をもたらすわけではなく、「中程度」の詳細さが最適な場合もありました。過度な詳細はノイズとなり得ます。

C. 時間的コンテキスト（クリップ長）の影響

• ShanghaiTech（低解像度）: クリップ長を 1 秒から 3 秒に延長すると、多くのモデルで F1 スコアが向上しました（時間的コンテキストが運動の識別に寄与）。
• CHAD（高解像度）: 高解像度データセットでは、クリップ長の延長による性能向上は限定的、あるいは低下さえ見られました。高解像度環境では、単純な時間的延長が意味的な混乱を招く可能性があります。

D. データセット間の差異

• 高解像度で複雑な CHAD データセットでは、ShanghaiTech に比べてモデルの性能が全体的に低く抑えられました（最高 F1 0.48 vs 0.64）。これは、画質の向上が異常検出の根本的な課題（意味的理解の欠如）を解決しないことを示しています。

4. 主な貢献 (Contributions)

1. 展開指向の VAD 定式化: 従来のオフラインランキング評価ではなく、実世界の意思決定境界を要求する「プロンプト誘導型二値分類」として VAD を再定義。
2. プロンプト設計の制御分析: 監視映像における MLLM の判断に、プロンプトの具体性（Specificity）とクラス固有のコンテキストがどのように影響するかを体系的に解明。
3. 監視リアルティの時間的コンテキスト検証: 短いクリップウィンドウ（1s/2s/3s）がモデルの感度と安定性に与える影響を評価し、実運用に向けたガイドラインを提供。

5. 意義と結論 (Significance & Conclusion)

• 現状の限界: 現在の MLLM は一般的な動画理解には優れていますが、実世界の監視タスク（ノイズ、曖昧さ、稀な事象）において、ゼロショット設定で信頼できる異常検知者として機能するには**「信頼性（Reliability）」が不足**しています。特に、明示的なガイダンスなしには異常を検知しない「保守的バイアス」が致命的な課題です。
• 解決の方向性: 単なるデータの高解像度化やモデルの規模拡大ではなく、「再帰（Recall）を意識したプロンプト設計」、「文脈に合わせた異常定義の整合性」、および**「不確実性下での意思決定の較正（Calibration）」**が今後の研究の鍵となります。
• 結論: MLLM は監視システムへの統合可能性を示しましたが、実用化には「見逃しを防ぐための意図的なプロンプト設計」と「モデルの較正」が不可欠であることが実証されました。

この研究は、生成 AI や推論モデルをセキュリティ分野に応用する際、単なる「動画理解能力」だけでなく、「実運用における意思決定の信頼性」をどう評価・改善するかという重要な視点を提供しています。