Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance
本論文は、ビデオ異常検知における文脈的および時間的な制限を効果的に解決し、ベンチマークデータセットにおいて優れた精度を達成するために、シーン認識埋め込みのための対照学習と、マルチインスタンス学習アテンションによって導かれるトランスフォーマーエンコーダを統合したSTAMフレームワークを提案する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、巨大で賑やかな都市の広場を守る、総責任者の警備員になったと想像してください。何百ものカメラがライブ映像を送り続けていますが、一度にすべての画面を見守ることはできません。あなたの仕事は、「異常」を見つけることです。喧嘩、窃盗、あるいは逆方向に走っている人などです。厄介なのは、「異常」とは場所によって全く異なるという点です。図書館では、誰かが走っていることは重大な警告サインですが、サッカー場では、それは試合の一部に過ぎません。長い間、コンピュータプログラムによるこの試みは、単に「動き」だけを見る警備員のようなものでした。誰かが走れば、たとえそれがスタジアムであってもアラームが鳴ってしまいました。彼らはシーンの「文脈（コンテキスト）」を理解していなかったのです。また、数秒前の出来事を覚えておいて、点と点を結びつけることにも苦労していました。この論文は、コンピュータに単なる動きを見せるだけでなく、見ている場所の「雰囲気（バイブス）」を理解させることで、この問題に取り組んでいます。
研究者のリファ・ニザム・カーン氏とモハメド・アムジャド氏は、ジャミア・ミリア・イスラミア大学の研究者であり、STAMと呼ばれる新しいシステムを構築しました。これは、二つの異なる思考プロセスを持つ、非常に賢い探偵のようなものです。第一に、システムは「シーン感知（scene-sense）」モジュールを使用して、自分が正確にどこにいるのかを把握します。これは、静かな公園と賑やかな駅の違いを知っているようなものです。第二に、強力なメモリツール（Transformer）を使用して、短いビデオクリップを観察し、どれが不審であるかを判断します。魔法は、これら二つの部分がどのように対話するかにあります。システムは単独でクリップを見るのではなく、「このアクションはこの場所において妥当か？」と問いかけます。もし答えが「ノー」であれば、アラームを鳴らすのです。
この新しい探偵の仕組みを、簡単なステップに分解して説明します。
二つの脳のアプローチ
従来のシステムの多くは、一つの脳ですべてを行おうとして混乱することがよくありました。STAMは仕事を分割します。
- シーン探偵： アクションを見る前に、システムは環境のスナップショットを取ります。システムは「対照学習（contrastive learning）」という手法を用いて、シーンのメンタルマップを構築します。これは、本が棚から落ちるのが図書館では普通だが、ジムでは奇妙であることを知っている司書のようなものです。システムは場所の「形状」を認識することを学び、あらゆる場所に対して独自のIDカードを作成します。
- アクション監視員： この部分は「膨張型3D ConvNet（またはI3D）」というツールを使用します。通常のビデオカメラを、時間の経過とともに変化する2D写真だとすると、このツールはビデオを空間と時間の固形ブロックとして捉える3Dスキャナーのようなものです。これは動きと人々の姿を捉え、詳細なレポートへと変換します。
「スニペットの袋」ゲーム
このシステムは、ビデオの1時間を一度に視聴することはありません。代わりに、ビデオを「スニペット」と呼ばれる小さな塊に切り分けます。システムはビデオ全体を、これらのスニペットが入った一つの「袋」として扱います。ここで「マルチインスタンス学習（MIL）」が登場します。これは、クラスを採点する教師のようなものです。もし、クラスの一人の生徒（一つのスニペット）が異常を検知された場合、クラス全体（ビデオ全体）が不審であると判定されます。システムはすべてのスニペットを調べ、「これらの中でトラブルメーカーは誰か？」と問いかけます。
魔法の注意機構（アテンション・メカニズム）
これが最もクールな部分です。システムには、場所のIDカードを保持する特別な「シーン・トークン（CLSトークン）」があります。システムが「袋」の中のスニペットをレビューする際、この場所のIDを使用して注意を向ける方向を決定します。これは、「この特定の廊下では、人々は通常ゆっくり歩く。もし誰かが全力疾走しているのを見たら、その者に注目しなければならない」と知っている警備員のようです。システムはアテンション・メカニズムを使用して、各スニペットの重要度を重み付けします。もしスニペットが「その特定のシーンにとって」奇妙であれば、高いスコアを与えます。もし奇妙に見えても、そのシーンに適合している場合（スタジアムでの走行など）、システムはそれを無視します。
結果：完璧に近いスコア
研究者たちは、逮捕、放火、万引きといった現実世界の出来事が含まれる1,900本以上のビデオを用いた有名な監視ビデオデータセット「UCF Crime」を用いて、新しいSTAMシステムをテストしました。また、未知の環境にも対応できるかどうかを確認するために、別のデータセットであるUCF101でもテストを行いました。
結果は目覚ましいものでした。STAMシステムは、**99.85%**の精度と、**99.98%**のAUC（曲線下の面積）スコアを達成しました。これを踏まえて比較すると、「I3D-MIL」や「GAN-MIL」といった他のスマートなシステムは、90%から96%程度の低いスコアしか出せませんでした。論文は、STAMが勝利した理由は、ついに「文脈」を理解したからであると示唆しています。システムは単に人が走っているのを見ているのではありません。「走ることが危険な場所で、人が走っていること」を見ているのです。
なぜこれが重要なのか
著者らは、場所のレイアウトについてコンピュータに明示的に教え、「シーン認識型」のアテンション・メカニズムを使用することで、誤報を劇的に減らすことができることを発見しました。以前のシステムは、公園で誰かが走っているだけで「緊急事態！」と叫んでしまうことがありましたが、それは単なるジョギングでした。しかし、STAMは違いを理解します。この研究は、このアプローチが単なる小さな改良ではなく、ビデオ監視を、現実世界の複雑で混沌とした状況を扱うのに十分なほど「スマート」にするための重要な一歩であることを示しています。このシステムを実行するには、より多くの計算能力が必要になりますが（特定のハードウェアでトレーニング1エポックあたり約8分）、その代償として、はるかに信頼性が高く、空振りに終わることが少ないシステムが得られます。
要約すると、この論文は、悪党を捕まえるためには、単に動きを見る「目」だけでなく、その場所の物語を理解する「脳」が必要であると提案しています。そしてSTAMによって、コンピュータはようやくその物語を理解し始めているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。