Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

監視カメラは、私たちの都市、店舗、通りを見守り、人間の活動の連続的な流れを捉えています。数十年にわたり、その目標は、人間と共にこの映像を監視し、問題が発生した瞬間にそれを察知できるコンピュータを構築することでした。しかし、課題は、コンピュータに喧嘩や窃盗、あるいは火災を認識させるように教え込むことが非常に困難であることです。それには、数千もの事象の例を機械に見せ、危険なあらゆる瞬間を人間の専門家がマークしなければなりません。この手動によるラベル付けは、時間がかかり、コストも高く、日々生成される膨大な量のビデオデータに対して行うことはしばしば不可能です。これらの詳細なラベルがなければ、標準的なコンピュータプログラムは、何が正常で何がそうでないかを学習することに苦しみ、日常生活の多様さに圧倒されて混乱してしまうことがよくあります。

これを解決するために、シラーズ大学の研究者たちは、人間がビデオのあらゆる秒間にラベルを付ける必要なく、コンピュータに異常を検知させるための新しい方法を開発しました。高価な手動の注釈に頼る代わりに、彼らのシステムは、3つの異なる視点を通してビデオを観察することで、そこで何が起きているのかという独自の理解を構築します。第一に、動きを検出し、画面内のピクセルが変化している部分を特定します。次に、それらの移動領域内にある、人や車両といった特定の物体を認識しようと試みます。最後に、それらの物体の正確な輪郭を描き、それらがどれだけのスペースを占有しているかを確認します。これら3つの観察結果を組み合わせることで、システムはビデオのどの部分が正常で、どの部分が奇妙であるかについての独自の「推測」を生成します。これらの推測は「疑似ラベル（pseudo labels）」として知られていますが、決して完璧ではありません。そのため、研究者たちはシステムが各推測に対してどの程度自信を持っているかを重み付けし、不確かなものは無視して、明確な信号に集中するように特別な手法を設計しました。

この新しいアプローチの核となるのは、これらの自動化された推測から学習する軽量なコンピュータモデルです。研究者たちは、すでに数百万の画像から形状や物体を認識することを学んだ「目」の役割を果たす、学習済みのビジョンシステムを使用し、学習中にその設定が変わらないよう固定しました。これにより、膨大な計算能力を節約し、システムの調整可能な部分を94％近く削減することに成功しました。その後、モデルはメモリ・コンポーネントを使用してイベントのシーケンスを記憶し、フレーム間の点と点を結びつけることで、シーンが時間の経過とともにどのように展開するかを理解しました。システムが、あるシーンを正常とラベル付けしたり、その後すぐに異常とラベル付けしたりといった、唐突で不安定な予測を行わないようにするため、一瞬一瞬の予測が滑らかで一貫したものになるよう促すルールを追加しました。

13種類の犯罪を含む監視ビデオの膨大なコレクションを用いてテストを行ったところ、システムは高い信頼性を示しました。テストケースの約8割において異常事態を正しく特定し、正常な活動と異常な活動を区別するバランススコアにおいて78％を達成しました。研究者たちは、結果に一貫性を持たせるために、異なるランダムな開始点を用いて実験を5回実施しましたが、パフォーマンスはすべての試行において安定していました。決定的なのは、トレーニングビデオ内の危険な瞬間を人間に手動でマークさせることなく、このシステムが達成されたという点です。動きの検出、物体の識別、そしてそれらの輪郭抽出という自動化されたプロセスは、人間の注釈に代わる実行可能な手段であることを証明し、ビデオ監視をかつてないほど大規模なデータセットへと拡張することを可能にしました。

また、この研究により、自動化されたパイプラインの各部分が不可欠であることが明らかになりました。動きの検出、物体認識、または精密な輪郭抽出のいずれかを取り除くと、トラブルを察知するシステムの能力は大幅に低下しました。これは、これら3つの視覚的手がかりの組み合わせが、単一の手法よりも豊かで信頼性の高い全体像を提供することを裏付けています。このシステムはまだ完璧ではなく、非常に混雑した場面や照明条件の悪い環境では苦戦することもありますが、自動監視を実用的なものにするための重要な一歩となります。手動ラベル付けというボトルネックを取り除き、計算コストを劇的に削減したこのアプローチは、人間には到底維持できないレベルの注意力を備えたインテリジェントな監視システムを、現実世界の公共空間に配備するための現実的な道筋を提示しています。