A VLM Answer Is Not an Anomaly Score: Rank Compression in Training-Free Video Anomaly Detection

監視システムの静かな唸りの中で、カメラは街角や工場のフロア、あるいは地下鉄の駅を見つめ、何かが起きるのを待っている。数十年にわたり、コンピュータは「異常」と呼ばれるこれらのトラブルを特定することに苦戦してきた。なぜなら、異常とは稀で予測不可能であり、実際に起こるまでは、まるで何も起きていないかのように見えることが多いからである。従来のシステムでは、エンジニアが犯罪や事故の例を数千個も入力して、それらを教え込む必要があった。そのプロセスは遅く、硬直的であった。最近では、「ビジョン・ランゲージ・モデル」と呼ばれる新しい種類の人工知能が、異なる道筋を提示している。これらは、画像を見て人間の言葉というレンズを通してそれを理解できる強力なシステムである。暴力や窃盗の特定の例に基づいて訓練される代わりに、「ここで何か危険なことが起きていますか？」という単純な質問を投げかけることができるのだ。もしモデルが「はい」と答えれば、システムはその瞬間をフラグ立てする。一見すると単純明快な解決策に思えるが、新しい研究によれば、モデルの答えをどのように聞き取るかが、答えそのものと同じくらい重要であることが明らかになった。

韓国の成均館大学の研究者たちは、これらのモデルがいかにして自身の思考を、コンピュータがイベントの順位付けに使用できるスコアへと変換するかを調査した。彼らは、これらのモデルを使用する標準的な方法が、膨大な量の有用な情報を捨ててしまっていることを発見した。モデルにビデオクリップの判定を求められたとき、モデルは単に「はい」や「いいえ」といったリストから単一の言葉を選ぶのではない。代わりに、モデルは起こりうるあらゆる回答に対して確率を算出する。それは、確信度のスケールのようなものだと考えてほしい。あるクリップに対してモデルが94%の確信度を持ち、別のクリップに対しては56%の確信度を持つことがある。従来の方法では、両方のクリップが単に「はい」というラベルを受け取り、コンピュータはそれらを同一のものとして扱ってしまう。研究者たちは、この詳細の喪失（彼らが「ランク圧縮」と呼ぶもの）によって、システムが「危うい一歩手前」と「明白な危険」を分ける微妙な違いを見逃してしまうことを突き止めた。

これを修正するために、チームは異なるアプローチをテストした。モデルが単一の言葉を選ぶのを待つのではなく、モデルが生成したあらゆる可能な回答に対する確率の全広がりを見ることにした。彼らは、この確信度の分布全体を、一つの精密な数値へと変換した。「プロバビリティ・リードアウト（確率読み出し）」と彼らが呼ぶこの手法により、システムは、両方が「はい」とラベル付けされていても、94%のクリップは56%のクリップよりも著しく危険であることを識別できるようになった。彼らが4つの異なる大規模モデルと2つの主要なビデオ異常ベンチマークを用いてこの手法をテストしたところ、結果は驚くべきものだった。この新しいアプローチは、あらゆるテストにおいて従来の方法を上回った。あるデータセットでは、精度における改善は最大13パーセントポイントに達し、別のデータセットでは19ポイント近くに達した。これらの利得は小さな変動ではなく、使用される特定のモデルや質問の種類に関わらず、一貫しており、かつ重大なものであった。

研究者たちはまた、なぜ従来のメソッドがこれほど頻繁に失敗するのかについても調査した。彼らは、モデルに非常に細かい尺度を与え、単なる2択ではなく91個の異なる数値から選べるようにした場合でも、モデルは依然として回答を少数の繰り返される値へと収束させてしまうことを見出した。システムは依然として多くの異なるクリップを同一のものとして扱い、「同点」による順位付けの停滞を生み出していた。新しい手法はこの罠を完全に回避した。完全な確率分布を使用することで、システムはビデオ内のほぼすべての瞬間を区別することができ、不連続な「同点」のリストではなく、滑らかで詳細なランキングを作成することができた。この違いは、セキュリティにおいて、最も危険な瞬間を最上位にランク付けできる能力こそが最も重要であるため、極めて重要であった。研究は、この新手法を用いることで、誤報率を低く抑えたまま、実際の危険を発見する数を倍増させることができ、追加のトレーニングや追加の計算能力を必要とせずに、システムを実質的に2倍使いやすくできることを示した。

チームは、この優位性が本物であり、質問の言い回しやモデルへの説明のさせ方による単なる産物ではないことを確認するために、検証も行った。彼らは、スコアを与える前にシーンを記述させる、あるいはスコアを与えた後に理由を説明させるという試みを行った。どのようなケースにおいても、完全な確率分布を見る手法が優れていることが示された。彼らはさらに、より強力で大規模なモデルを使えばその差が縮まるかどうかをテストしたが、優位性は維持され、時には拡大することさえ分かった。唯一、モデルがスコアを与える前に説明を書くことを強制された場合にのみ、その優位性が縮小した。これは、モデルの内部的な確信度を圧縮してしまうためであると考えられる。このことは、これらのAIシステムの潜在能力を最大限に引き出す鍵が、その出力の読み取り方にこそあることを示唆している。

この研究は、単なる小さな微調整を提供しているのではない。安全のための人工知能の使い方における、極めて重要なステップを再定義するものである。研究者たちは、モデルの内部的な思考プロセスと最終的なスコアとのインターフェースは、些細な詳細ではなく、システムの性能における中心的な部分であることを証明した。単に回答の読み取り方を変えること（単なる最終的な言葉だけでなく、確信度の全体像を見ること）によって、エンジニアは同じ凍結されたモデルを、より鋭い検知器へと変えることができる。研究は次のように結論づけている。トラブルを監視するシステムを構築する者にとって、モデルの答えをどのように解釈するかという選択は、モデルそのものと同じくらい重要である。これは、人工知能の世界において、最も強力な信号は、最後に発せられた言葉だけでなく、語られようとしているニュアンスの中に隠されていることが多いということを思い出させてくれる。