技術要約: PaSBench-Video

問題提起

現在のマルチモーダル大規模言語モデル（MLLM）は、ビデオ理解能力を備えているものの、「プロアクティブな安全監視（proactive safety monitors）」として機能する能力には欠けている。事故はしばしば視覚的に認識可能な警告サインによって前触れされるが、既存のベンチマークは、最初の目に見える兆候から危害が発生するまでの決定的な時間窓を評価できていない。現在の安全ベンチマークには、主に以下の3つの制限がある：

1. 静的な入力: 連続的なストリーミングビデオではなく、静止画や画像シーケンスに依存している。
2. 時間的キャリブレーションの欠如: 早すぎる警告（リスクが可視化される前に発行されるもの）と、遅すぎる警告（危害が発生した後に発行されるもの）を区別できていない。
3. 偽陽性の測定の不在: 無害なシーンにおける評価を省略しており、頻繁な誤報がユーザーの信頼を損ない、アラーム疲れを引き起こすという重要な問題を無視している。

その結果、MLLMがビデオストリームを因果的に観察し、リスクが実行可能になる正確な瞬間を特定し、タイムリーな警告を発し、かつ安全なシーンでは沈黙を保つことができるかどうかを判断するための、制御されたテストベッドが存在しない。

メソドロジー

データセット構築: PaSBench-Video

著者らは、運転、ヘルスケア、日常生活（スマートホーム）、産業生産の4つのドメインにわたる740本のビデオで構成されるベンチマーク、PaSBench-Videoを導入する。

• リスク・スプリット (481本): 進展する安全リスクを含む、手動検証済みのクリップ。各ビデオには、フレームレベルの境界がアノテーションされている：
  • リスク開始 ($r$): 実行可能な警告を支持する視覚的証拠が存在する最も早いフレーム。
  • 事故 ($a$): 有害な事象が始まるフレーム。
  • リスク源および回避アクション: 特定のハザードエージェントと推奨される介入策。
• ノーリスク・スプリット (259本): 通常の運転、監視、ホームモニタリングからの無害なクリップ。偽陽性率を測定するためにのみ使用される。
• データソース: 実世界のデータセット（DADA-2000、Nexar、OOPSなど）に加え、特定の粒度の注釈が必要なヘルスケアや産業シナリオのために、Kling v3 Omniを介して生成された合成データが含まれる。
• フィルタリング: 厳格な2段階のフィルタ（Qwen3.5およびGemini-3.1-Proを用いたモデルベースのフィルタリング、それに続く人間による判定）により、クリップが予測可能（過去または現在のフレームからリスクが推論できる）、回避可能（介入が可能）、非意図的（演出されたスタントではない）、および視覚的に根拠があることを保証している。

評価プロトコル

本ベンチマークは、ストリーミング評価プロトコルを採用している：

• 因果的観察: モデルは、スライディングウィンドウ（3秒間のウィンドウ、0.3秒のストライド）内の過去および現在のフレームのみを受け取る。
• タスク: モデルは、構造化された警告（リスク源とアクションを特定する）を発行するか、あるいは沈黙を保つかを決定しなければならない。
• 指標: 介入リードタイム $\tau$（デフォルトは1.0s）によってパラメータ化された、段階的に厳格化される指標の階層：
  1. Any-Det@$\tau$: 事故前の「何らかの」警告の検出。
  2. Any-Hit@$\tau$: 有効なリスク窓 $[r, a-\tau]$ 内での警告の検出。
  3. First-Hit@$\tau$: ビデオにおける「最初の」警告が $[r, a-\tau]$ 内にあること。
  4. First-Act@$\tau$: 最初の警告が正しくタイミング通りであり、かつリスク源と内容を正しく特定していること。
• 偽陽性率: $\ge K$ 回の警告をトリガーしたノーリスク・ビデオの割合として測定される。

実験設定

著者らは、オープンウェイトモデル（Qwen3.5、Gemma）およびプロプライエタリモデル（Gemini、Claude、GPT）を含む13のMLLMをベンチマークした。すべてのモデルは、同一のプロンプト、温度0、およびフレームサンプリングを用いて評価された。

主要な結果

1. 低いパフォーマンスと定性的な失敗

どのモデルも、最も厳しい指標（First-Act@1）において**20.0%**を超えることはなかった。これは、5本に1本未満のビデオしか、タイミングが適切で、かつリスク源を正しく特定する警告を受け取っていないことを示している。検出（Any-Det）と実行可能な警告（First-Act）の間のギャップは極めて大きい。例えば、Gemini 3.1 Proは93.6%のビデオでリスクを検出しているが、First-Actスコアはわずか20.0%に過ぎない。

2. リコールと偽陽性の緊密な結合

リコールと偽陽性率の間には、強い正の相関（Pearson $\rho=0.64$）がある。モデルは、偽報を比例的に増大させることなく、検出率を向上させることができない。これは、現在のモデルが真のリスク推論を行うシステムではなく、感度閾値検出器として機能していることを示唆している。感度を高めると、警告は「見逃し」から「早すぎる」へとシフトするが、「有効な」警告の割合が増えるわけではない。

3. ドメイン依存のパフォーマンス

パフォーマンスは、視覚的な判別能に基づいてドメインごとに大きく異なる：

• 日常生活: リスクが本質的に異常である（例：人が転倒する、火が出ている）ため、モデルは低い偽陽性率で中程度のリコールを達成する。
• 運転: モデルは無差別に作動し、パフォーマンスが低い。日常的なシーン（合流、横断）と衝突前のシーンは視覚的に酷似しており、これがモデルにリスクが実際に可視化される前に警告をトリガーさせる原因となっている（高感度モデルの失敗の90%は「早すぎる」ものであった）。

4. 失敗モード

タイミングが正しい場合でも、モデルはリスク源の特定に頻繁に失敗する：

• 誤ったリスク対象 (36.9%): 正しいエンティティクラスを特定しているが、特定のインスタンスが間違っている（例：セダンではなくバスを予測する）。
• エンティティ・タイプの取り違え (33.9%): 異なるカテゴリのエージェントを幻覚として提示する（例：ハザードが車両であるときに歩行者を予測する）。
  これらは、モデルが活動が危害へとエスカレートするかどうかについての因果的推論ではなく、シーンレベルの活動の手がかりに依存していることを示している。

5. デプロイメントの制約

能力のギャップに加え、エンジニアリング上の制約が即時のデプロイを妨げている：

• レイテンシ: 最速のモデル（GPT-5.4 mini）であっても、中央値のレイテンシ（〜3.5s）は、0.3sのウィンドウ・ストライドよりも1桁大きい。
• コスト: トップティアのプロプライエタリモデルを用いた継続的なモニタリングコストは、カメラ1台あたり1日2,000ドルを超える。一方、オープンウェイトモデルは、法外なレイテンシという問題を抱えている。

重要性と主張

本論文は、PaSBench-Videoが、アルゴリズムの進歩をインフラストラクチャの改善から分離して、プロアクティブなビデオ安全警告を評価するための初の制御されたテストベッドであることを主張している。因果的観察を制限することで、モデルが表面的な活動の手がかりに依存しており、発生しつつある危害についての推論を行っていないことが明らかになった。

著者らは、エンジニアリング上の制約（レイテンシ、コスト）と能力不足（低いリコール、高い偽陽性）の両面から、プロアクティブな警告タスクはまだデプロイの準備が整っていないと強調している。しかし、単純な活動検出を超えて、真の時系列的リスク推論（リスクの予兆把握）へのアルゴリズムの進歩を導くために、この能力を今ベンチマークすることは「適時であり、かつ必要である」と主張している。データセットは研究を促進するために公開されており、その明確な目的は、日常的な活動と差し迫った危険を区別できるモデルを開発することにある。