技術的概要：DriveSafe

問題定義

自律走行車にとって、安全上重要な環境におけるリスクを特定し軽減するためには、包括的な状況認識が不可欠である。マルチモーダル大規模言語モデル（MLLM）は一般的な視覚言語タスクにおいて成功を収めているが、著者らは、ゼロショットの MLLM が運転における微細で空間的に根拠のあるリスク評価において性能が不十分であることを発見した。具体的には、既存の汎用モデルは、潜在的な危険を特定したり、実行可能な安全ガイダンスを提供したりできない、一般的で記述的なキャプションを生成する傾向がある。さらに、従来のドメイン固有のアプローチは、リスク予測や軌道予測に焦点を当てることが多く、実用的な展開に必要な明示的で人間が理解できる安全提案の生成を軽視している。また、重要な物体をリスクに関連する行動キーワードおよび安全提案と明示的に関連付けるデータセットも不足している。

手法

著者らは、生動画に大規模な MLLM を直接微調整するのではなく、構造化された自然言語記述を活用するリスク認識型のシーン理解のためのフレームワークDriveSafeを提案する。このフレームワークは主に 2 つの段階で動作する。

1. マルチモーダルコンテキストを用いたキャプション生成

視覚エンコーダのみに依存するのではなく、DriveSafe は特定の文脈的手がかりを統合することでシーン理解を強化する。

• 空間的コンテキスト（$S_t$）： 走行可能な領域を画定するための道路および車線セグメンテーションマスクから導出される。
• 運動コンテキスト（$M_t$）： オプティカルフローを介して抽出され、エージェント（車両、自転車、歩行者）の相対的な動きを強調する。
• 深度コンテキスト（$D_t$）： 物体レベルで計算され、自車との空間的近接性を推定する。
• 動画記述（$d_v$）： MLLM によって生成された高レベルのセマンティック要約。

これらのモダリティは統一された入力（$X_v$）に統合され、構造化されたプロンプトを介して大規模言語モデル（LLM）に供給される。このプロセスにより、自車の操舵、周囲のエージェントの行動、車線位置、および深度/運動手がかりを含むバウンディングボックスを明示的に含む幾何学的認識キャプション（$C_v$）が生成される。

2. リスク評価および安全提案

生成されたキャプション（$C_v$）は、LLM によって処理され、以下の情報を推論する。

• 二値リスクラベル（$\hat{r}$：Yes/No）。
• 危険を説明する洗練されたリスクキャプション（$C_r$）。
• 行動を捉えるリスク関連キーワード（$\hat{K}$）。
• リスクのある物体のバウンディングボックス（$\hat{b}$）。

安全提案の導出： 抽出されたキーワードは、DRAMA データセットから導出されたルールベースのマッピング関数（$g(\cdot)$）を用いて、「減速」「停止」「譲路」などの 9 つの定義済み安全提案カテゴリにマッピングされる。

学習戦略：

• ゼロショット： このフレームワークは、LLM を直接プロンプトすることで、微調整なしに動作可能である。
• アダプター微調整： 性能を向上させるため、著者らはキャプション・指示・応答の 3 項組で学習された軽量アダプターモジュール（LLaMA-Adapter）を採用する。これにより、大規模な動画事前学習なしに、LLM をドメイン固有のリスク推論に適合させる。学習目的は、構造化された応答（リスクラベル、キャプション、キーワード、バウンディングボックス）の負の対数尤度を最小化することである。

主な貢献

1. DriveSafe フレームワーク： 動画に対する直接の MLLM 微調整を回避する新規パイプライン。その代わりに、オプティカルフロー、セグメンテーション、深度などのマルチモーダル手がかりを動画記述と統合して運転固有のキャプションを生成し、それを LLM に処理させてリスク予測および安全提案を行う。
2. データセットの拡張： 著者らは、DRAMAデータセットを拡張し、リスクのある行動を重要な物体と明示的に関連付け、安全提案の注釈を導入した。訓練セットの自動注釈には LLM を用い、信頼性を確保するためにテストセットには手動注釈を割り当てた。
3. 実行可能な安全ガイダンス： 検出のみに焦点を当てた先行研究とは異なり、DriveSafe は検出された危険に関連付けられた根拠のある安全提案を明示的に生成する。

実験結果

実験はDRAMAベンチマークで行われ、DriveSafe を既存のリスク評価モデル（LCP、VTS、HoP）および汎用 MLLM（Qwen2.5-VL、LLaVA-NeXT、VideoLLaMA3）と比較した。

• キャプション生成： DriveSafe-Finetuned は、ゼロショットの MLLM および専門的なベースラインを大幅に上回った。例えば、BLEU-4 スコアは60.38を達成し、HoP の約 56、汎用 VLM の 30 未満と比較して優れていた。
• リスク物体のグラウンディング： 微調整モデルは、Acc@0.5 で 74.8、Mean IoU で 59.8 を達成し、局所化に苦慮した汎用 VLM（例：Qwen2.5-VL は Acc@0.5 が 0.0）を大幅に凌駕した。著者らは、ゼロショットモデルの場合、IoU 単独は誤解を招く可能性があることを指摘している。稀な正しい一致によって高い IoU スコアが得られ、大半のリスクを見逃す場合があるからである。DriveSafe は同時に高い精度と IoU を維持している。
• 安全提案予測： DriveSafe-Finetuned は52.85% の精度および37.15 の加重 F1 スコアを達成し、ゼロショット版（23.49% の精度）の 2 倍以上の性能を発揮し、すべてのベースライン（13〜19% の精度範囲）を大幅に上回った。
• 定性的分析： ケーススタディにより、DriveSafe-Finetuned はゼロショットモデルで一般的なハルシネーションや誇張を減少させ、根拠のある解釈（例、停止中の車両と走行中の車両を正しく識別する）および文脈に適した提案を提供することが示された。

意義と主張

本論文は、DriveSafe がリスク理解と実行可能な安全ガイダンスを橋渡しすることで、自律走行における重要なギャップを埋めると主張している。幾何学的および運動的手がかりを強化した明示的な言語ベースのシーン表現に基づいてリスク評価を行うことで、このフレームワークはリスク検出および安全提案生成において最先端の性能を達成する。

著者らは、特定されたリスクを具体的な安全推奨事項に明示的に関連付けることで透明性を提供する点が、自律システムへの信頼構築に不可欠であると強調している。彼らはこの研究を基礎的なステップとして位置づけ、現在のリスクから安全へのマッピングは静的であるものの、安全上重要な推論のための新規フレームワークを確立したと述べている。論文は、安全上重要な運転シナリオにおいて汎用 VLM の限界を克服するためには、ドメイン固有の適応（軽量アダプターおよびマルチモーダルコンテキストを介して）が必要であると結論付けている。