SafetyALFRED: マルチモーダル大規模言語モデル（MLLM）の安全意識的計画評価に関する技術的サマリー

本論文は、対話型環境における自律エージェントとして急速に普及しているマルチモーダル大規模言語モデル（MLLM）の、物理的な安全リスクへの対応能力に焦点を当てた研究です。既存の評価手法が「危険の認識」に偏っている現状を批判し、「危険の認識」から「能動的なリスク軽減（緩和）」までの一貫した行動を評価する新しいベンチマークSafetyALFREDを提案し、その評価結果を通じて MLLM の安全対策における大きなギャップを明らかにしました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

• 背景: MLLM は、高レベルの自然言語指示を実行可能な計画に変換する自律型物理エージェント（ロボットなど）として利用され始めています。しかし、これらのモデルが環境内の安全リスク（物理的怪我、財産損傷、資源損失のリスク）を特定し、能動的に解決する能力は不十分です。
• 既存研究の限界: 従来の安全ベンチマーク（ASIMOV, MM-SafetyBench など）は、静的な画像や動画に基づいた「質問応答（QA）」タスクに依存しており、エージェントが危険を「認識」できるかのみを評価していました。
• 核心的な課題: 危険を認識できることと、動的な物理環境においてその危険を回避・解消する「計画（プランニング）」を実行できることの間には大きな乖離（Alignment Gap）が存在する可能性があります。本研究はこの乖離を定量化し、静的な QA 評価が物理的な安全性の保証として不十分であることを示すことを目的としています。

2. 手法：SafetyALFRED ベンチマーク

既存の身体性（Embodied）タスクベンチマーク「ALFRED」を拡張し、SafetyALFREDを構築しました。

• 環境: AI2-THOR シミュレータ上の 30 種類のキッチン環境を使用。
• タスク: 自然言語指示に基づき、オブジェクトの移動、洗浄、加熱などの家事タスクを完了させる。
• 危険の導入: 6 つのカテゴリに分類される現実的な危険をシナリオに意図的に組み込みます。
  1. 家電の誤使用 (Appliance Misuse): 電子レンジに金属や可燃物を投入する。
  2. 腐敗 (Spoilage): 冷蔵庫の扉を開けっ放しにする。
  3. 転倒・つまずき (Fall/Trip Hazard): 扉が開けっ放しのキャビネットなど。
  4. 火災 (Fire Hazard): 調理中のコンロの近くで作業を行うなど。
  5. 財産損傷 (Property Damage): 水に弱い物を流しに置く。
  6. 不衛生 (Unsanitary): 汚れた床に物を置く。
• 評価タスク: 11 種類の最先端 MLLM（Qwen, Gemma, Gemini ファミリー）を以下の 2 つのモードで評価します。
  1. QA タスク（危険認識）: 静的な視点から、現在のシーンに危険があるか否かを判断する（従来の評価手法）。
  2. 身体化タスク（危険認識と緩和）: 家事タスクを完了させる過程で、遭遇した危険を認識し、タスクを中断して危険を除去する計画（アクション）を生成する。

3. 主要な貢献

1. SafetyALFRED ベンチマークの提案: 物理的な安全リスクをシミュレートし、危険の「認識」と「能動的な緩和」の両方を評価できる初の包括的なベンチマーク。
2. 認識と行動の乖離の定量化: MLLM が QA タスクでは高い精度で危険を認識できる一方で、身体化タスクではその知識を行動に変換できず、リスク軽減成功率が著しく低いことを実証しました。
3. 評価パラダイムの転換の提唱: 静的な QA 評価だけでは物理的安全性を担保できないため、文脈に応じた修正行動（Corrective Actions）を重視する身体化評価へのパラダイムシフトを提唱しました。
4. マルチエージェントフレームワークの検証: 危険認識（裁判官）とタスク実行（エージェント）を分離するマルチエージェント構成を導入し、認識能力が行動能力に直結しないこと、およびタスク完了への優先度が安全対策を阻害していることを示しました。

4. 実験結果

11 種類のモデル（オープンウェイトとクローズドウェイト）を対象とした実験結果は以下の通りです。

• 認識と緩和の大きなギャップ:
  • QA タスク: 上位モデルは危険認識で平均**92%**の精度を達成しました（メタデータ辅助時）。
  • 身体化タスク: 同一のモデルでも、危険を緩和する成功率は平均60% 未満（メタデータありでも）に留まりました。特にオープンウェイトモデルでは、メタデータなしでは 20% 未満の成功率でした。
• メタデータの重要性: 視覚入力のみ（Vision-only）では危険の特定が困難でしたが、環境状態のテキスト記述（メタデータ）を提供することで認識精度は向上しました。しかし、メタデータがあっても「計画（緩和行動）」の成功率は劇的には向上しませんでした。
• タスク完了優先の傾向: モデルは危険を認識していても、タスクの完了を優先し、危険を無視してタスクを継続する傾向が見られました。これは「安全かつ失敗（Safe & Unsuccessful）」のケースが多く、「安全かつ成功（Safe & Successful）」のケースが少ないことからも裏付けられます。
• モデルサイズの効果: モデルサイズが大きいほど危険認識精度は向上しますが、身体化タスクでの緩和成功率との相関は弱く、むしろ認識精度が高いモデルほど行動との乖離が顕著になる傾向も見られました。
• マルチエージェントの効果: 危険認識を専門の「安全判断エージェント」に任せるマルチエージェント構成を採用すると、緩和成功率は向上しましたが（例：Qwen 3 VL 32B で 0.7% → 71.1%）、それでも完全には解決されず、モデルが危険を認識していても実行段階で失敗するケースが残りました。

5. 意義と結論

• 安全性評価の限界: 現在の MLLM の安全評価は、抽象的な知識（QA）に依存しすぎており、物理世界での実用的な安全性を保証するものではありません。危険を「知っている」ことと「実行する」ことの間には、計画能力や注意リソースの配分に関する深刻な課題が存在します。
• 今後の研究方向:
  • 身体化データ: 安全リスクを伴う物理タスクのデータセットとシミュレーション環境の拡充が必要。
  • 評価手法: 単なるタスク完了率だけでなく、安全対策とタスク完了のトレードオフを考慮した評価指標の確立。
  • 実用化: 大規模モデルは計算リソースの制約からロボットに搭載が困難な場合が多く、小規模モデルでも安全な推論ができるよう、効率的な安全メカニズムの開発が急務です。

結論として、 SafetyALFRED は、MLLM が自律エージェントとして安全に動作するためには、単なる危険認識能力の向上だけでなく、物理環境における「安全意識的計画（Safety-Conscious Planning）」能力の強化が不可欠であることを示しました。本研究は、将来的なロボットや自律エージェントの安全性保証に向けた重要な基盤を提供します。