HomeGuard: 家庭タスクにおける文脈的リスクを特定するための VLM ベースの具象化安全ガードの技術的サマリー

本論文は、視覚言語モデル（VLM）を中核とする具象化エージェント（Embodied Agents）が、家庭環境などの複雑な実世界で安全に動作するための新たなアプローチ「HomeGuard」を提案するものです。特に、一見安全な指示が微妙な環境状態によって危険になる「文脈的リスク（Contextual Risk）」の特定と、その過剰な安全回避（Oversafety）の抑制に焦点を当てています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

• 背景: VLM は高レベルの指示を具体的な行動計画に変換する能力に優れていますが、実世界での展開には重大な安全上の懸念があります。
• 核心的な課題:
  • 明示的な悪意ある指示: 意図的に破壊的な命令は比較的検出しやすい。
  • 文脈的リスク（Implicit Contextual Risks）: 指示自体は benign（無害）に見えるが、環境の状態（例：電子レンジの中に金属製の包丁が入っている、可燃物と熱源が近接しているなど）によって危険になるケース。これは検出が極めて困難です。
• 既存手法の限界:
  • ルールベース手法: 物体密度の高いシーンでは、対象物の組み合わせが爆発的に増え、網羅的なルール設計が不可能。
  • モデルベース手法（VLM 直接利用）: プロンプトエンジニアリングに依存しており、雑多な環境において「どの物体がリスクに関与するか」への注意が散漫（Unfocused Perception）になる。その結果、リスクを見逃すか、存在しない危険を幻覚（Hallucination）として検出する（過剰な安全回避）という問題が発生する。

2. 提案手法：HomeGuard

HomeGuard は、アーキテクチャに依存しない（Architecture-agnostic）、プラグ＆プレイ型の安全ガードとして設計されています。

2.1 コンテキストガイド型チェーン・オブ・ソート（CG-CoT）

VLM の「注意散漫」を解決するため、リスク評価を「能動的知覚（Active Perception）」と「意味的判断（Semantic Judgment）」に分解する構造化された推論プロトコルを提案します。

1. 能動的知覚（Active Perception）: 推論前に、視覚的なアンカー（Bounding Box）を明示的に特定します。
   • 相互作用ターゲット（Interaction Targets）: 指示で操作対象となる物体。
   • 制約領域（Constraint Areas）: タスク実行に干渉し、潜在的な危険をもたらす背景物体（例：熱源の近くにある可燃物）。
2. 意味的リスク判断（Semantic Risk Judgment）: 上記で特定された視覚的証拠に基づき、安全原則に照らして最終的なリスク判定を行います。
   • このプロセスにより、モデルは「全体像」から直感的に判断するのではなく、特定の視覚的証拠に基づいて論理的に推論することを強制されます。

2.2 学習戦略

• HomeSafe データセット: 抽象的な安全知識と物理的な視覚的接地（Grounding）を橋渡しするための専用データセット。
  • 10,257 の「危険シナリオ」と 5,710 の「安全シナリオ」を含む。
  • 対照的な「安全ペア（Counterfactual Safe Pairs）」を生成し、過剰な安全回避を抑制する。
  • 対象物体と制約物体の両方に対する高精度なバウンディングボックス注釈と、段階的な推論トレース（CoT）を含む。
• 2 段階トレーニング:
  1. 教師あり微調整（SFT）: 安全原則と構造化された 4 段階の推論形式（指示の意図、ターゲット検査、環境制約分析、統合リスク評価）をモデルに注入。
  2. 強化学習微調整（RFT）: 最終的な正解だけでなく、**中間推論プロセスに対する報酬（Process Rewards）**を活用。
     • 視覚的接地の精度（IoU）を直接評価する報酬を導入し、モデルが推論の途中で正確に物体を特定することを強制する。

3. 主要な貢献

1. CG-CoT メカニズムの提案: 視覚的アンカーを必須の中間表現として導入し、VLM の注意をリスクに関係する領域に集中させることで、見落としや幻覚を大幅に削減。
2. HomeSafe データセットの構築: 家庭環境の複雑さを反映した、視覚的接地と対照的な安全ペアを備えた大規模な安全評価データセット。
3. プロセス報酬を用いた RFT: 中間ステップ（物体の特定）の精度を直接最適化する強化学習手法により、推論の信頼性を向上。
4. 下流タスクへの応用: 生成されたバウンディングボックスを「空間的制約」として活用し、衝突回避や安全な軌道生成を可能にする実用的なパイプラインの構築。

4. 実験結果

• HomeSafe-Bench における性能:
  • リスク検出率（RIR）: HomeGuard-8B は 90.98% を達成し、既存の最高性能プロプライエタリモデル（Gemini-3-Pro: 87.45%）やオープンソースモデルを凌駕。
  • 過剰安全率（Oversafety Rate, OR）: 13.14% と、既存モデルに比べて大幅に低下（例：Gemini-3-Pro は 25.23%）。安全なタスクを不要に拒否するケースが減少。
  • 接地精度（IoU）: ターゲット物体（T-IoU: 0.7206）と制約物体（C-IoU: 0.5562）の両方で、SOTA 性能を記録。
• 一般化性能:
  • EARBench、SafeAgentBench などの公開ベンチマークでも、プロプライエタリモデルに匹敵する性能を発揮し、未知のシナリオへの適応能力が高いことを示した。
• 効率性:
  • 構造化された推論により、従来の「思考型（Thinking）」モデルが抱える計算の冗長性を解消。4B モデルでも推論効率が 4.38 倍向上。
• 応用評価（IS-Bench）:
  • 安全ガイドラインをプランナーに注入することで、タスク成功率が 61.36% から 73.91%、安全な成功率が 29.54% から 45.65% に向上。

5. 意義と将来展望

• 実用性の向上: HomeGuard は単なる「危険検出」にとどまらず、検出された危険の位置情報を具体的な空間制約（Waypoints）として下流のロボット制御に渡すことで、**「安全な軌道生成」**を実現しました。これにより、抽象的な安全知識が具体的な物理動作に変換されるプロセスが確立されました。
• 信頼性の高い具象化 AI: 家庭のような人間中心の環境において、VLM ベースのエージェントが「過剰に慎重にならず、かつ危険を見逃さない」バランスの取れた動作を実現する基盤技術として、実世界展開への道を開きます。
• 今後の課題: 2D 画像からの推論から 3D 点群や深度情報の活用へ、静的な環境から動的な人間・物体の動きへの対応、そして物理ロボットプラットフォームでの実証実験が今後の課題として挙げられています。

総じて、HomeGuard は VLM の「視覚的注意の散漫さ」という根本的な弱点を、構造化された推論とプロセス指向の強化学習によって克服し、実世界での安全な AI 実装に向けた重要な一歩を踏み出した研究です。