ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints

この論文「ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints」は、具象化エージェント（Embodied Agents）が、指示に明示されていない「物体の可用性（Affordance）」の変化や制約をどう処理すべきかという課題に取り組み、新しいベンチマークと解決手法を提案したものです。

以下に、論文の技術的な要点を日本語で詳細にまとめます。

1. 問題定義 (Problem)

既存の具象化 AI の研究（ALFRED や BEHAVIOR-1K など）は、多くの場合、静的な物体の可用性と完全に指定された目標条件を前提としています。しかし、現実世界の家庭環境では、以下のような「指示に含まれていないが、実行可能性を左右する常識的な前提条件」が存在します。

• 動的な制約: 電子レンジが既に使用中である、食器が汚れている、布が汚れているなど、物体の状態が時間とともに変化し、指示されたアクションを一時的に不可能にする場合。
• 指示の不完全性: 「布を引き出しに入れる」という指示に対し、布が汚れている場合は「洗ってから入れる」という常識的な対応が必要ですが、既存のモデルは指示通り（リテラルに）実行しようとして失敗します。

現在の手法は、これらの「満たされていない前提条件（unmet preconditions）」を検知し、行動を適応させる能力が不足しており、動的環境での堅牢性が低いことが課題として指摘されています。

2. 提案手法とベンチマーク (Methodology & Contributions)

2.1 新ベンチマーク：DynAfford

著者らは、動的な物体の可用性と常識に基づく目標条件を評価するための新しいベンチマーク**「DynAfford」**を提案しました。

• 環境: AI2-THOR シミュレーターを使用。
• 特徴: 指示文やタスク目標は変更せず、タスク開始時に物体の状態（占有、使用済み、汚染など）を意図的に「利用不可」な状態に初期化します。
• タスク: 6 種類のタスク（ピックアップ、配置、洗浄、加熱、冷却、積み重ね）を含み、エージェントは隠れた前提条件を推論し、行動を適応させる必要があります。
• データセット: 2,628 件の専門家デモンストレーションと 10,106 件の自然言語タスク注釈を含む 57 件のシーンから構成されます。

2.2 解決手法：ADAPT

既存のプランナーにプラグインとして統合可能なモジュール**「ADAPT (Affordance-Aware Action Selection)」**を提案しました。これは、決定時（decision-time）に動作する推論モジュールであり、以下の 2 段階のプロセスで動作します。

1. Stage 1: Affordance Inference（可用性推論）
   • 現在の観測（RGB 画像）と計画された高レベル行動に基づき、対象物体の「利用可能/利用不可」状態を推論します。
   • 技術的実装: 視覚言語モデル（VLM）である LLaVA-1.5-7B を、タスク固有のデータ（専門家デモンストレーションの再生データ）でLoRA（Low-Rank Adaptation）ファインチューニングします。
   • コンテキスト学習: 推論精度を高めるため、利用可能状態と利用不可状態の参考画像（Few-shot examples）を提示するマルチモーダル・イン・コンテキスト・ラーニング（MICL）を採用しています。
2. Stage 2: Applicability Resolution（適用性解決）
   • 推論結果が「利用不可」の場合、元の行動を実行せず、タスクの意図を維持しつつ代替行動を選択します。
   • 待機（Wait）: 一時的な制約（例：電子レンジ使用中）の場合、条件が整うまで待機します。
   • 前処理行動: 永続的な制約（例：布が汚れている）の場合、洗浄（Clean）などの前処理行動を挿入して条件を満たします。
   • これにより、ゼロから再計画するのではなく、元の計画の整合性を保ちながら柔軟に適応します。

3. 実験結果 (Results)

DynAfford ベンチマーク上で、既存の SOTA 手法（FILM, CAPEAM, MOCA, SayCan, LLM-Planner など）と ADAPT を統合したモデルを比較評価しました。

• 性能向上:
  • FILM + ADAPT: テストセット（Unseen）において、成功率（SR）が 9.34% から 16.18%（+73.2% 改善）、目標条件達成率（GC）が 25.54% から 34.41%（+34.7% 改善）に向上しました。
  • CAPEAM + ADAPT: ベースラインが既に高い性能を持っていましたが、それでも SR が 19.39% から 21.10% へ、GC が 36.28% から 37.43% へ向上し、特にパス長重み付き指標（PLW-SR/GC）で効率性の向上が見られました。
• VLM の比較:
  • ADAPT の推論バックエンドとして、汎用 LLM（GPT-4o）を使用した場合よりも、タスク特化型に LoRA 微調整した LLaVAを使用した場合の方が、可用性の推論精度とタスク成功率が大幅に高いことを示しました。これは、汎用的な推論能力よりも、タスクに即した視覚的グラウンディング（Affordance grounding）が重要であることを意味します。
• アブレーション研究:
  • LoRA 微調整やマルチモーダル・イン・コンテキスト学習を除去すると性能が著しく低下し、これらがロバストな推論に不可欠であることが確認されました。

4. 意義と結論 (Significance & Conclusion)

• 常識的推論の重要性: 具象化エージェントが真に堅牢に動作するためには、指示された「何をするか（What）」だけでなく、「いつ実行すべきか/してはいけないか（When）」を判断する**常識的推論（Commonsense Reasoning）**が不可欠であることを実証しました。
• 動的環境への適応: 物体の状態変化や隠れた制約を推論し、行動を適応させる能力は、現実世界でのロボット展開に必須であり、DynAfford はその診断的なベンチマークとして機能します。
• 将来的な展望: 本研究は、視覚的グラウンディングと計画の統合、および動的制約下での意思決定に関する今後の研究の基盤を提供します。また、部分的な遮蔽（オクルージョン）による推論誤りなどの限界も指摘されており、マルチビュー推論や能動的視点選択への拡張が今後の課題として挙げられています。

要約すると、この論文は「指示通りに動くだけでなく、状況に応じて常識的に判断して行動を修正する」ための新しい評価基準（DynAfford）と、それを可能にする効率的なモジュール（ADAPT）を提案し、具象化 AI の堅牢性向上に大きく貢献したものです。