論文要約：Environmental Understanding Vision-Language Model for Embodied Agent (EUEA)

本論文は、指示に従って動作する具象化エージェント（Embodied Agent）の環境理解能力を強化し、タスク実行の信頼性を高めるための新しいフレームワーク「Environmental Understanding Embodied Agent (EUEA)」を提案しています。視覚言語モデル（VLM）は優れた推論能力を持っていますが、環境の物理的な状態や変化を深く理解する点で限界があり、メタデータへの依存や実行エラーに悩まされています。この課題を解決するため、EUEA は単一の VLM 内で 4 つの中核スキルを微調整し、回復ステップと GRPO（Group Relative Policy Optimization）段階を導入することで、環境理解とタスク遂行能力を飛躍的に向上させています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年の VLM は、具象化エージェントにおける指示理解や推論において高い性能を示していますが、以下の課題が存在します。

• 環境理解の欠如: 既存のアプローチは、複雑なモジュールパイプラインの依存や、オブジェクト ID やマスクなどの環境メタデータへの依存に陥りがちです。エンドツーエンドモデルは明示的な環境解釈能力が不足しています。
• 実行エラーへの脆弱性: 環境の物理的変化（例：ドアが開いたか、物が動いたか）を正しく認識できず、失敗したタスクを適切に回復できません。既存の回復手法は、環境からの自動フィードバックや定義済みの失敗タイプに依存しており、視覚的なグラウンディング（grounding）が不足しています。

2. 手法 (Methodology)

EUEA は、単一の VLM 内で 4 つの中核スキルを統合的に学習させるフレームワークです。これらは部分観測マルコフ決定過程（POMDP）に基づき設計されています。

A. 4 つの中核スキル (Core Skills)

VLM は以下の 8 つのサブタスク（4 つの主要スキル）を同時に学習します。

1. オブジェクト知覚 (Object Perception):
   • オブジェクト認識 (OR): 画像内の存在するオブジェクトを特定。
   • オブジェクト検出 (OD): 現在のタスクに関連するオブジェクトのバウンディングボックスを特定。
2. タスクプランニング (Task Planning):
   • サブゴール計画 (STP): 主要な目標を達成するためのサブゴールを生成。
   • ステップバイステップ計画 (SAP): 現在のサブゴールを達成するための具体的なアクションを生成。
3. アクション理解 (Action Understanding):
   • アクション成功予測 (ASP): 現在の状況でアクションが成功するかどうかを予測。
   • 将来の状況キャプション (FSC): アクション実行後の環境変化を記述（失敗例のデータも積極的に生成）。
   • アクショングラウンディング (AG): 2 枚の画像から実行されたアクションを特定。
4. ゴール認識 (Goal Recognition):
   • 主要ゴール認識 (GRmain) / サブゴール認識 (GRsub): タスクまたはサブゴールが完了したかどうかを判定。

B. 回復ステップ (Recovery Step via Sampling)

実行中に失敗が発生した場合、追加の学習なしで以下の手順で回復を試みます。

• SAP スキルを用いて、失敗したアクションとは異なる代替アクションをサンプリング。
• 目標達成の確信度（スコア）に基づき、最も有望なアクションとオブジェクトのペアを選択。
• 必要に応じて OD を再実行し、正しいバウンディングボックスを取得。

C. GRPO 精製段階 (GRPO Refinement Stage)

教師あり微調整（SFT）後の不一致な予測を修正するために、グループ相対方策最適化（GRPO）を導入。

• 報酬関数: 各スキル（知覚、計画、理解、認識）の正解率、IoU（交差和比）、Jaccard 指数、アクションシーケンスの順序に基づいて報酬を定義。
• 戦略: 不確実性が高いサンプル（回答の分散が大きいもの）に焦点を当て、一貫性のある高品質な回答を生成するようにモデルを微調整。

3. 主要な貢献 (Key Contributions)

1. EUEA フレームワークの提案: 個別のモジュールを組み合わせるのではなく、単一の VLM 内で 4 つの中核スキルを統合的に学習させることで、環境理解とエンドツーエンドの相互作用を可能にしました。
2. 回復メカニズムと GRPO: 失敗時のサンプリングベースの回復ステップと、不一致を修正する GRPO 段階を導入。これにより、外部フィードバックや定義済みの失敗パターンに依存せず、モデル自身の環境理解に基づいて自己修復を行います。
3. 大規模スキルデータセットとベンチマーク:
   • ALFRED と LangR ベンチマークに基づき、約 124 万（トレーニング）〜370 万（検証）のサンプルからなるスキルデータセットを構築。
   • 既存のクローズドソース・オープンソース VLM に対するスキルレベルの評価ベンチマークを確立し、環境理解能力のギャップを可視化しました。

4. 実験結果 (Results)

ALFRED タスク評価:

• タスク成功率: 従来の行動模倣（BC）ベースラインと比較して、SFT 段階で8.86%、GRPO 段階を経てさらに**3.03%向上し、合計で10.96%**の改善を達成しました（平均成功率 86.48%）。
• 回復効果: 外部環境フィードバックに依存する既存手法よりも、EUEA のサンプリングベース回復の方が高い成功率を示しました。

スキル評価:

• 既存の VLM（GPT-4o, Gemini, LLaVA, InternVL など）は、ゼロショットでは環境理解（特にアクション成功予測やオブジェクト検出）において性能が限定的でした。
• EUEA で微調整したモデルは、すべてのスキル（オブジェクト知覚、タスクプランニング、アクション理解、ゴール認識）において、ゼロショットモデルや BC ベースラインを大幅に上回る性能を示しました。
• OOD 一般化: ALFRED で学習したモデルを、異なる環境（LangR）で評価しても、ゼロショットモデルを上回る性能を維持し、分布のズレに対する頑健性を示しました。

5. 意義と結論 (Significance & Conclusion)

• 環境理解の重要性の再確認: 単に言語や視覚情報を処理するだけでなく、物理的な環境変化を予測・理解するスキル（アクション成功予測、将来状況記述など）を明示的に学習させることが、具象化エージェントの成功に不可欠であることを実証しました。
• 自己修復能力の確立: 外部フィードバックなしに、モデル自身の推論とサンプリングによって失敗を回復する仕組みは、より自律的で信頼性の高いエージェントの実現に寄与します。
• 今後の展望: 現在は離散環境での評価ですが、将来的にはビデオ入力による連続環境への拡張や、低レベルナビゲーションとの統合、そして明示的な推論メカニズムの導入が期待されます。

本論文は、VLM を単なる「指示理解器」から、環境を深く理解し、失敗から学習・回復できる「自律的なエージェント」へと進化させるための重要なステップを示しています。