技術要約：社会的および身体的推論を用いた指示遂行（FISER）

問題の定式化

本論文は、協調的な身体的人間・ロボットタスクにおいて、AIエージェントが自然言語の指示に従うことを可能にするという課題に取り組んでいる。標準的なグラウンデッド言語学習は、指示をアクションにマッピングするものであるが、人間の指示が本質的に曖昧である現実世界のシナقリオでは、しばしば失敗する。人間は、聞き手が自身の隠れた目標や意図に関する事前知識を持っていることを前提としており、効率性のために重要な情報を省略することがある（Grice 1975; Sperber and Wilson 1986）。

著者らはこれを、人間・ロボット・マルコフ決定過程（MDP）として定式化している。この設定では、人間は自然言語の指示 $u$ を発行する前に、共有環境内で一連のアクションの軌跡 $\tau_{t'}$ を実行する。ロボットは、正しいロボットタスク $G_r$ を決定するために、人間の隠れた内部報酬関数 $R_h$ と特定のサブゴール $p^*$ を推論しなければならない。核心的な困難は、指示 $u$ 単体では不十分であり、ロボットが部分観測可能な人間の軌跡と環境のコンテキストを活用して曖昧さを解消しなければならないという点にある。

手法：FISERフレームワーク

著者らは、指示遂行の問題を、**社会的推論（Social Reasoning）と身体的推論（Embodied Reasoning）**という2つの明確なフェーズに明示的に分解するフレームワークである、Follow Instructions with Social and Embodied Reasoning (FISER) を提案している。

1. 人間の意図のモデリング

本フレームワークは、人間の隠れたゴール $G_h$ を論理述語の集合としてモデル化する。人間は、支援を必要とする特定のサブゴール $p^*$（全体計画の一部）を選択し、ロボットタスク $G_r$ を指定する指示 $u$ を生成する。ロボットは $G_h$、$p^*$、$G_r$ を直接観察することはできず、観測された軌跡 $\tau_{t'}$、最終状態 $s_{t'}$、および指示 $u$ からこれらを推論しなければならない。

2. 2フェーズ推論

• フェーズ1：社会的推論（タスク認識）： ロボットは、自然言語の指示を具体的かつ実行可能なロボットタスク $G_r$ へと曖昧さを排除する。このフェーズには以下が含まれる：
  • ロボットのタスク認識： $s_{t'}$、$\tau_{t'}$、および $u$ が与えられた条件下での $G_r$ の推定。
  • 人間のプラン認識（オプション）： モデルが $G_r$ を決定する前に、人間のサブゴール $p^*$（例：「本を箱に収納する」）を明示的に予測する強化ステージ。これは、論理述語のタプル（量化詞、主観、動詞、目的語）を予測するものとしてモデル化される。
• フェーズ2：身体的推論（グラウンデッド・プランニング）： $G_r$ が確立されると、問題は標準的なゴール条件付きプランニングタスクへと還元される。ロボットは、環境内で $G_r$ を達成するための一連のアクション $\{a_t\}$ を生成する。

3. モデルの実装

著者らは、入力データのトークン長が極めて長いため（既存の小型学習済みモデルのコンテキスト制限を超える）、スクラッチから訓練されたTransformerベースのモデルを実装している。

• アーキテクチャ： モデルは $3N$ 個のエンコーダ層を利用する。最初の $2N$ 層は社会的推論フェーズを構成し、最後の $N$ 層は身体的推論フェーズを構成する。
• モダリティの相互作用： 特殊なモジュールが、ワールドステート記述、人間による軌跡、言語指示、およびモデルの過去の出力という4つの入力ストリームを融合させる。
• 訓練戦略：
  • エンドツーエンド（E2E）： モデルはアクションを直接出力するように訓練され、中間予測に対して補助損失が適用される。
  • マルチステージ（MS）： 社会的推論モジュールと身体的推論モジュールを個別に訓練する。社会的モジュールは $G_r$（およびオプションで $p^*$）を予測し、評価時にはそれが身体的モジュールのグラウンドトゥルース入力として供給される。

実験設定

本フレームワークは、4つの難易度レベルにわたる曖昧な指示遂行タスクを含む、テキストベースの家庭環境である HandMeThat (HMT) ベンチマークで評価される：

• レベル1： 純粋なプランニング（曖昧性なし）。
• レベル2： 人間の軌跡からゴールを推論する必要がある。
• レベル3： 言語的な曖昧さを解決するために、語用論的な推論を必要とする。
• レベル4： 情報が不十分な、固有の曖昧性を解決するために強力な事前知識を必要とする。

著者らは、以下の手法と比較を行っている：

1. ベースライン： 人間のパフォーマンス、手書きのヒューリスティック、およびSeq2Seqニューラルネットワーク。
2. 最先端（SOTA）： 反復的なゴール推論を用いる前回の最良手法（Cao et al. 2024）。
3. 大規模言語モデル（LLM）： Chain-of-Thought（CoT）を用いてプロンプトされたGPT-4 Turbo。これには、標準的なプロンプティング、プロンプトエンジニアリング（PE）、およびFISERの構造（中間ステップの予測）を模倣したCoTプロンプティングが含まれる。

主な結果

実験からは、主に3つの知見が得られている：

1. 推論の分離が性能を向上させる： 社会的推論と身体的推論を明示的に分離するモデル（FISER）は、エンドツーエンドのアプローチを大幅に上回る。Multi-Staged + FISER モデルは、HMTテストセットにおいて**64.5%**の平均成功率を達成し、新たな最先端（SOTA）を樹立した。
2. 小規模モデルがプロンプトされたLLMを凌駕する： GPT-4 Turboは膨大な常識知識へのアクセス権を持っているにもかかわらず、スクラッチから訓練された小規模なTransformerモデルの性能に及ばない。CoTプロンプティングやドメイン固有の知識を用いたとしても、GPT-4は曖昧なレベル（2–4）において、FISERモデルの半分以下の成功率しか達成できなかった。
3. 失敗モード分析：
   • GPT-4 は主にプランニングの失敗（オブジェクトの位置の幻覚）と意図の誤認（常識と特定の人間目標との不一致）に苦戦している。
   • FISER モデルは、プランニングの失敗や冗長な挙動を効果的に回避しているが、依然として非常に曖昧なシナリオにおいてターゲットとなるオブジェクトを正しく特定することに課題を残している。
   • 無関係なオブジェクトをフィルタリングすることでGPT-4の性能はわずかに向上するが、格差を埋めるには至っていない。これは、限界が単なるオブジェクト選択ではなく、必要な社会的および身体的推論を行う根本的な能力にあることを示唆している。

意義と主張

本論文は、曖昧な指示遂行タスクを解決するための鍵となる洞察は、人間の意図を中間的な推論ステップとして明示的にモデル化することであると主張している。人間を単なる非身体的な指示発行者としてではなく、隠れたゴールを持つ部分観測可能なエージェントとして扱うことで、システムはコンテキストをより良く活用して曖昧さを解決できる。

著者らは以下のことを断言している：

• 事前学習だけでは不十分である： 一般的な学習済みLLMは、たとえCoTプロンプティングを用いたとしても、共有環境における複雑な社会的・身体的タスクに必要な特定のドメイン知識や推論構造を欠いている。
• 構造化された推論が優れている： 問題を社会的（意図の推論）および身体的（アクションのプランニング）な推論フェーズに分解することは、モノリシックなエンドツーエンド訓練や直接的なプロンプティングよりも優れた結果をもたらす。
• 効率性： これらの特定の協調タスクに対して、巨大で汎用的なLLMをプロンプトしようとするよりも、ドメイン特化型の小型モデルをスクラッチから訓練する方が、より効果的で信頼性が高い。

本研究は、AIエージェントが人間の環境で真に役立つためには、単なる言語のグラウンディングを超えて、「どのように（how）」を実行する前に「なぜ（why）」を推論する社会的推論を取り入れる必要があることを確立している。