REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

この論文は、高齢者や子供など非専門家からの曖昧な指示がロボットタスク計画に与える悪影響を初めて体系的に評価したベンチマーク「REI-Bench」を提案し、文脈認識に基づく指示の明確化により、その課題を効果的に解決する手法を提示しています。

要約

この論文は、**「ロボットが人間の『曖昧な指示』を理解できるか？」**という問題を調査したものです。

想像してみてください。あなたがロボットに「あの重いものを外に持って行って」と言います。でも、ロボットには「重いもの」が具体的に何かわかりません。鍋？ 鍋敷き？ それとも重い本？

人間なら、前の会話や周りの状況から「あ、あの鍋のことね！」とすぐにわかります。しかし、最新の AI を使ったロボットは、この「文脈に依存した曖昧さ」に非常に弱く、間違ったものを持ってきてしまうことがわかりました。

この論文は、その問題を解決するための新しいテストと、その解決策を提案しています。

---

🍳 1. 問題：ロボットは「あのね」が通じない

この研究では、ロボットが料理をしている場面をシミュレーションしました。

• 明確な指示（成功）: 「鍋を流しからアイランド台へ移動させて」
  • 👉 ロボット：「はい、鍋ですね！」と正しく行動します。
• 曖昧な指示（失敗）: 「重いものを外に持って行って」
  • 👉 ロボット：「えっ、重いもの？ 鍋？ 皿？ 本？」と混乱し、間違った「皿」を持って行ってしまいます。

人間は会話の中で「それ」「あの重いもの」といった言葉（指示表現）を頻繁に使います。特に子供やお年寄り、記憶力が衰えた方は、はっきりとした言葉を使えないことが多いです。しかし、現在のロボットは、この「文脈から意味を推測する」のが苦手で、指示が曖昧になると、タスクの成功率が最大 37% も低下してしまいました。

🧪 2. 実験：REI-Bench（ロボットのための「曖昧さテスト」）

研究者たちは、この問題を詳しく調べるために**「REI-Bench」**という新しいテストを作りました。これは、ロボットがどれだけ「曖昧な指示」を理解できるかを測るための試験です。

このテストでは、以下のような「難易度」を設けてロボットを試しました。

1. 言葉の曖昧さ:
   • 「鍋」と言うか（明確）、それとも「あの熱いもの」と言うか（曖昧）。
2. 会話の背景（文脈）:
   • 標準: 前の会話も全部覚えている。
   • ノイズあり: 「ローズ」という名前の家族の話が混ざり、「Rose（バラ）」と「Mrs. Rose（ローズさん）」でロボットが混乱する。
   • 短縮: 重要な前の会話が消えていて、ロボットがヒントを見失う。

まるで、**「前の会話のヒントが少しだけ消えていたり、紛らわしい名前が入っていたりする状態で、ロボットに『あの重いもの』を持ってきてと言っているような状況」**です。

💡 3. 解決策：TOCC（「翻訳」してから実行する）

実験の結果、ロボットは「指示を直接実行しようとする」のではなく、**「まず指示の意味を整理してから実行する」**と、劇的に上手になることがわかりました。

そこで提案されたのが**「TOCC（タスク指向型文脈認知）」**という方法です。

• 従来のやり方:

  • 人間：「あの熱いもの、流しに入れて！」
  • ロボット：「あ、熱いものか… 何だっけ？ 鍋？ 皿？ 迷う…（失敗）」
  • （ロボットは指示をそのまま受け取って、即座に行動しようとして失敗する）

• TOCC のやり方（翻訳ステップを挟む）:

  1. ステップ 1（翻訳）: ロボットはまず、「『あの熱いもの』って、前の会話で『ジャガイモ』のことだったな。つまり『温かいジャガイモを流しに入れて』という意味だ」と、曖昧な指示を明確な指示に書き換える。
  2. ステップ 2（実行）: 書き換えた「温かいジャガイモを流しに入れて」という明確な指示で、ロボットが行動する。

これは、**「通訳を挟む」**ようなものです。
「あのね、あいつ…」と曖昧に言う人に対して、通訳が「あ、あの『部長』のことですね」と明確にしてから、ロボットに伝えるイメージです。

🏆 4. 結果：劇的な改善

この「翻訳（TOCC）」を入れるだけで、ロボットのパフォーマンスは大幅に向上しました。

• 従来の方法では失敗が多かった「曖昧な指示」でも、成功率が 6.5% 以上向上。
• 特に、「対象物を見失う（何を持っていいかわからない）」という失敗が激減しました。

🌟 まとめ：なぜこれが重要なのか？

この研究は、**「ロボットが本当に人間と仲良くするには、曖昧な言葉も理解できなければならない」**と教えてくれます。

• 現状: ロボットは「完璧な指示」しか聞けない。
• 未来: TOCC のような仕組みを使えば、お年寄りや子供が「あの重いもの」「あっちのやつ」と言っても、ロボットは文脈を理解して正しく動けるようになります。

まるで、**「言葉が不器用な人でも、ロボットがその気持ちを汲み取って、優しくサポートしてくれる」**ような未来への一歩です。この技術は、ロボットが家庭でより身近なパートナーになるための重要な鍵となるでしょう。

技術概要

REI-BENCH: 具現化エージェントが曖昧な人間の指示をタスクプランニングにおいて理解できるか？

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された研究「REI-BENCH」に関するものです。大規模言語モデル（LLM）を用いたロボットタスクプランニングにおいて、人間が自然な対話で発する「指示の曖昧さ」、特に指示表現（Referring Expressions: REs）の曖昧さがどのように影響し、それをどう克服できるかを探求しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義：現実世界の指示の曖昧さとその課題

既存の LLM ベースのロボットタスクプランナーは、指示が明確で完全であると仮定して設計されています。しかし、現実の人間（特に高齢者や子供など、ロボットが支援すべき層）は、文脈に依存した曖昧な指示（例：「それを持ってきて」「重いもの」）を頻繁に使用します。

• 核心的な課題: 指示に含まれる**指示表現（REs）**の曖昧さ、特に「暗黙の REs（例：代名詞 'it'、形容詞的な表現 'the heavy one'）」が、プランナーのタスク対象物の特定を誤らせ、実行失敗を引き起こす。
• 既存研究の限界: 現在のベンチマークや手法は、明確な指示を前提としており、多ターン対話における文脈依存の曖昧さを体系的に評価・解決する枠組みが不足している。

2. 手法：REI-BENCH ベンチマークと TOCC 手法

A. REI-BENCH ベンチマークの構築

本研究では、指示の曖昧さを体系的にモデル化する初のベンチマーク「REI-Bench」を提案しました。

• データセット (REI Dataset): ALFRED データセットを基に、AI2-THOR シミュレータ上で 2,700 件のタスク指示を生成。
• 評価軸の 3 段階化:
  1. 指示表現 (REs) の難易度:
     • Explicit REs: 明確な名詞（例：「ポット」）。
     • Mixed REs: 指示文の一部が暗黙的（例：「ポット」→「それ」）。
     • Implicit REs: 指示文のすべてが暗黙的（例：「重いもの」）。
  2. 文脈記憶 (Context Memory) の種類:
     • Standard Context: 必要な情報が全て含まれる。
     • Noised Context: 対象物と名前が似ている曖昧な名前（例：果物の Apple とブランド名の Apple）を対話に混入させ、ノイズを加える。
     • Short Context: 文脈の一部（タスク関連情報）を意図的に欠落させる。
• これらを組み合わせることで、9 段階の「共指称的曖昧さ（Coreferential Vagueness）」のレベルを定義し、評価環境を構築しました。

B. 提案手法：タスク指向文脈認知 (Task-Oriented Context Cognition: TOCC)

LLM がプランニング中に指示の曖昧さを理解できない原因は、プラン生成にリソースを割きすぎて言語理解がおろそかになる点にあると分析し、以下の手法を提案しました。

• TOCC の仕組み:
  1. 解離 (Decoupling): 指示の解釈（曖昧な REs の解決）と、プランニング（行動生成）のプロセスを分離する。
  2. 再定式化: まず LLM に文脈を基に曖昧な指示を明確な指示（例：「重いもの」→「鍋」）に書き換えるよう促す。
  3. 実行: 書き換えられた明確な指示のみを基に、ロボットがタスクプランを生成する。
• 比較対象: Aware Prompt (AP)、Chain-of-Thought (CoT)、In-Context Learning (ICL) などの既存のプッティング手法と比較。

3. 主要な結果

A. ベンチマーク結果

• 性能の低下: 既存の LLM ベースのプランナー（SayCan, DAG-Plan, HPE, LLM+P など）は、暗黙の REs が含まれる場合、成功率が7.4% から 36.9% まで大幅に低下しました。
• 失敗の要因: 失敗の大部分は「対象物の見落とし（Object Omission）」に起因しており、プランナーが「それ」や「重いもの」が何を指すか特定できず、誤った物体（例：鍋ではなく皿）を操作しようとするケースが多発しました。
• 文脈ノイズの影響: 対話の多ターン化やノイズの追加自体よりも、指示そのものの曖昧さ（Implicit REs）の方が成功率に決定的な悪影響を与えました。

B. 提案手法 (TOCC) の有効性

• SOTA 性能: TOCC を適用したところ、ベースライン（LLaMA3.1-8B + SayCan）において成功率が6.5% 向上し、他の手法（AP, CoT, ICL）を上回る性能を示しました。
• 効率性: CoT や ICL はプロンプト長が長くなり、推論コストや遅延を増大させましたが、TOCC は指示の書き換えのみを行うため、トークン数とレイテンシの増加が最小限（ベースラインに対し約 3-4% の増加）で済みました。
• エラー削減: 対象物の見落としエラーを大幅に削減し、ロボットの指示理解の堅牢性を高めました。

4. 研究の意義と貢献

1. 初の体系的評価: ロボットタスクプランニングにおける「指示の曖昧さ」、特に指示表現（REs）に焦点を当てた初の体系的なベンチマーク（REI-Bench）を提供しました。
2. 現実課題の解明: 高齢者や子供など、非専門家ユーザーとの HRI（Human-Robot Interaction）において、暗黙の指示がロボットの性能を著しく阻害することを定量的に示しました。
3. 実用的な解決策: 複雑なモデル変更ではなく、単純かつ効果的な「指示の明確化（TOCC）」によって、既存の小型 LLM でも高いタスク成功率を達成できることを実証しました。
4. 今後の展望: 本研究は、VLM（視覚言語モデル）や物理ロボットを用いた研究への道を開き、より自然で柔軟な人間とロボットの対話の実現に寄与します。

結論

本論文は、LLM をロボットに搭載するだけで人間言語を完全に理解できるという楽観的な仮説に疑問を投げかけ、**「文脈に基づいた指示の明確化」**が不可欠であることを示しました。提案された REI-Bench と TOCC 手法は、非専門家ユーザーが利用する実世界でのロボットタスクプランニングの信頼性を高めるための重要なステップとなります。