技術要約：協調および競争の過程において、人間の目標を明らかにするためにロボットが人間に働きかける手法

問題提起

共有環境で動作するロボットは、効率的に行動するために、人間の高次な意図や目標を推論しなければならない。しかし、目標の推論は、部分観測性、ノイズの多いセンシング、そして最も決定的な点として、多くの異なる人間の目標が初期のアクションシーケンスを重複して共有しているという事実により、困難を伴う。ベイズ信念更新のような標準的な受動的観測手法は、このような条件下では収束が遅くなることが多く、相互作用の大部分においてロボットに不確実性を残してしまう。また、物理的な制約、タスクの複雑さ、あるいは人間に与える負担のために、言語によるコミュニケーションへの依存は実用的でない場合が多い。本論文は、協調的および競争的なシナリオの両方に適用可能であり、ロボットが相互作用の中で人間の行動を能動的に促し、より早い段階で目標を明らかにするための統一された戦略の必要性に取り組んでいる。

手法

著者らは、**クリティカル・デシジョン・ポイント（CDP：決定的な分岐点）とリセディング・ホライゾン・プランニング（RHP：後退水平面計画）**を中心とした統一フレームワークを提案している。

1. クリティカル・デシジョン・ポイント (CDP)

CDPは、共有環境における状態として定義され、競合する人間の戦略（異なる候補目標に関連付けられた方策）が、有意に異なる即時アクションを規定する状態である。

• 定式化: 著者らは、目標条件付き方策の分岐度尺度 $M(s, H)$ を用いて、状態 $s$ の「情報量」を定量化している。この尺度は、異なる候補目標 $g \in G$ に対する方策によって誘導されるアクション分布間の全ペアワイズの不一致を計算する。
• 特定: 分岐度 $M(s, H)$ が閾値 $\theta$ を超える場合、その状態はCDPとして特定される。CDPにおける人間の行動を観測することは、競合する目標を区別するための最大級の情報をもたらす。

2. リセディング・ホライゾン・プランニング (RHP) 戦略

相互作用をCDPへと能動的に導くために、ロボットはRHPアプローチを採用する。ロボットは、人間がCDPに到達するのを受動的に待つのではなく、タスクの進捗とのバランスを取りながら、人間をこれらの状態へと誘導するためのアクションシーケンスを計画する。

• 木探索の展開: ロボットは、ロボットのアクションの枝と人間の応答の枝を交互に繰り返しながら、深さ $D_H$ の探索木を展開する。人間の応答は、ロボットの現在の人間に関する信念に対応する方策バンク $\bar{\pi}_g$ からサンプリングされる。
• コスト関数: プランナーは、重み付きコスト関数 $J$ を用いてリーフノードを評価する。
  $$J = \lambda_1 C_{task} + \lambda_2 M_{informativeness}$$
  • タスクコスト ($C_{task}$): ロボットのアクションがタスクをサポートすることを保証する（例：協調においては一般的なアクションを選択し、競争においては距離を最小化する）。
  • 情報量コスト ($M_{informativeness}$): リーフ状態における目標条件付き方策の分岐度を測定する。協調的な設定では、これは履歴に基づく目標の信念と、将来のシーケンスに基づく信念との間の非類似性として計算される。競争的な設定では、事前計算された最近接CDPへの距離である。
• 実行: ロボットは、$J$ を最小化するパスの最初の行動を実行し、人間の応答を観測し、ベイズ則によって信念を更新し、再計画を行う。

3. 適用シナリオ

本フレームワークは、2つの異なる設定で検証されている。

• シナリオ1：協調的な調理（完全観測）: 人間とロボットが、30種類のレシピのうち1つを交代で作る。多くのレシピは初期ステップ（例：水を集める、混ぜる）を共有している。ロボットはRHPを用いて、選択肢を維持しつつも、レシピを判別させるための特定の材料（CDP）へと人間を押し進めるような一般的なアクションを選択する。
• シナリオ2：競争的なかくれんぼ（部分観測）: シーカー（探索者）ロボットが、人間が操作するハイダー（隠れる者）を捕まえようとする。ハイダーの戦略は隠されている。ロボットはグリッドワールド内でCDPを事前計算し、ハイダーをこれらの状態へと誘導（多くの場合、回避行動を誘発することによって）し、ハイダーの基礎となる方策を観察するためにRHPを用いる。

主な貢献

1. CDPの特定: 人間の意図は、ロボットが相互作用を、競合する戦略が異なるアクションを規定する一連の高度に情報量の多い状態（CDP）へと能動的に導くことで、大幅に早く明らかにできることを本論文は示している。
2. 統一フレームワーク: 著者らは、CDPの目標条件付きの形式的な定義と、タスクの進捗と情報獲得のバランスを取る付随するRHPプランナーを提供している。これは、協調的（完全観測）および競争的（部分観測）な相互作用の両方において効果的に動作することが示された、初の統一された目標予測アプローチである。
3. 実証的検証: 本手法は、シミュレーションおよび実機ロボット（調理にはUR-5e、かくれんぼにはTurtlebot3）の両方で評価されており、推論速度と精度の両面においてベースラインを上回る性能を示している。

結果

提案手法は、ベイズ委譲（Bayesian Delegation）（受動的な信念更新ベースライン）および情報獲得最大化（Information Gain Maximization）（タスクとの整合性を考慮せずに即時の情報獲得を最大化する能動的ベースライン）と比較された。

• 協調的な調理:
  • 目標推論速度: 提案手法は、ベースラインよりも大幅に早い段階で人間の目標を特定した。「最初の正解の予測」は相互作用の最初の3分の1で行われ、「最後の誤った予測」は中盤までに解決されたが、ベースラインは不確実性が長く続いた。
  • 効率性: 本手法は、ベイズ委譲（平均11.0ステップ）および情報獲得最大化（7.02ステップ）と比較して、最も少ない「追加ステップ数」（平均0.70ステップ）となった。
  • アブレーション解析: 時系列履歴（Vanilla CDP）またはタスク進捗項を取り除くと、劣ったパフォーマンスとなったことから、履歴への意識とタスクへの整合性の両方の必要性が確認された。
• 競争的なかくれんぼ:
  • 捕獲時間: シミュレーションおよび実世界の試行において、CDP-RHP戦略を用いたシーカーは、ランダムな探索者や単にハイダーへの距離を最小化するシーカーよりも早くハイダーを捕らえた。
  • 戦略推論: ハイダーをCDPへと誘導することで、シーカーはハイダーの基礎となる方策をより迅速に観察でき、それにより迅速なインターセプトが可能となった。

重要性と主張

本論文は、人間の戦略が分岐する状態へと相互作用を能動的に誘導するという核心的な洞察が、高速な目標推論のための堅牢なメカニズムを提供することを主張している。

• 重複の克服: 本手法は、受動的な観測者を混乱させやすいアクションシーケンスの重複という課題に特に対処している。安全である程度「一般的」でありながら、決定を強いるほどに「具体的」なアクションを選択することで、曖昧さの解消を加速させる。
• 汎用性: 本フレームワークの重要性は、固定された相互作用モード（協調 vs 競争）や観測レベルに依存しない点にある。コスト関数の重み付けを変え、CDPの計算方法（オンライン vs 事前計算）を変えることで適応する。
• 能動的 vs 受動的: 著者らは、高速な目標推論は、単に「どのように信念を更新するか」だけでなく、「ロボットが相互作用を、情報的な証拠が得られる状況へと導けるかどうか」に依存すると主張している。CDPフレームワークにより、ロボットは将来の人間行動がより診断的になるような方法で行動することが可能になる。

著者らは、現在の手法が決定論的な環境、合理的な人間、ターン制の相互作用、および明示的な方策バンクの利用可能性を前提としていることを認め、限界について謙虚な姿勢を保っている。今後の課題として、目標の変化、連続的な状態空間、および言語ベースの相互作用の統合を挙げている。