テクニカルサマリー：持続的な共有環境における礼儀正しい先読み（Courteous Anticipation）

問題提起

本論文は、持続的かつ共有された環境において、複数のロボットが動作する際の長期的なタスク計画の課題に取り組んでいる。この設定では、ロボットは保持された一連のシーケンスから順次タスクを割り当てられ、あるタスクの終端状態が次のタスクの初期状態となる。

標準的なタスクプランナーは「近視眼的」であり、現在のタスクを完了するための即時コストの最小化のみに焦点を当て、先読みを行わない。これにより、ロボットが「利己的」な振る舞いを行い、自分自身や他のロボットに割り当てられる将来のタスクの実行コストを増大させるような終端状態に環境を残してしまう。著者らは、ロボットが異なる能力（例：高さ、耐熱性、特殊なツール）や異なる責任を持つ環境において、これらの負の副作用が時間の経過とともに累積することを指摘している。例えば、ロボットが物体を、仲間にとってアクセス不可能な場所や、仲間が解決できない状態に置いてしまうと、後のシーケンスにおいて、コストの高い介入（「助け」のアクションなど）や迂回を強いることになる。

既存の先読み型プランニング手法 [11]–[13] は、自身の将来のタスクを考慮することで近視眼的プランニングを改善しているが、マルチロボットの文脈においては依然として「利己的」であり、現在の行動が他のエージェントの制約や能力にどのように影響するかを考慮できていない。

手法：礼儀正しい先読みプランニング（Courteous Anticipatory Planning）

著者らは、現在のタスクの即時コストと、環境を共有するすべてのロボットの集約された期待将来コストを共同で最小化するようにプランを選択するモデルベースのアプローチ、**「礼儀正しい先読みプランニング（Courteous Anticipatory Planning）」**を提案している。

1. 目的関数

単一ロボットの標準的な先読みプランニングが $V_{sg}(s_0) + \sum P(\tau')V_{\tau'}(s_g)$ (式 2) を最小化するのに対し、提案された目的関数 (式 3) は、すべてのロボット $R$ の先読みコストを集約する：
$$s^*_g = \arg\min_{s'_g \in G_\tau} \left[ V^*_{s'_g}(s_0) + \sum_{r \in R} V^r_{A.P.}(s'_g) \right]$$
ここで、$V^r_{A.P.}(s'_g)$ は、現在のプランの終端状態 $s'_g$ から開始して、そのロボット固有の責任から抽出された後続のタスクを完了するためにロボット $r$ が要する期待コストを表す。

2. 分解された定式化とエスティメータ

すべての将来のタスクシーケンスの結合期待将来コストを直接計算するには、全ロボットにわたるすべての可能な将来のタスクシーケンスを列挙する必要があり、これは組み合わせ爆発により計算量的に困難である。これを解決するため、著者らは問題を**独立したロボットごとのエスティメータ（推定器）**へと分解する。

• 学習拡張型推定: 各ロボット $r$ について、グラフニューラルネットワーク（GNN）を独立して訓練し、$V^r_{A.P.}(s'_g)$ を推定する。
• 訓練データ: GNNは、標準的なプランナー（FastDownward with FF-A*）を用いて、ロボットの責任分布に基づくタスクを解くことで生成されたデータを用いてオフラインで訓練される。入力は、環境状態を表す疎なシーングラフである。
• モジュール性: エスティメータは、個々のロボットの構造的制約と責任に基づいて独立して訓練されるため、システムに新しいロボットを追加する場合でも、その特定のロボットのエスティメータを訓練するだけで済む。既存のエスティメータの再訓練や結合ロールアウトは必要ない。

3. プランニング・アルゴリズム

プランナー（アルゴリズム1）は以下のように動作する：

1. 候補生成: 「フォーカスدサンプリング（focused sampling）」手順を用いて、現在のタスクを満たす多様な候補プランを生成する。これには、配置述語（placement predicates）をタスクに付加することで、構造的に異なるプラン（例：汚れたボウルをカウンターに置くか、シンクに置くか）を作成することが含まれる。
2. コスト評価: 各候補プランについて、プランナーはすべてのロボットごとのGNNエスティメータにクエリを投げ、期待将来コストを取得する。
3. 選択: 即時コストと集約された将来コストの合計が最小となるプランを選択する。

主な貢献

1. プランニングの障害の特定: 本論文は、標準的なタスクプランニングにおける「礼儀（courtesy）」の欠如が、持続的な共有環境において累積コストを増大させる負の副作用を生み出すことを強調している。これは、ロボットの能力が不均一である場合に悪化する問題である。
2. 礼儀正しい先読みフレームットワーク: 即時コストと、すべてのエージェントの集約された期待将来コストの合計を最小化するプランニング目的関数を導入した。これは、独立したロボットごとのエスティメータを用いた分解された定式化によって実現され、組み合わせ的な結合ロールアウトを回避している。
3. モジュール展開: 本アプローチは、ロボットの追加や削除を行う際に、その特定のロボットのエスティメータを訓練するだけでよく、システム全体の再訓練を必要としないモジュール展開をサポートしている。
4. 複雑なドメインでの評価: 著者らは、2つのPDDLベースのドメインで手法を評価した：
   • 家庭環境（Home Environment）: 類似の能力を持つが、異なる責任を持つ2台のロボット。
   • レストラン環境（Restaurant Environment）: 異なる物理的能力（例：背が高く耐熱性のある料理人、サーバー、クリーナー）と異なる責任を持つ3台のロボット。

実験結果

本手法は、長いタスクシーケンス（家庭設定で20タスク、レストラン設定でロボットあたり10タスク）にわたって、以下の2つのベースラインと比較して評価された：

• Myopic（近視眼的）: 即時コストのみを最小化する古典的なプランニング（FastDownward）。
• Selfish Anticipatory（利己的な先読み）: 実行中のロボット自身の将来のタスクのみを考慮するプランニング。

定量的な改善:

• 家庭環境 (2台のロボット): 礼儀正しいプランニングは、Myopicと比較して10.43%、Selfish Anticipatoryと比較して4.03%、総コストを削減した。
• レストラン環境 (3台のロボット): 礼儀正しいプランニングは、Myokiと比較して17.41%、Selfish Anticipatoryと比較して13.24%、総コストを削減した。
• モジュール性の検証: 2台のロボット設定で訓練されたエスティメータは、再訓練なしで3台のロボット設定に正常に再利用でき、本アプローチのプラグアンドプレイな性質を裏付けた。
• プロアクティブ性（先回り行動）: 「クリーナー」ロボットが、明示的なタスクがないダウンタイム中に活動するための時間予算を与えられたシナリオにおいて、礼儀正しいアプローチは、アイドル状態のロボットが何もしないベースラインと比較して、総システムコストを**31.4%**削減するプロアクティブな皿洗い行動を可能にした。

意義と主張

本論文は、**礼儀正しい先読み（courteous anticipation）**が、共有環境における効果的な逐次的タスクプランニングに不可欠であると主張している。著者らは、標準的なプランニングがこれらの文脈において失敗するのは、「物理的制約」や「責任」を無視しているためであると論じている。

本研究の意義は、以下の点を示したことにある：

1. 不均一性が価値を増幅させる: ロボットが異なる能力を持つ場合（例：レストラン設定）、一つのロボットの行動が他者の機能を直接的に可能にするか、あるいは阻害するかとなるため、礼儀正しいプランニングの恩恵が大幅に増大することを示した。
2. 分解によるスケーラビリティ: 結合コスト推定を独立したロボットモデルに分解することで、本アプローチは計算量的に実行可能かつスケーラブルな状態を維持し、結合ポリシー学習や網羅的なロールアウトの困難さを回避している。
3. 行動の変化: このアプローチは、ロボットが自身の行動が仲間に与えるダウンストリームの影響（例：掃除機ロボットがアクセス可能なカートに汚れたパンを置くか、アクセス不可能なストーブの上に置くか）を積極的に考慮する行動を誘発し、コストの高い「助け」の介入を減らしている。

著者らは、現在のフレームワークは逐次的なタスク到着を前提としており、同時実行や他のエージェントによるリアルタイムの環境変化にはまだ対応していないという限界を認め、これらを同時実行の設定へ拡張することを今後の課題としている。