技術要約：欠落した架け橋：構成を意識した能動的模倣学習

問題定義

本論文は、大規模かつ構造化されたスタート・ゴール・タスクの集合における、**目標ベースの能動的模倣学習（Active Imitation Learning: IL）**を取り扱う。これらの設定において、エージェントは不完全なエキスパートのデモンストレーション・データセットから開始し、追加のデモンストレーションを要求するための限られた予算の下で動作する。核心となる課題は、可能なスタート・ゴール・ペアの数が組合せ爆発的に増加するドメイン（例：様々な棚の構成から特定のオブジェクトのシーケンスを回収するロボット）において発生する。しかし、これらのタスクの解法は、しばしば再利用可能な中間的な振る舞いを共有している。

既存の能動的IL手法、特に**ポリシー中心（policy-centric）のアプローチ（例：Active Multi-task Fine-tuningやAMF）は、エキスパートのポリシーに関する期待情報利得に基づいてデモンストレーションを選択する。これらは特定の状態における「どのように行動すべきか」という不確実性を減らす上では効果的であるが、タスクの構成的構造（compositional structure）**を明示的に評価することには失敗することが多い。その結果、彼らは、多くの未学習タスクを解決するための鍵となる短い「架け橋（bridge）」のデモンストレーションを要求するのではなく、特定のインスタンスのみを解決する冗長なフルタスクのデモンストレーションを要求してしまう。

手法：潜在的トポロジーによる適応型エージェント（AALT）

著者らは、ポリシーの直接的な情報利得ではなく、スタート・ゴール間の連結性（connectivity）の増加に基づいてデモンストレーションの優先順位を決定する、構成を意識した能動的IL手法であるAALTを提案する。

1. 潜在的トポロジーの構築

AALTは、デモンストレーションされた軌跡を潜在的トポロジー $\Gamma = (H, E)$ として整理する：

• ハブ状態（Hub States, $H$）: この手法は、潜在空間における「収束（convergence）」および「分岐（divergence）」のハブを特定する。これらは、複数の異なる軌跡が収束する状態（例：ブロッカーが移動された後の棚の状態）、または異なる回収順序が始まる状態（例：異なる回収順序が始まる状態）である。
• エッジ（Edges, $E$）: 有向エッジは、これらのハブを接続するデモンストレーションされた振る舞いを表す。
• 信頼性推定: 各エッジ $e$ には、実行結果によって更新されるベータ分布を介して推定された実行信頼性 $r_e \in [0, 1]$ が割り当てられる。

2. 獲得戦略：連結性の最大化

AULTは、フルタスクをクエリするのではなく、既存のハブ同士を接続していない架け橋（bridge）のデモンストレーション、すなわち2つの既存のハブを接続する短い軌跡をクエリする。

• 連結性指標: 本手法は、タスク $(s_0, g)$ のサポートを、スタート・ハブからゴールを満たすハブへのトポロジー上の最も信頼性の高い経路の信頼性と定義する。グローバルな指標 $C(\Gamma)$ は、ターゲット・タスク分布における期待信頼性である。
• 選択基準: AALTは、候補となる架け橋 $e$ を、連結性利得 $\Delta(e) = C(\Gamma + e) - C(\Gamma)$ を計算することで評価する。そして、この利得を最大化する架け橋を貪欲に選択する。
• 理論的正当性: 著者らは、連結性利得が**重み付き到達可能性の情報利得（weighted reachability information gain）**の代理指標として機能することを証明している。具体的には、バイナリの信頼性仮定の下では、タスク到達可能性に関する情報利得は、架け橋を獲得することの不確実性と連結性利得に正確に分解される。ソフトな信頼性の下では、連結性利得は、この情報利得の下限を提供する。

3. 推論と実行

推論時、AALTは以下の手順を実行する：

1. 学習されたマッチャーを用いて、現在の観測をスタート・ハブにマッチングさせる。
2. エッジの重みを $-\log(r_e)$ としたダイクストラ法を用いて、ゴールを満たすハブへの経路を計画する。
3. 共有拡散ポリシー（shared diffusion policy）を用いて経路を実行する。このポリシーは、現在の観測、履歴、および現在とターゲットのハブの潜在埋め込み（latent embeddings）を条件として、各エッジを順次横断するための低レベルなアクションを生成する。

主な貢献

1. 構成を意識した目的関数: 本論文は、標準的なポリシーの不確実性に基づく情報利得とは対照的に、既存の振る舞いを新しいタスクの解へと構成する能力を明示的に評価する、新しい獲得目的関数を導入した。
2. 潜在的トポロジー・フレームワーク: AALTは、再利用可能なハブ状態と振る舞いの動的なトポロジーを構築し、エージェントが抽象的にタスクの到達可能性を推論することを可能にする。
3. 理論的結合: 著者らは、連結性利得と到達可能性の情報利得の関係を形式的に確立し、連結性を最適化することが、到達可能なタスクの集合を最大化するための有効なプロキシであることを証明した。
4. 効率的な架け橋の選択: 本手法は、フルタスクのデモンストレーションやポリシーの不確実性に基づく選択よりも、短い、ターゲットを絞った架け橋のデモンストレーションを要求する方が、大幅にサンプル効率が高いことを示している。

実験結果

手法は、72個のスタート・ゴール・タスク（6つの棚レイアウトと12の順序付けられたワークオーダーの組み合わせ）を含むシミュレーションされたUR5eロボット回収ドメインで評価された。初期データセットには、「ファミリー内（intra-family）」タスク（棚のレイアウトと対応するワークオーダーを一致させるもの）をカバーする24個のデモンストレーションが含まれており、48個のクロスファミリー・タスクは未解決のまま残されていた。

• パフォーマンス: AALTは、わずか3個のエキスパート・デモンストレーション（合計5つの遷移）を使用して、**100%の成功率（72/72タスク）**を達成した。
• 比較:
  • AMF-Full（ポリシー中心、フルタスク・クエリ）: 20個のデモンストレーション（171.6遷移）の後で46.9%の成功率を達成。
  • AMF-Bridge（ポリシー中心、ブリッジ・クエリ）: 20個のデモンストレーションの後で82.5%の成功率を達成。
  • Random-Bridge（一様ランダムな架け橋選択）: 20個のデモンストレーションの後で88.6%の成功率を達成。
• 効率性: AALTは、パーフェクトなパフォーマンスに到達するために、大幅に少ない遷移数（5 vs. 約98〜171）を必要とした。
• 失敗分析: ベースライン手法は、ルートの欠如（連結性の欠如）により頻繁に失敗したが、AFTの失敗は、初期の架け橋を獲得した後は存在しなかった。AALTによって獲得された3つの架け橋は、それぞれ最終的なタスク経路において18回、10回、8回再利用されており、高い構成性を示した。

意義と主張

本論文は、AALTが能動的模倣学習における**ポリシーの洗練（refinement）から能力の拡張（capability expansion）**への転換を象徴していると主張している。複雑なタスクの多くが再利用可能なサブ振る舞いを共有していることを認識することで、AALTは、既存の振る舞いの間の「失われたリンク（架け橋）」こそが、要求すべき最も価値のあるデモンストレーションであることを特定する。

著者らは、本手法が、単なるポリシーの不確実性ではなく連結性に焦点を当てることで、最小限のエキスパートの労力で組合せ的なタスク空間へとスケールできることを述べている。彼らは、ポリシー中心の手法は特定の振る舞いを学習するには効果的であるが、単一の短いデモンストレーションが以前は解決不可能であった多数のタスクを解錠できるような、構造化されたドメインにおいては非効率的であることを強調している。本研究は、構成的な構造が明確なドメインにおいて、潜在的トポロジーを介してタスク到達可能性を最適化することが、より優れた戦略であることを示唆している。