技術的サマリー：基盤ポリシーを用いた多段階計画における到達時間同型性

問題定義

本論文は、基盤ポリシー学習のためのオフライン目標条件付き強化学習（RL）の課題に取り組む。目的は、静的な軌道データセットから、ゼロショット方式で目標のオープンセットに一般化可能な、再利用可能かつ目標非依存のポリシーを学習することである。

既存のオフライン状態表現学習のアプローチは、多段階計画にとって決定的な限界を持つ以下の 3 種類に分類される。

1. 後継測度法（Successor Measure Methods）: 教師なしであるが、三角不等式を満たさないことが多く、中間サブゴールを介した距離の合成を妨げる。
2. 到達距離法（Reachability Distance Methods）: 計量または擬計量構造を課すことが多いが、ポリシー学習に目標条件付きの教師信号に依存しており、基盤ポリシーに必要な目標非依存性を侵害する。
3. 到達時間法（Hitting Time Methods）: 三角不等式を満たし教師なし学習を支援するが、通常は対称的なユークリッド距離に依存する。これは現実世界の環境が持つ指向性のある不可逆な時間幾何学を捉えきれず、必要な方向に到達不可能なサブゴールを経由する経路が生じるなど、最適ではない計画につながる。

著者は、離散遷移ステップで測定される「指向的時間幾何学」を欠落した原始（primitive）として特定する。彼らは、期待到達時間を回復すべき根本的な量として提案し、到達時間が潜在変位（latent displacements）の線形汎関数となる表現を学習することを目指す。これにより、方向とスケールの両方が保持される。

手法：同型埋め込み学習（IEL）

中核的な貢献は、新しい演算子理論的枠組みと、**同型埋め込み学習（IEL）**アルゴリズムである。

1. 理論的枠組み：到達時間同型性

著者は、ヒルベルト空間内の制御マルコフ過程（CMP）として環境を定式化する。彼らは、遷移ダイナミクスが潜在特徴空間 $\phi$ においてほぼ線形となる$\epsilon$-十分 CMPを定義する。

• 到達時間の線形表現: 潜在ダイナミクスが線形に閉じており、特定の随伴範囲条件が満たされるという条件下で、状態 $x$ から目標 $g$ への期待到達時間 $V^\pi(x, g)$ は、正確な線形表現を持つ。
  $$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$$
  ここで、$\omega^\pi_g$ はヒルベルト空間内のタスク識別子ベクトルである。これは、到達時間汎関数が、有界線形同型写像まで潜在変位と等価であることを証明する。
• 識別可能性: 本論文は、この到達時間幾何学を回復する任意の表現が、有界線形な座標変換まで一意に識別可能であることを証明している（定理 2.3）。これにより、学習された幾何学が任意の座標系ではなく、環境の真の指向的時間構造を反映することが保証される。
• 誤差 bound: 理論的解析により、大域的な到達時間誤差は、環境の過渡スペクトル半径によって増幅された 1 ステップの潜在遷移誤差によって有界であることが示される（定理 3.3）。有限サンプル保証は、誤差を近似、統計的複雑性、カバレッジ、軌道ラベル不整合の項に分解する（定理 3.5）。

2. IEL アルゴリズム

IEL は、以下の 4 つの構成要素を通じてこの理論を実践化する。

1. タスク識別子学習: 対照学習アプローチ（InfoNCE 損失）を用いて、目標状態をタスク識別子に変換する写像 $\omega_\psi(g)$ を学習する。これにより潜在空間内に方向軸が確立され、非対称な到達時間計算が可能となる。
2. 到達時間回帰: アルゴリズムはオフライン軌道から中間点をサンプリングし、**期待量回帰（expectile regression）**を実行して到達時間の進捗を予測する。これにより、幾何学は分布内にある短い距離へとバイアスされる。
3. 時間差分（TD）学習: 長_horizon_データの不足に対処するため、IEL は到達時間公式と HILP 風目的関数を橋渡しする。変換を通じて方向性バイアスを導入する。
   $$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$$
   ここで、$\xi$ は埋め込み差分とタスク識別子との間の角度である。これは対称的手法には欠けるソフトな方向制約として機能し、角度の不一致を罰する。
4. グラフベース多段階計画: テスト時には、IEL は潜在状態のコアセット上で有向グラフを構築する。エッジコストは学習された非対称な到達時間スコアによって定義される。ナビゲーションは、逆転グラフ上での**単一始点最短経路（SSSP）**探索によって実行され、局所的な時間予測をグローバルなゼロショットナビゲーション計画に変換する。

主要な貢献

• 理論的: 十分 CMP における到達時間のための変位線形表現の存在と識別可能性を証明し、演算子理論と到達時間汎関数の間に厳密なリンクを確立する。
• アルゴリズム的: 教師なしポリシー学習、方向性距離、および三角不等式を同時に満たす、初の基盤ポリシー学習アルゴリズムIELを導入する。
• 実用的: 埋め込み幾何学への方向的非対称性の導入が、対称的なベースラインと比較して多段階計画能力を大幅に向上させることを実証する。

実験結果

著者は、D4RLデータセット（AntMaze および Kitchen スイート）からの 6 つのオフライン目標条件付き RL ベンチマークで IEL を評価した。

• ベースライン: 基盤ポリシーの主要なベースラインである HILP、GC-IQL、GC-CQL と比較を行った。
• 性能:
  • 非対称グラフ計画を用いた IEL は、antmaze-ultra-diverse（79.0 対 39.8）やantmaze-large-diverse（71.8 対 68.0）などの環境において、HILP や再帰的中点計画を大幅に上回る最先端の結果を達成した。
  • 対称変種（対称距離を使用しつつ同じグラフ計画を用いる）でさえ、HILP の再帰的中点戦略を上回る場合が多く、グラフベースの計画メカニズム自体の有効性を検証している。
  • 非対称変種は 6 つの環境の 4 つでさらなる改善を提供し、複雑なナビゲーションには方向性幾何学が必要であることを確認した。
• 効率性: IEL のトレーニングコストは HILP と同等である。非対称グラフ計画は再帰的中点計画と同等の速度で実行されるが、対称変種はグラフの再利用により約 3 倍高速である。

意義と主張

本論文は、IELが多段階計画における基盤ポリシーに必要な 3 つの重要な能力（教師なし学習、方向性距離、三角不等式）を満たす最初の枠組みを提供すると主張している。

著者は、演算子理論に基づいた指向的時間幾何学によって対称的な距離ヒューリスティックを置き換えることで、エージェントは証明可能な効率性をもって複雑で不可逆な環境をナビゲートできると論じている。彼らは、この研究が、模倣学習への依存から報酬ベースのポリシー学習への移行のための数学的基盤を提供し、より自律的で信頼性の高い汎用ロボットの実現を可能にする可能性があると提唱している。この枠組みは、大域的整合性の保証を欠く距離ベースのモデルに対する厳密な代替案として提示されている。