技術的概要：局所遷移幾何の再利用のための行列空間強化学習

問題定義

逐次的意思決定において、エージェントは構成的汎化を達成するために、過去のロールアウトのどの構成要素が新しいタスクに有用であるかを特定する必要がある。既存の強化学習（RL）手法は、スキル、予測モデル、または圧縮された状態の再利用には成功しているが、豊かな局所遷移幾何とダイナミクスを見落としがちである。現在の手法は、非現実的な行動を誘発することなく、異なる外観（例えば、異なる時間地平、タスク実現、または行動表現）を持つ軌跡をどのように活用して価値学習と方策学習を改善するかを決定することに苦慮している。核心的な課題は、共有された隠れた構造を露呈させ、関連するタスク間での転移のための代数的合成を支援する形で、局所遷移ダイナミクスを定量化することである。

手法：行列空間強化学習（MSRL）

本論文は、軌道セグメントを半正定値（PSD）行列記述子を通じて表現する幾何学的抽象化である**行列空間強化学習（MSRL）**を提案する。

1. 行列代理 $M(\tau)$

MSRL の基本単位は、軌道セグメント行列 $M(\tau)$ である。セグメント $\tau = ((o_t, a_t, r_t, o_{t+1}))_{t=0}^{T-1}$ に対して、本手法は以下のものを集約する固定ステップの「リフト」$\psi_t(\tau)$ を定義する：

• 埋め込まれた遷移の中点（$c_t$）と指向変位（$\delta_t$）。
• 行動特徴とのクロネッカー積を通じた、行動条件付きの中点と変位。
• 観測された報酬（$r_t$）と一定チャネル。

行列代理は、これらのリフトされたベクトルの外積の和として定義される：
$$M(\tau) = \sum_{t=0}^{T-1} \psi_t(\tau)\psi_t(\tau)^\top \in \mathbb{S}^m_+$$
この構成により、リフトされた 1 段階遷移の 2 次統計量を集約する共分散のような行列が得られる。重要なのは、$M(\tau)$ が可換な和であるため、タスク間で変化する完全な時系列順序を破棄しつつ、価値学習に不可欠な低次加算統計量を保持することである。

2. 代数的合成と結合

本手法は、これらの記述子に対する代数を確立する：

• 合成：セグメント $\tau = \tau^{(1)} \star \tau^{(2)}$ の有効な連結は、行列加法 M(\tau) = M(\(\tau^{(1)}) + M(\tau^{(2)}) に正確に対応する。
• 結合：重複する局所制限は、包含・排除演算子を用いてグローバル記述子に組み立てることができ、これによりリプレイライブラリは部分的なセグメントを保存し、再結合できる。

3. 妨害フィルタリング

合成された行列が実現可能な軌道に対応することを保証するため、本手法は妨害スコアを導入する。この指標は、候補行列と特定環境における到達可能な行列の集合との距離を測定する。正の妨害は矛盾の証明書として機能し、計画に使用される前に非現実的な合成をフィルタリングする。

4. 価値学習と転移

MSRL は、軌道セグメント行列に条件付けられた価値関数を扱う。著者らは、特定の仮定（リフトされたベルマン適合性と局所滑らか性）の下で、価値関数が行列空間内で 1 次滑らかな近似を許容することを証明している。具体的には、小さな構成的摂動 $H_0, H_1$ に対して：
$$\bar{Q}^\star(o, H_0 + H_1, a) \approx \bar{Q}^\star(o, H_0, a) + \bar{Q}^\star(o, H_1, a) - \bar{Q}^\star(o, 0, a)$$
この「中心化された構成的価値法則」は、ソースからターゲットへの転移を可能にする。行列から価値へのブランチ（$M \to V$）はソース環境で事前学習され、ターゲットタスクにおけるクリティックの初期化に使用される。ターゲット方策と行動ヘッドはターゲットデータからゼロから学習されるが、行列 - 価値ブランチは構造的な帰納バイアスを提供する。

主要な貢献

1. 幾何学的記述子：局所幾何とダイナミクスを捉えつつ代数的合成を可能にする、十分かつ低次の記述子としての軌道セグメント行列 $M(\tau)$ の導入。
2. 基礎的性質：$M(\tau)$ が以下の性質を持つことの証明：
   • 座標ゲージまで定義が確立されている（整列した座標変化に対して不変）。
   • 誘導された低次加算信号クラスに対して完全である（すべての関連する 1 次統計量と二次統計量を捉える）。
   • 有効なセグメント合成の下で加法的である。
   • 許容される加算記述子の中で最小十分である。
   • 妨害スコアを通じて環境の実現可能性から分離可能である。
3. MSRL 理論：価値関数が行列空間内で局所的に滑らかであり、かつ近似的に加法的であることを示す行列条件付き価値法則の開発。これにより、新しいタスクでの学習をブートストラップするためにソースで学習された $M \to V$ 写像を使用することが正当化される。
4. 経験的検証：MSRL が、標準的な RL および転移ベースラインと比較して、少ショット設定で優れた性能を達成することを示す。

実験結果

本手法は、単純なソース環境（GraphMotif, MicroGrid, PointRooms, Dubins-Reacher）と複雑なターゲット制御タスク（AntMaze, Reacher/Pusher, Walker2d, Hopper, Humanoid）のスイートで評価された。

• ソース診断：行列記述子は、指向モチーフ、座標整列マッチング、行動条件付き輸送など、解釈可能な構造を正常に回復した。
• 転移性能：複雑なターゲットスイートにおいて、ソースで事前学習された行列 - 価値ブランチで初期化された MSRL は、正規化された少ショット AUC 0.73を達成した。これは以下の手法を上回った：
  • ゼロから学習した MSRL（0.65）。
  • TD-MPC-PT+FT（0.63）。
  • 標準 TD-MPC（0.57）。
• 学習速度：ソース初期化アプローチは、ベースラインと比較して早期の学習収束が速く、行列 - 価値知識の転移がターゲットタスクのサンプル複雑性を効果的に低減していることを示している。

意義と限界

本論文は、MSRL が構成的汎化のための透明な代数的インターフェースを提供し、軌道の再利用を行列操作に変換すると主張している。局所遷移幾何を PSD 行列に抽象化することで、本手法は、エージェントが正確な状態マッチングや完全な時系列履歴に依存することなく、タスク間で構造的構成要素を特定し、再結合することを可能にする。

著者らは、手法の普遍性については控えめな立場を維持している。彼らは明確に以下を指摘している：

• このアプローチは、ソースとターゲット設定全体で整列した遷移リフトを必要とする。任意の環境を自動的に整列させるものではない。
• 記述子は低次加算アフィン二次情報のみを保持し、リフトされたベクトルに見えるものを超えた任意の時系列順序を符号化しない。
• 近似加法的価値規則は、滑らかさの仮定に依存する局所モデリングの根拠であり、任意の行列和に対する正確な動的計画法の同一性ではない。
• 妨害証明書は、真の到達可能集合に対してのみ正確である。実際には、学習された代理フィルタに依存する。

これらの限界にもかかわらず、この研究は局所遷移構造の再利用のための厳密な幾何学的枠組みを確立し、構成的汎化を改善するためのモデルフリーおよびモデルベースの RL 手法の両方に対してプラグイン互換性のある解決策を提供している。