技術要約：強化学習における終端表現（The Terminal Representation）

問題提起

強化学習（RL）において、表現学習は時空間的抽象化のために極めて重要である。確立された2つのアプローチとして、**後継者表現（Successor Representation: SR）とデフォルト表現（Default Representation: DR）**がある。SRは、報酬とは独立して遷移ダイナミクスを捉え、将来の訪問軌跡に基づいて状態を符号化する。DRは、これらの軌跡に報酬による重み付けを行うことでこれを拡張し、報酬によるクレジット割り当ての構造を統合している。

しかし、両方の表現は、オプション発見、報酬シェーピング、転移学習といったダウンストリームタスクに適用される際、以下の制限に直面する：

1. 計算オーバーヘッド： これらのタスクにDRやSRを利用する場合、通常、固有ベクトルを抽出するために固有値分解（またはべき乗法）が必要となる。これは、クエリごとに $O((S^+)^2)$ 以上の計算コストを課し、実用的なRL環境においてしばしば違反される条件である対称的（可逆的）な遷移ダイナミクスを前提としている。
2. 次元数： SRおよびDRは、全状態空間（$S^+ \times S^+$）上で定義されており、これは大規模かつ非効率なストレージ・学習となる可能性がある。
3. 間接的な知識： DRは報酬で重み付けされた軌跡を符号化しているが、さらなるスペクトル解析なしでは直接利用できる形式で、到達可能性（reachability）と望ましさ（desirability）を明示的に分離してはいない。

手法：終端表現（Terminal Representation: TR）

著者らは、**終端状態（terminal states）に関する報酬重み付き軌跡を、特に符号化するために設計された、構造的に異なる定式化である終端表現（TR）**を提案している。

理論的基礎

TRは、**線形可解マルコフ決定過程（Linearly-Solvable MDPs: LMDPs）**の枠組みの中で導出されている。LMDPにおいて、最適値関数 $v(s)$ は、指数化された値 $z(s) = e^{v(s)/\lambda}$ に変換することができ、以下の線形方程式を満たす：
$$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$$
ここで、$P_\mu$ はデフォルトポリシーであり、$\lambda$ は温度パラメータである。

状態空間を非終端状態（$S$）と終端状態（$T$）に分解することで、著者らはTR行列 $M$ を以下のように導出する：
$$M = (I_S - D_S)^{-1} D_T$$
ここで、$D_S = R_S P_S$ は非終端ダイナミクス、$D_T = R_S P_T$ は非終端から終端への遷移を表す。また、$R_S$ と $R_T$ は指数化された報酬の対角行列である。

TRは、任意の終端報酬の構成 $y$（ここで $y(\tau) = e^{R(\tau)/\lambda}$）に対して、最適化された指数化値 $z$ をゼロショットでリカバリすることを可能にする。これは以下の線形関係を通じて行われる：
$$z = M y$$

学習アルゴリズム

論文では、$M$ に対する2つの学習アルゴリズムの収束性を確立している：

1. 動的計画法（モデルベース）： 反復更新ルール $M_{k+1} = D_T + D_S M_k$ は、真のTRに収束することが証明されている。
2. サンプルベース（モデルフリー）： オンライン学習のためのTD型の更新ルールが導出されている：
   $$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$$
   ここで、$\hat{M}^+$ は終端状態への遷移を扱う拡張マッピングである。定理4.2は、標準的な確率近似条件下でこれが $M$ に収束することを証明している。

主要な理論的特性

• 次元数： TRは $S \times T$ 行列である。終端状態の数 $T$ は全状態空間 $S^+$ よりもはるかに小さいことが多いため、TRは $S^+ \times S^+$ のDRよりも大幅にコンパクトである。
• 直接的な利用可能性（固有値分解不要）： TRの列は、DRから抽出される情報（固有ベクトル）と直接対応している。定理7.1は、DRのトップ固有ベクトルが、構造的にTRの列（具体的には最も望ましい終端状態に対応する列）と幾何級数によって構成されていることを示している。したがって、TRは固有値分解を必要とせずに、同様の基礎的な構造的知識を捉えることができる。
• 非対称性の処理： 実数固有値を保証するために遷移ダイナミクスの可逆性（対称性）に依存する固有ベクトルベースのアプローチとは異なり、TRは本質的に非対称であり、非可逆なダイナミクス下でも定義可能である。
• 構成可能性（Compositionality）： TRはゼロショットの構成可能性をサポートする。新しいタスクが異なる終端報酬を持つベースタスクの線形結合である場合、TRの対応する列を線形結合することによって、最適値関数をリカバリできる。これにより、ベースとなる価値関数の再学習を回避できる。
• 報酬等価性： 著者らは、遷移依存または状態行動依存の報酬を持つLMDPが、等価な状態依存報酬を持つLMDPにマッピングできることを証明しており、これによりTRの理論が異なる報酬定式化に対しても広く適用できることを保証している。

実験結果

著者らは、グリッドワールド環境（Four Rooms, RiverSwim, SixArms）における4つのダウンストリームアプリケーションにおいて、TRをSRおよびDRと比較評価した。

1. オプション発見： 「カバリング固有オプション（covering eigenoptions）」タスクにおいて、TRは列を直接抽出することでオプションを生成する（固有ベクトル計算を回避する）。最も報酬の高い終端状態の列、またはすべての列を使用するバリアントは、DRベースのRACEおよびSRベースのCEO手法と同等の性能を示し、エージェントを望ましい目標へ直接押し出すことで、より高い平均報酬を達成することが多かった。
2. 報酬シェーピング： TRを用いてポテンシャルベースのシェーピング報酬（$\hat{r}_t = 1 - M(s_{t+1}, \tau)$）を構築したところ、DRと同一の性能を示し、SRよりも優れた性能を示した。これは、TRが固有値分解なしで効率的なナビゲーションに必要な構造的情報を捉えられることを裏付けている。
3. カウントベース探索： RiverSwimおよびSixArms環境において、TRのノルムを探索ボーナスとして使用した結果、DRとほぼ同等の性能が得られ、SRよりも有意に優れた性能を示した。
4. 転移学習： タスク間で終端報酬が変化した場合、TRを用いて知識を転移させた。TRは、様々なベースポリシー構成において、デフォルト特徴量（DF：ポリシーに依存しないDRのバリアント）と同様の性能を示し、成功者特徴量（SF）を上回る性能を、明示的な特徴量学習ステップなしで達成した。

意義と主張

本論文は、終端表現（TR）が、SRおよびDRに対する実行可能で計算効率の高い代替案となることを主張している。その主な意義は以下の通りである：

• 効率性： 表現の次元数を削減し、高価な固有値分解を排除することで、クエリの複雑さを列抽出のための $O(1)$ へと低減させる。
• 堅牢性： 非対称（非可逆）な遷移ダイナミクス下でも正しく機能する。これは、固有ベクトル法が失敗したり複素固有値を生成したりする可能性がある、実用的なRLの一般的なシナリオにおいて重要である。
• 直接的な適用可能性： 終端状態の知識を明示的に符号化しているため、中間的なスペクトル解析を経ることなく、報酬シェーピング、オプション発見、および転移学習に直接利用できる。

著者らは、TRがDRと同等の性能を持つものの、すべての意味的な側面において根本的に優れているわけではないという控えめな立場をとっている。むしろ、終端状態に関する基礎的な構造的知識にアクセスするための、よりコンパクトで計算可能なメカニズムを提供しているのである。今後の課題として、関数近似を用いた高次元環境への拡張や、明示的に定義された終端状態を持たない設定への対応が示唆されている。