技術要約：堅牢な転移のための階層的後続表現（Hierarchical Successor Representation）

問題提起

後続表現（Successor Representation; SR）は、予測ダイナミクスと報酬を分離することで、報酬構成の変化に対する迅速な汎化を可能にするフレームワークを提供する。しかし、古典的なSRは、転移を重視するレジームにおいて2つの決定的な限界に直面している。

1. 方策依存性： SRは、それらを生成するために使用された方策に本質的に紐付けられている。エージェントが学習を進め、非定常性に遭遇したり、新たなタスク要求に直面したりすると、基礎となる方策が変化するため、確立された予測表現が使い物にならなくなり、高コストな再学習が必要となる。
2. スペクトル拡散とスケーラビリティ： トポロジー的に複雑な環境（例：多区画空間）において、古典的なSR特徴量は「スペクトル拡散」に苦しむ。これにより、特徴量が密で、グローバルに支持され、かつ重複したものとなり、解釈性が欠如し、スケーラビリティも低くなる。SRに適用される標準的なスペクトル分解法（SVDなど）は、符号が不定な成分を生成しやすく、局所的な遷移構造を効果的に捉えることができない。

手法

著者らは、時間的抽象化を予測表現に組み込むことにより、これらの限界に対処する**階層的後続表現（Hierarchical Successor Representation; HSR）**を提案する。

1. 階層的後続表現 (HSR)

核心となる革新は、「オプション（options）」フレームメント（Sutton et al., 1999）を用いて、古典的なSRの定式化を拡張することである。

• 時間的抽象化： HSRは、単一ステップのアクションに基づく状態占有率を予測する代わりに、時間的に拡張された解釈可能な行動セグメント（オプション）にわたってダイナミクスを集約する。
• 定義： HSR行列 $M_\mu$ は、高次の方策 $\mu$ に関する予測状態占有分布として定義される。これは、アクション固有のSR行列（$M_{\bar{a}}$）とオプションの期待持続時間（$\tau$）を再帰的に組み合わせるものである。
• ベルマン演算子： 著者らは、標準的なSRと同様のTD（時間差）更新を可能にする縮小写像として作用する、階層的ベルマン演算子 $T$ を導出している。ただし、このTD誤差はオプションの持続時間を考慮に入れたものである。
• 期待HSR (eHSR)： 方策依存性をさらに緩和するために、著者らは、事前学習タスクの分布から得られる最適方策に対してHSRを平均化するオフライン構築を推奨している。これにより、汎用的でタスクに依存しない基底が得られる。

2. NMFによる低ランク分解

スペアリティ（疎性）と解釈性を実現するために、著者らは、スペクトル法で通常用いられる特異値分解（SVD）ではなく、**非負行列因子分解（Non-Negative Matrix Factorization; NMF）**をHSR行列に適用する。

• 根拠： 古典的なSRは、区画内の状態が密接にクラスター化する「トポロジカル・コラプス（位相的崩壊）」を示すため、NMFの適用が不良となる（区画内の分散が不足するため）。対照的に、HSRのダイナミクスは「区分的に滑らか（piecewise-smooth）」であり、区画間の差異を保持しつつ、区画内の分散を許容する。
• 結果： この構造により、NMFはトポロジカルな特徴（例：ボトルネック状態）に整合する、スパースで局所的かつ解釈可能な基底ベクトルを発見することができ、直交するSVD基底に伴う「リンギング・アーティファクト」やグローバルな平滑化を回避できる。

主な貢献

1. 堅牢な状態表現： HSRフレームワークは、タスクに起因する方策の変化に対して堅牢な状態特徴を生成する。より高次の時間的抽象化レベルで推論することにより、低次レベルの制御方策が変化しても、表現は安定し続ける。
2. 解釈可能なトポロジカル構造： HSRにNMFを適用することで、トポロジカルなボトルネックや区画構造を自然に特定する、スパースで低ランクな表現が得られ、方策に依存しない階層的なマップを提供する。
3. サンプル効率の高い転移： 提案手法は、多区画環境における未知のタスクへの極めてサンプル効率の高い転移を促進する。これには、状態特徴マップのコストの高い再学習は必要ない。
4. スケーラブルな探索： 時間的に拡張された予測構造を持つHSRは、効率的な内発的動機付けによる探索を駆動する。これにより、単一ステップの手法が失敗する大規模な手続き型生成環境において、エージェントが局所的な拡散障壁を克服することを可能にする。

実験結果

著者らは、線形関数近似を用いたQ学習を用い、離散的なテーブル環境（具体的には4部屋環境および手続き型生成迷路）においてHSRを評価した。

• 転移効率： 4部屋環境において、HSRの行特徴量を使用したエージェントは、標準的なSR（RW-SR）やOne-hotエンコーディングを使用するエージェントと比較して、目標位置を切り替えた際の転移効率が有意に高いことを示した。標準的なSRエージェントは方策の再最適化に伴い性能低下を経験したが、HSRエージェントは少ないエピソードで迅速に適応した。
• 表現の安定性： 定量的分析により、HSR行列は方策の変化に伴う再編成（フロベニウスノルムによる相対変化）が、標準的なSR行列と比較して有意に少ないことが示された。
• NMF vs SVD： 低次元基底の実験において、NMFを用いて分解されたHSR特徴量は、HSR-SVDおよびすべてのSRベースのベースライン（SR-SVDおよびSR-NMFを含む）を上回った。SR-NMFは特徴量の崩壊により失敗したが、HSR-NMFは状態空間を均一にタイル状に覆うスパースなコードを提供した。
• 価値再構成： HSR基底は、未知のタスク（異なる目標位置）に対して、SR基底よりも一貫して正確な最適価値関数の再構成を実現した。これは、HSRが潜在的な価値関数の多様体により良く適合していることを示唆している。
• 探索： 大規模な迷路におけるスパース報酬ナビゲーションタスクにおいて、HSRによって拡張された内発的報酬（特にHSR-SPIE）は、環境サイズが増大しても高い状態被覆率と目標発見率を維持したが、標準的なSRベースの探索戦略は著しく劣化した。

意義と主張

本論文は、予測表現に時間的抽象化を統合することで、モデルフリーの効率性とモデルベースの柔軟性の間の溝を埋める、堅牢で解釈可能な状態表現が作成されると主張している。

• 方策に依存しないマッピング： HSRは、特定の報酬構成に対して感受性が低い階層的なマップを提供し、環境の予測構造を即時的なタスク要求から効果的に分離する。
• 相補性： 著者らは、HSRを一般化方策改善（Generalized Policy Improvement; GPI）アルゴリズムを補完するものとして位置付けている。GPIが学習済み方策の合成に焦点を当てるのに対し、HSRは汎用的な表現の学習に焦点を当てており、両者を組み合わせることで優れた転移効率が得られる。
• スケーラビリティ： HSRは、時間的に拡張された予測を通じてエージェントが「局所的な拡散障壁」を脱出することを可能にし、大規模な手続き型生成環境へのスケールアップを実現する。これは、スパース報酬タスクにおける探索の主要なボトルネックに対処するものである。

著者らは、トポロジカルな特性を分離するために、現在の評価が離散的なテーブル環境に限定されていることを述べている。今後の課題として、HSRを連続領域の深層強化学習システムに統合することや、非定常環境におけるオプションの発見を探索することを挙げている。