The Laplacian Keyboard: Beyond the Linear Span

技術的サマリー：ラプラシアンキーボード：線形スパンの限界を超えて

問題定義
強化学習（RL）において、中心的な課題は、事前知識を用いてエージェントが新しいタスクを効率的に解決できるようにすることであり、これはしばしば教師なしまたはゼロショット RL として枠組み化されます。既存のアプローチは一般的に、2 つのカテゴリーに分類されます。すなわち、価値関数や報酬を近似するための特徴を学習する「表現ベースの手法」と、再利用可能なオプションのライブラリを学習する「行動ベースの手法」です。

表現ベースの手法、例えばフォワード・バックワード（FB）表現やプロト値関数は、報酬関数を近似するための基底（例えば、グラフ・ラプラシアンの固有ベクトルなど）を学習します。これらは基底要素を線形結合することで「ゼロショット」解を生成できますが、学習された特徴の線形スパンによって本質的に制限されます。下流タスクの報酬関数がこのスパンの外にある場合、誘導される方策は最適とはなりません。一方、オプション・キーボード（OK）のような行動ベースの手法は、オプションを継ぎ接ぎすることを学習しますが、行動基底を構築するために手動で指定された報酬特徴や事前に定義されたタスクに依存することが多く、その汎用性とスケーラビリティを制限しています。

ここで扱われる核心的な問題は、環境のダイナミクスから導出され（手動の報酬設計なしに）、かつ固定された線形基底の表現力を超えたタスクを解決可能な、タスク非依存の行動基底をいかに構築するかです。

手法：ラプラシアンキーボード（LK）
著者は、表現アプローチと行動アプローチを架橋する階層的フレームワークである**ラプラシアンキーボード（LK）**を提案します。この手法は 2 つのフェーズで動作します。

1. 事前学習フェーズ（報酬フリー）：

   • ラプラシアン表現： エージェントは、オフラインの報酬フリーデータセットから状態表現 $\phi(s)$ を学習します。この表現は、環境の遷移構造を符号化するグラフ・ラプラシアンの最初の $k$ 個の固有ベクトルから導出されます。これらの固有ベクトルは、滑らかな報酬関数を近似するための自然な基底として機能します。
   • ユニバーサル・サクセッサ・フィーチャー・アプロキシメータ（USFA）： このラプラシアン基底上で USFA が訓練されます。USFA は、重みベクトル $w$ に条件付けられた方策 $\pi(a|s, w)$ とサクセッサ・フィーチャー $\psi(s, a, w)$ を学習します。固有ベクトルのスパン内の任意の報酬関数 $r(s) = w^\top \phi(s)$ に対して、USFA は理論的に最適方策を回復できます。

2. 下流フェーズ（階層的制御）：

   • メタ方策： 基底の単一の線形結合にコミットする（これはスパンに限定される）代わりに、LK はメタ方策 $\pi_{LK}(s) \to w$ を訓練します。このメタ方策は、USFA ライブラリから特定のオプション（方策）を具体化する重みベクトル $w$ を出力します。
   • 逐次結合： メタ方策は、選択されたオプションを固定時間 $t_{term}$ 実行し、結果として生じた状態を観測した後、新しい重みベクトルを選択します。これにより、エージェントは行動のシーケンスを動的に継ぎ接ぎすることができ、元の線形スパンの外にある報酬関数に対する最適方策を近似する、区分的な軌跡を効果的に構成できます。

理論的解析
本論文は、切断されたラプラシアン基底を使用する際の近似誤差に関する理論的限界を確立しています。

• 価値近似誤差： 定理 3.1 は、真の最適価値関数 $v^*$ と、最初の $k$ 個の固有ベクトルを用いて再構成された報酬から導出された価値関数 $v^*_k$ との差の上限を提供します。この限界は $\|v^* - v^*_k\|_\infty \leq \frac{\|r\|_G}{(1-\gamma)\sqrt{\lambda_k}}$ であり、ここで $\|r\|_G$ は報酬のグラフノルム（滑らかさ）であり、$\lambda_k$ は切断された基底における最大の固有値です。
• 含意： これは、滑らかな報酬は小さな基底によってよく近似されるが、高周波構造（大きな $\|r\|_G$）を持つ報酬はより大きな基底を必要とするという事実を確認します。重要なのは、いかなる固定された有限基底もすべての可能な報酬関数を網羅することはできず、これが LK が提供する階層的結合の必要性を動機づけている点です。

主要な貢献

1. ラプラシアンキーボードフレームワーク： 学習されたメタ方策を介してラプラシアン誘導の行動を構成する階層的アーキテクチャ。これにより、エージェントは表現の線形スパンを超え、固有ベクトルの単一の静的な結合では表現不可能なタスクを解決できます。
2. ラプラシアン基底の理論的および実証的検証： 著者は、理論的誤差限界と実証的検証を含め、報酬基底としてのラプラシアン固有ベクトルの厳密な分析を提供しています。これらは FB のような最先端の表現手法と同等の、ゼロショット制御のための信頼性の高い出発点となることを示しています。

実験結果
著者は、DeepMind Control（DMC）ドメイン（チータ、クアドルペッド、ウォーカー）およびアイテムコレクター・グリッドワールドの 3 つのドメインで LK を評価しました。

• ゼロショット性能： 十分に大きな基底（$k=50$）を用いると、ラプラシアン基底単独でも、FB 表現と同等のゼロショット性能を達成し、タスク非依存の基盤としての妥当性を確認しました。
• 線形スパンの限界を超えて： 基底サイズが制約される（$k$ が小さい）領域では、ゼロショット解はしばしば不十分です。LK はこれらの設定においてゼロショットベースラインを大幅に上回ります。例えば、$k=1$ のチータ・ドメインでは、LK は 2 つの利用可能なオプション間を切り替えることで、いくつかのタスクで 100% 以上性能を向上させ、階層的結合が基底自体を超えて価値を追加することを示しました。
• サンプル効率： LK は、ゼロから学習するフラットなエージェント（標準的な TD3）と比較して、優れたサンプル効率を示します。多くのタスクで、LK はより速く収益を蓄積します。特に、ラプラシアン基底がタスクに関連する重要な構造を捉えている場合（例えば、最初の固有ベクトルが胴体の高さ制御を捉えるクアドルペッド・タスクなど）に顕著です。
• 特権ベースラインとの比較： アイテムコレクター・ドメインにおいて、LK（手作りの報酬特徴なしに訓練）は、特権的な手動指定の報酬特徴に依存するオプション・キーボード基底（OKB）に近い性能を達成しました。これは、ラプラシアン固有ベクトルが、手作りの行動基底に対するスケーラブルで自動的な代替手段となり得ることを示唆しています。

意義と主張
本論文は、ラプラシアンキーボードが、表現ベースおよび行動ベースの RL の両方の限界に対する原理的な解決策を提供すると主張しています。

• 動的かつ逐次的な行動の結合を可能にすることで、線形スパン手法の表現力の限界を克服します。
• 行動基底を環境のダイナミクスから（ラプラシアン固有ベクトルを介して）自動的に導出することで、手動の報酬特徴設計を必要とする行動ベース手法の指定の限界を克服します。
• 著者は、LK がラプラシアン基底を完全な解決策としてではなく、「構造化された出発点」として扱うことを強調しています。基底内でのゼロショット最適性と、その外での効率的な結合を組み合わせることで、LK は特権的な報酬情報なしに、多様なタスクにおいて強力なサンプル効率と堅牢性を達成します。

著者は、限界として、特に原理的な状態依存の終了条件ではなく、固定時間によるオプション終了を使用している点を指摘しており、これは構成された方策の質を制限する可能性があります。また、いくつかのケース（特定のデータセットを用いたクアドルペッドなど）では、ゼロショット解がすでに最適に近い状態にあり、階層的な改善の余地がほとんどないこと、およびデータセットの質が学習された基底の表現力に大きく影響することを観察しています。