技術的サマリー：制御最大化を介した目標条件付き強化学習と教師なしスキル学習の統合

問題提起

教師なし事前学習、特に相互情報量スキル学習（MISL）は、多様なスキルを発見して下流の目標到達を促進することにより、目標条件付き強化学習（GCRL）における経験的成功を牽引してきた。しかし、なぜ行動の多様性を最大化する MISL の目的関数が、特定の下流 GCRL タスクを支援すべきなのかという理論的根拠は、依然として十分に理解されていない。

これらの分野を統合する上での根本的な障壁は、「GCRL」と「MISL」の両方が、互いに異なり、しばしば両立しない定式化を含む包括的な用語であるという点にある：

1. GCRL の多様性：異なる GCRL タスクは、目標到達性能を測定するための異なる基準（例えば、持続的な目標、正確なタイミング、または機会ウィンドウ）を利用しており、本質的に異なる最適方策をもたらす。
2. MISL の多様性：異なる MISL 手法は、行動の多様性の異なる概念（例えば、終端状態における多様性対完全な軌道における多様性）を最適化し、異なる変分境界に依存している。

核心的な問いは以下の通りである：特定の MISL 目的関数と特定の下流 GCRL 定式化を結びつける理論的説明は存在するか、また、それらが整合する条件は何か？

手法と枠組み

著者は、制御最大化に基づいた統合的な視点を提供する。彼らは、GCRL と MISL の両方が本質的に、エージェントが環境に対して行使する制御の度合いを最大化することを求めていると主張する。

1. GCRL 定式化の分析

本論文は、3 つの標準的な GCRL 定式化を特定し、それらの一般的な非同等性を証明する：

• 持続的目標（$Pe(\gamma)$）：エージェントが目標への再訪問に対して繰り返し報酬を受ける無限時間視野の設定（例：ターゲット占有の最適化）。
• **正確なタイミング（$ET(K)$）**：目標が正確にステップ$K$ で到達された場合のみ報酬が与えられる有限時間視野の設定。
• 機会ウィンドウ（$OW(K, \gamma)$）：目標がウィンドウ $K$ 内で到達された場合に報酬が与えられる有限時間視野の設定（多くの場合、割引を伴う）。

主要な発見：これらの定式化は、本質的に異なる最適方策を誘発する。例えば、確率的環境（例：リスクのある橋を渡る川）において、$Pe(\gamma)$（信頼性や再訪問を優先）に対する最適戦略は、$ET(K)$（期限を満たすための速度を優先）や$OW(K, \gamma)$ とは異なる可能性がある。本論文は、これら定式化が同一の最適方策に収束する条件（例：決定論的環境、単一ステップの時間視野、または無限のウィンドウ）を提供する。

2. 目標感度の定義

これらの定式化を統合するために、著者はエージェントの制御の新たな尺度である目標感度（$C(s, \pi)$）を導入する。これは、ランダムな目標と比較して、エージェントの将来の軌道が命令された目標にどの程度依存するかを定量化する：
$$C(s, \pi) := \frac{1}{N_s^2} \sum_{g, g' \in S} \left( J(s, g, \pi_{g}) - J(s, g, \pi_{g'}) \right)$$
ここで、$J$ はリターンである。この指標は、環境の内在的な制御可能性（客観的制御）とエージェントの能力（主観的制御）の両方を反映する。

3. MISL と GCRL を結びつける理論的境界

核心的な理論的貢献は、目標感度を介して MISL 目的関数と下流 GCRL 性能の間に、正確な情報理論的境界を確立することである：

• ステップ 1：著者は、$Pe(\gamma)$ と $ET(K)$ に対して、目標感度を最大化することが GCRL リターンを最大化することに等価であることを示す。$OW(K, \gamma)$ に対しては、リターンに対する tight な下限を提供する。
• ステップ 2：彼らは、目標 - 行動相互情報量（命令された目標と行動変数 $S'$ との間の MI）が、対応する GCRL 定式化の目標感度によって tight に境界付けられることを導出する。
  • $Pe(\gamma)$ の場合、対応する行動変数は割引状態占有（$S_{\gamma,+}$）である。
  • $ET(K)$の場合、対応する変数はステップ$K$における状態（$S_K$）である。
  • $OW(K, \gamma)$ の場合、彼らは既存の軌道ベースの変数（$\tau_K$）が緩い境界しか与えないことに留意しつつ、割引初回訪問ベクトル（$F_{K,\gamma}$）を最も tight な一致変数として特定する。
• ステップ 3：彼らは、標準的な MISL 目的関数（スキルと行動間の MI）が、目標からスキルへのマッピングによって誘発されるスキルの分布の均一性によって制御されるギャップを伴って、目標 - 行動 MI を近似することを証明する。

主要な貢献

1. GCRL 定式化の非同等性：本論文は、異なる GCRL 定式化（$Pe$、$ET$、$OW$）が一般的に互換性のない最適方策を誘発することを証明し、ある定式化向けに設計されたアルゴリズムが別の定式化で失敗する理由を説明する。
2. 制御最大化のレンズ：それは、GCRL 性能を「目標感度」の最大化として定義する精密な理論的枠組みを提供し、多様な定式化を統合する制御の尺度を定義する。
3. MISL と GCRL の対応：著者は、特定の MISL 目的関数が特定の下流 GCRL 定式化に対応することを示す体系的な境界を確立する。彼らは、特定の MISL 目的関数（例：終端状態における多様性）を最大化することが、特定の GCRL タスク（例：正確なタイミング）の性能を理論的に境界付けることを実証する。
4. 新規変数の特定：この研究は、機会ウィンドウ定式化に対しては、標準的な軌道ベースの MISL 目的関数が最適ではなく、tight な理論的境界には割引初回訪問ベクトルが必要であることを特定する。

結果

• 理論的境界：本論文は、$Pe$と$ET$ 定式化に対して両側境界を導出し、目標感度が目標と行動の間の相互情報量を tight に境界付けることを示す。$OW$ については、下限を提供し、上限の条件について議論する。
• 方策同等性の条件：本論文は、ある定式化で学習された方策が安全に別の定式化へ転送できる特定の条件（例：決定論的環境、無限時間視野、または「待機」アクションの存在）を明確にする。
• 実用的含意：これらの結果は、普遍的に最適な MISL 目的関数は存在しないことを示唆する。事前学習の目的関数の選択は、テスト時に予想される下流の目標到達基準（例：正確なタイミングタスクには終端状態の多様性、機会ウィンドウには軌道の多様性）と一致しなければならない。

意義と主張

本論文は、教師なしスキル学習が下流の目標到達を支援する理由という「理論的謎」を解決することで、RL 事前学習の理論的基盤を築くと主張する。両分野を制御最大化の事例として枠組み化することで、著者は実践者に対する原理的なガイドを提供する：

• 事前学習目的関数の選択：ユーザーは、テスト時に予想される目標到達の「種類」（持続的、正確、またはウィンドウ型）に一致する MISL 目的関数を選択すべきである。
• アルゴリズム設計：これらの知見は、なぜ特定の GCRL アルゴリズム（例：定常構造に依存する C-Learning）が、修正なしには有限時間視野の設定へ転送されないのかを説明する。

著者は、有限状態/行動空間への依存や均一な目標分布の仮定といった限界を認めつつも（ただし、付録で非一様分布への拡張を示している）、謙虚さを保っている。また、機会ウィンドウ定式化については、MI から性能への逆方向の境界には追加の仮定が必要であり、この特定のケースに対する「完璧な」MISL 目的関数の特定は未解決の問題として残されていると指摘している。

究極的に、この研究は、教師なしスキル発見と目標条件付き制御の間の溝を埋め、事前学習の成功は偶然ではなく、事前学習の目的関数を下流タスクの特定の制御可能性の要求と整合させる結果であることを示唆している。