技術要約：効率的な階層型強化学習のための分離型非教師ありスキル発見（DUSDi）

問題提起

非教師ありスキル発見は、再利用可能な報酬フリーの行動を学習することで強化学習（RL）のサンプル効率を向上させることを目的としているが、既存の手法には**もつれ（entanglement）**という決定的な限界がある。現在の手法（例：DIAYN）では、単一のスキル変数 $z$ が通常、状態空間の複数の次元に同時に影響を与える。この「もつれ」により、エージェントがスキルを再結合してダウンストリームタスクを解くことが極めて困難になる。特に、独立したエンティティの同時制御（例：速度、ステアリング、ヘッドライトを同時に制御するロボット）を必要とする複雑なドメインにおいて顕著である。人間は自然に「分離された（disentangled）」能力、すなわち独立した要因を並行して調整する能力を備えているが、現在の人工エージェントには、純粋に非教師ありの相互作用からこのようなモジュール的で構成的なスキルを学習するメカニズムが欠けている。

手法：DUSDi

著者らは、各コンポーネントがファクター化された状態空間の正確に一つの要因に影響を与えるスキルを学習するために設計されたフレームワークである、**分離型非教師ありスキル発見（DUSDi）**を提案する。

1. ファクター化された状態とスキル空間

DUSDiは、状態空間 $S$ が $N$ 個の独立した要因 $S = S_1 \times \dots \times S_N$ に分解されたファクター化マルコフ決定過程（f-MDP）内で動作する。

• スキルのファクター化: スキル潜在変数 $z$ は、$N$ 個の独立したコンポーネント $z = (z_1, \dots, z_N)$ に分解される。ここで、$z_i$ は状態要因 $S_i$ を制御することを意図されたスキルコンポーネントに対応する。
• 目標: スキルコンポーネント $z_i$ が $S_i$ に影響を与えつつ、他の要因 $S_{\neg i}$ への影響を最小限に抑えるような方策 $\pi(a|s, z)$ を学習することである。

2. 学習目的関数：相互情報量ともつれペナルティ

分離を強制するために、DUSDiは相互情報量（MI）に基づく新しい目的関数を最適化する。各コンポーネント $z_i$ とその対象となる要因 $S_i$ について、エージェントは以下のことを行う：

1. スキルコンポーネントと対象となる要因との間のMI、すなわち $I(S_i; Z_i)$ を最大化する。
2. スキルコンポーネントと他のすべての要因との間のMI、すなわち $I(S_{\neg i}; Z_i)$ を最小化する。

形式的な目的関数は以下の通りである：
$$J(\theta) = \sum_{i=1}^{N} I(S_i; Z_i) - \lambda I(S_{\neg i}; Z_i)$$
ここで、$\lambda \in [0, 1)$ は、関連性の報酬と、もつれペナルティのバランスを取るハイパーパラメータである。著者らは実験において $\lambda = 0.1$ と設定している。これは、状態要因間の固有の動的な依存関係により、避けられない相関が必要になる可能性があることを認めているためである。

3. 変分推論とQ分解による最適化

この目的関数を直接最大化することは困難である。DUSDiは、2つの主要な技術的革新を採用している：

• 変分下界: MI項は、変分分布（ニューラル識別器 $q_\phi$ および $q_\psi$ として実装）を使用して近似される。内在的報酬 $r_z$ は次のように導出される：
  $$r_z(s, a) = \sum_{i=1}^{N} [\log q_\phi^i(z_i|s_i) - \lambda \log q_\psi^i(z_i|s_{\neg i})]$$
• Q関数の分解: $2N$ 個の報酬項の合計によって引き起こされる高分散およびクレジット割り当ての問題に対処するため、DUSDiはグローバルなQ関数を、$N$ 個の別々の分離されたQ関数（$Q_i$）へと分解する。各 $Q_i$ は、コンポーネント $z_i$ に関連する特定の報酬項 $r_i$ のみを使用して更新される。グローバルなクリティックは、これらのコンポーネントを合計することで回収される：$Q_\pi = \sum Q_i$。これにより、多くの状態要因を持つ環境における学習が大幅に安定化される。

4. ダウンストリームタスクの学習

スキルが学習されると、それらは階層型RL（HRL）の設定において凍結された低レベル方策として機能する。高レベル方策 $\pi_{high}$ は、タスク報酬を最大化するために、ホライゾン $L$ ステップにわたってスキルベクトル $z$ を選択する。スキルの構造化され分離された性質により、より効率的な探索が可能になり、スキルコンポーネントと報酬項の間の因果的依存関係が既知である場合には、**因果方策勾配（Causal Policy Gradient: CPG）**の適用が可能になる。

主な貢献

1. 分離型スキルフレームワーク: スキルを、状態ファクターと一対一で対応するコンポーネントに明示的に分解し、並行かつ独立した制御を可能にするDUSDiの導入。
2. 新しい目的関数: スキルとファクターの関連性を促進すると同時に、ファクター間の影響を抑制する、相互情報量に基づく目的関数。
3. アルゴリズムの効率性: Q分解の提案。これにより、複雑なマルチ項内在的報酬を効率的に最適化し、分散を減少させ、高次元の状態空間における収束性を向上させる。
4. 実証的検証: DUSDiが真に分離されたスキルを学習すること（DCIメトリックにより検証）を示し、協調制御を必要とするダウンストリームタスクにおいて、既存の最先端の非教師ありRL手法（DIAYN, CIC, CSD, METRAなど）を大幅に上回る性能を発揮することを実証した。

実験結果

著者らは、2D Gunner、Multi-Particle（マルチエージェント）、iGibson（ロボティクス）、DMC Walkerの4つのドメインでDUSDiを評価した。

• 分離性: DUSDiは、すべての環境において、DIAYN-MCと比較して有意に高い分離度および完全性スコア（DCIメトリック）を達成した。
• スキル学習の効率性: Q分解は、複雑なドメイン（Multi-Particle, iGibson）にスケールアップするために不可欠であり、スキルコンポーネントの予測精度において標準的なQネットワークを上回ることが示された。
• ダウンストリームの性能: 協調制御を必要とするタスク（例：マルチエージェントの粒子相互作用、家庭用ロボットの操作）において、DUSDiはすべてのベースラインよりも速く収束し、より高いリターンを達成した。より単純なタスク（DMC Walker）では、分離の利点が顕著に現れないため、性能はベースラインと同等であった。
• 画像観測: DUCDiは、オブジェクト中心の表現学習を統合することで画像ベースの観測にも正常に拡張でき、状態ベースの学習と同等の性能を維持した。
• サンプル効率: 構造化されたスキル空間をCausal Policy Gradientを活用することで、ダウンストリーム学習におけるサンプル効率がさらに向上した。

意義と主張

本論文は、DUSDiが、人間のようなモジュール的制御を模倣する分離されたスキルコンポーネントを学習するためのメカニズムを提供すると主張している。主な意義は、階層型RLを介して、これらのスキルを複雑なダウンストリームタスクに対して効率的に再利用できる点にある。

著者らは、既存の非教師あり手法は、ダウンストリームでの再結合を妨げる「もつれた」スキルを学習するのに対し、DUSDiの構造化されたスキル空間は、より効率的な探索と、複数の独立した状態ファクターの同時操作を必要とするドメインにおける優れた性能を保証すると断言している。本研究は、DUSDiの構造化されたスキル空間の性質が、学習効率をさらに高めるために（Causal Policy Gradientなどを通じて）ドメイン知識を注入するための新たな道を切り開くものであることを示唆している。

著者らは限界についても謙虚な姿勢を保っており、現在の手法はファクター化された状態空間へのアクセスを前提としていること（ただし、画像からの抽出は実証済み）、およびスキル学習フェーズにおける探索能力が基礎となる最適化アルゴリズム（現在はDIAYNベース）に依存していることを指摘している。彼らは、今後の研究として、これらの原理を他のスキル発見パラダイムへ拡張できる可能性を示唆している。