テクニカルサマリー：改善されたサンプル複雑性を備えたハイパーグラディエントに基づくバイレベル強化学習

問題設定

本論文は、メタ学習、階層的なタスク分解、および人間からのフィードバックによる強化学習（RL-HF）などの問題を定式化するために用いられるフレームワークである**バイレベル強化学習（Bilevel Reinforcement Learning, RL）**に取り組んでいる。この設定では、外側レベルの目的関数 $\phi(x, \theta^*(x))$ はパラメータ $x$（例：報酬関数のパラメータ）に関して最適化され、内側レベルの目的関数 $J(\theta, x)$ は方策パラメータ $\theta$ に関して最適化される。内側レベルの問題は通常非凸であり、外側レベルの目的関数は内側問題の最適解 $\theta^*(x)$ に依存する。

既存のアプローチには、以下のような重大な制限がある：

1. ペナルティベースの手法（例：Gaur et al., 2025）は、しばしば近似勾配に依存しており、外側レベルの目的関数に対してポリアック・ロジャシッツ（PL）条件を必要とするため、サンプル複雑性が $\tilde{O}(\epsilon^{-3})$ と劣っている。
2. ヘッシアンベースのハイパーグラディエント手法（例：Chakraborty et al., 2024）はPL仮定を回避できるが、ヘッセ行列の計算と逆行列の算出が必要となるため、スケーラビリティの問題に直面する。これは大規模なパラメータ空間においては計算量的に極めて困難である。
3. 有限空間の手法（例：Yang et al., 2025）は、ボルツマン方策の最適性を利用してヘッシアンフリーの勾配を導出しているが、連続空間におけるパラメータ化された非実現的な方策クラスには直接拡張できない。

核心となる課題は、外側レベルの目的関数に対してPL条件を仮定せず、かつ実現可能な方策クラス（方策クラスがすべてのボルツマン方策を表現できる状態）を要求しない、スケーラブルでヘッシアンフリーなバイレベルRLアルゴリズムを開発することである。

手法

著者らは、**近似ハイパーグラディエント最適化（Approximate Hypergradient Optimization, AHO）**アルゴリズムを提案している。その手法は、以下の3つの主要な理論的およびアルゴリズム的構成要素に基づいている。

1. ボルツマン方策の最適性の活用

内側レベルの目的関数は、エントロピー正則化された割引報酬関数として定義される。本論文は、この特定の目的関数に対するボルツマン方策（$\pi_B$）の既知の最適性を活用している。方策クラス $\Theta$ は一般に非実現的（すなわち、最適なボルツマン方策を完全に表現できない）であるが、著者らは、ボルツマン方策の最適性を依然として勾配導出に利用できる条件を確立している。

2. 勾配シフト値関数（Gradient-Shifted Value Functions）

（暗黙関数定理から導出される）ハイパーグラディエント式に含まれる典型的なヘッシアン項を回避するため、著者らは勾配シフト値関数（$U^\pi$ および $W^\pi$）を導入している。

• $U^\pi(s, \theta, x)$ および $W^\pi(s, a, \theta, x)$ は、ボルツマン方策の下での報酬勾配 $\nabla r(s, a, x)$ の長期的な割引和として定義される。
• これらの関数は、ボルツマン値関数（$\nabla V^{\pi,B}$）およびQ値関数（$\nabla Q^\pi$）の勾配のサロゲート（代用）として機能する。
• 近似誤差： 方策クラスの非実現性に起因して、これらのサロゲート関数と真の勾配との間には近似誤差が生じる。この誤差は、KLダイバージェンスに関連する項 $\epsilon_{kl}$ および勾配の差に関連する項 $\epsilon_{fd}$ によって抑えられ、方策クラスが実現的な場合には消失する。

3. 近似ハイパーグラディエント定理

著者らは、外側レベルの目的関数のための近似ハイパーグラディエントを導出している。真の勾配をシフトされた関数で置き換えることにより、ヘッセ行列の逆行列項を排除した閉形式の式を得ている。得られるハイパーグラディエントは、以下で構成される：

• 嗜好損失（preference loss）の $x$ に関する直接的な勾配。
• 温度係数 $\tau$ でスケールされた、勾配シフトされたQ値と値関数の差を含む項。

4. アルゴリズム（AHO）

AHOアルゴリズム（Algorithm 1）は、入れ子のループで動作する：

• 内側ループ： 推定されたQ値関数を用いて、標準的な方策勾配法により方策パラメータ $\theta$ を更新する。
• 外側ループ： 近似ハイパーグラディエントを用いて報酬パラメータ $x$ を更新する。これには、収集された軌跡に基づき、オフポリシーQ学習型の更新（Algorithm 3 および 4）を用いて勾配シフト関数（$U^\pi_{off}$ および $W^\pi_{off}$）を推定するプロセスが含まれる。

主な貢献

1. 非実現的なクラスにおけるボルツマン最適性： 本論文は、パラメータ化された非実現的な方策クラスに対してもボルツマン方策の最適性を適用できる条件（Assumption 3.1）を提供し、結果として生じる近似誤差が収束に与える影響について論じている。
2. ヘッシアンフリーのスケーラブルなアルゴリズム： 提案されたAHOアルゴリズムは完全にヘッシアンフリーであり、ヘッシアンベースの手法が破綻する高次元パラメータ空間にも適用可能である。
3. 改善されたサンプル複雑性： 本アルゴリズムは、イテレーション複雑性 $O(\epsilon^{-1})$ およびサンプル複雑性 $\tilde{O}(\epsilon^{-2})$ を達成している。これは、ペナルティベースの手法（Gaur et al., 2025）で見られる従来の最先端のサンプル複雑性 $\tilde{O}(\epsilon^{-3})$ を改善している。
4. 緩和された仮定： 先行研究（Gaur et al., 2025）とは異なり、AHOは外側レベルの目的関数に対するPL条件の仮定を排除している。また、内側レベルの問題における一意の最小解の要件も緩和しており、局所的に孤立した非退化な最小解のみを要求している。

結果と分析

理論的保証

緩やかな正則性条件（リプシッツ連続性、有界な報酬/対数確率、および内側レベルのみのPL条件）の下で、著者らは、外側レベルの勾配の平均二乗ノルムが、近似誤差およびサンプリングパラメータに依存する境界に収束することを証明している：
$$\frac{1}{T} \sum_{t=0}^{T-1} \|\nabla \Phi(x_t)\|^2 \leq O(\epsilon) + O(\epsilon_{approx}) + O(\epsilon_{fd}) + O(\epsilon_{kl})$$
パラメータを $T = \Theta(\epsilon^{-1})$, $B = \Theta(\epsilon^{-1})$, $K = \Theta(\log(\epsilon^{-1}))$, $H = \Theta(\log(\epsilon^{-1}))$ と設定することで、サンプル複雑性が $\tilde{O}(\epsilon^{-2})$ であることが確立される。

実証的評価

著者らは、DM Controlスイート（walker-walk および cheetah-run）の連続制御タスクにおいて、これを好みに基づくバイレベルRL問題として定式化し、AHOを評価している。

• ベースライン： AHOを、Gaur et al. (2025) によるペナルティベースのバイレベルRLアルゴリズムと比較している。
• 比較の制約： PARL（Chakraborty et al., 2024）については、PARLのヘッシアンベースのアプローチが、使用されているネットワークサイズに対して計算量的に実行不可能（$\sim 10^{12}$ 個のエントリを持つヘッセ行列の逆行列計算を必要とするため）であることから、比較対象から除外していることを明記している。
• 結果： AHOは両方のタスクにおいて、Gaur et al. (2025) のベースラインよりも高い総評価報酬を達成しており、サンプル複雑性の理論的な改善を実証的に支持している。

意義

本論文は、AHOがスケーラビリティとサンプル効率性の間のトレードオフを解決することにより、バイレベルRLにおける重要な進展であると主張している。

• スケーラビリティ： ヘッシアンを除去することで、本手法は、好みに基づくRLで使用される現代的な大規模ニューラルネットワーク方策への適用を可能にする。
• 効率性： エントロピー正則化された目的関数とボルツマン最適性を利用することで、ペナルティ手法に固有の「勾配近似 vs サンプリング誤差」のトレードオフを回避し、より優れたサンプル複雑性（$\tilde{O}(\epsilon^{-2})$ vs $\tilde{O}(\epsilon^{-3})$）を実現している。
• 理論的堅牢性： 外側レベルのPL条件を排除したことで、RL-HFやメタ学習において一般的な、より広範な非凸の外側目的関数への適用可能性を広げている。