技術要約：リスクを考慮したAutoRLのための効率的な不均一分散ベイズ最適化

1. 問題の定式化

強化学習（RL）の結果は、ランダムな初期化、探索戦略、ハードウェアの非決定性などの要因により、本質的に確率的です。その結果、特定のハイパーパラメータ（HP）構成のパフォーマンスは単一の値ではなく、分布となります。従来のハイパーパラメータ最適化（HPO）は、期待値（平均）の回帰のみを最適化することが多く、変動性を無視しています。このアプローチは「脆弱」です。なぜなら、HPO中に最適に見えた構成が、その後の実行においてパフォーマンスを再現できない可能性があったり、高分散な構成が非自明な確率で劣悪な方策をもたらしたりして、コストのかかる再学習を必要とする可能性があるからです。

本論文では、リスクを考慮したHPOを、平均・分散目的関数を最大化する問題として定式化しています。ハイパーパラメータ構成 $x$ が与えられたとき、以下の値を求めることが目標となります：
$$x^* \in \arg\max_{x \in \mathcal{X}} \left( \mathbb{E}[J(\pi)] - \alpha \text{Var}[J(\pi)] \right)$$
ここで、$J(\pi)$ は学習された方策の割引報酬であり、$\alpha \geq 0$ はパフォーマンスとリスク（変動性）のトレードオフを制御します。

既存の手法である Risk-Averse Heteroscedastic Bayesian Optimization (RAHBO) (Makarova et al., 2021) は、平均と分散の両方を個別のガウス過程（GP）としてモデル化し、リスクを考慮した獲得関数を使用することでこれに対処しています。しかし、RAHBOはすべての構成に対して固定された複製予算（$k$）に依存しています。各トレーニング実行が高コストであるRLの計算資源が限られた領域において、明らかに劣っている構成を含むすべての構成に対して一律の評価回数（例：$k=20$）を割り当てることは非効率的です。逆に、小さな固定 $k$（例：$k=2$）では、有望な構成の分散を信頼性高く推定するためのデータが不十分になる可能性があります。

2. 手法：ERAHBO

著者らは、高コストなRL設定におけるサンプル効率を向上させるために設計された、RAHBOの適応的再サンプリング定式化である Efficient Risk-Averse Heteroscedastic Bayesian Optimization (ERAHBO) を提案しています。

コアメカニズム：信頼度に基づく適応的サンプリング

固定予算の代わりに、ERAHBOは選択された構成 $x_t$ に対して、範囲 $[k_{\min}, k_{\max}]$ 内で動的に評価回数（$k$）を決定します。アルゴリズムは、停止基準に基づいた手法を採用しています：

1. インカンベント（現時点での最良値）の下限 ($B_t$)： 反復 $t$ において、アルゴリズムはこれまでに観察された最良の平均・分散（MV）スコアに対する保守的な下限を保持します：
   $$B_t := \max_{x \in \mathcal{D}_{t-1}} \text{LCB}_{MV}^t(x)$$
   ここで、$\text{LCB}_{MV}^t(x) = \text{LCB}_f^t(x) - \alpha \cdot \text{UCB}_{var}^t(x)$ です。

2. 適応的サンプリングループ： 構成 $x_t$ が選択されると（上限信頼限界 $\text{UCB}_{MV}^t(x)$ を最大化することによって）、アルゴリズムは逐次的にサンプルを収集します。サンプリングは、以下のいずれかの条件が満たされるまで継続されます：

   • 現在の構成の楽観的な推定値が、インカンベントの下限を下回った場合：
     $$\text{UCB}_{MV}^t(x_t; k) \leq B_t$$
   • 最大許容評価回数 $k_{\max}$ に達した場合。

解釈： ある構成の平均・分散スコアの上限信頼限界が、現在の最良構成の下限信頼限界よりも低い場合、アルゴリズムは高い確率で、現在の構成が劣っていると認定します。これ以上のサンプリングは不要と判断され、アルゴリズムは新しい構成へと移行します。これにより、ERAHBOは有望だが不確実な構成にはより多くのサンプルを投入して分散を正確に推定する一方で、劣った構成を早期に「拒絶」すること（リソースの節約）が可能になります。

理論的保証

本論文は、ERAHBOに対する劣線形後悔（sublinear regret）の保証を提供しています。標準的な仮定（RKHSの滑らかさ、サブガウスノイズ）の下で、反復回数 $k_t$ が $[k_{\min}, k_{\max}]$ 内に一様に制限されている場合、サンプル数の累積後悔 $R_T$ はRAHBOと同様に抑えられます。後悔の境界は以下の通りです：
$$R_T = \tilde{O}\left( k_{\max} \sqrt{T \gamma_T} + \alpha k_{\max} \sqrt{T \Gamma_T} \right)$$
ここで、$\gamma_T$ と $\Gamma_T$ はそれぞれ平均モデルと分散モデルの情報利得項です。これは、適応的な複製が理論的な収束率を低下させないことを示しています。

3. 主な貢献

1. アルゴリズムの革新 (ERAHBO)： リスクを考慮したHPOにおいて、複製予算 $k$ の手動チューニングを不要にする適応的再サンプリング戦略の提案。これは不確実性とリスク意識に基づいて評価を動的に割り当てます。
2. 理論的分析： 適応的戦略が元のRAHBOフレームワークの劣線形後悔の保証を維持することを証明しました。
3. ベンチマークデータセット： タスクごとに512個の構成について、50回の繰り返し実行（シード）によるハイパーパラメータ構成とトレーニング後の方策リターンの対応関係を示す、大規模なオフラインデータセットを公開しました。このデータセットは、信頼できる不均一分散の分散推定を困難にする、従来のベンチマーク（例：HPO-RL-Bench, ARLBench）の不十分さ（最大10シード程度）に対処しています。
4. 実証的検証： Brax、XLand-Minigrid、およびClassic Control環境におけるDQN、SAC、PPOを含む19のRLタスクにわたる包括的な評価。

4. 実験結果

著者らは、ERAHBOを、リスク中立（GP-UCB）およびリスク回避（固定 $k=2$ および $k=20$ のRAHBO）のベースラインと比較評価しました。

• パフォーマンス： ERAHBOは一般に、リスク中立およびリスク回避のベースラインの両方を上回りました。19のアルゴリズム-環境ペアのうち7つで最高の総合ランクを獲得し、16のペアで少なくとも一つのRAHBOバリアントを上回りました。
• サンプル効率： ERAHBOは、RAHBO ($k=20$) および GP-UCB よりも大幅に早く後悔の閾値に到達しました。RAHBO ($k=2$) に匹敵するサンプル効率を実現しつつ、優れた最終パフォーマンスを維持し、「アンダーサンプリング」の問題を回避しました。
• 適応性： 繰り返し分布の分析により、ERAHBOは全予算を使い切ることなく、大部分の構成を正常に拒絶し、一方でMVスコアが高い構成にはより多くの反復を投資したことが示されました。
• ドメインの変動性： RAHBOにおける最適な固定 $k$ は、ドメイン（例：Braxでは $k=20$ が良く、XLandでは $k=2$ が良い）によって大きく異なることが判明しました。ERAHBOは、手動介入なしにこれらの多様なニーズに自動的に適応しました。
• 観察された限界： 全体的なパフォーマンスが低いXLand環境では、強力なインカンベントを確立することが難しく、過剰な反復が発生したため、ERAHBOの効果は限定的でした。

5. 意義と主張

本論文は、ERHBOが強化学習のためのリスクを考慮したハイパーパラメータ最適化の実用的な効率を向上させると主張しています。不確実性が最も重要な場合にのみサンプルを適応的に割り当てることで、信頼できる低分散な構成を見つけるための計算コストを削減します。

著者らは、本研究をAutoRLをより堅牢かつ再現可能にするためのステップとして位置付けています。彼らは以下の制限事項を明記しています：

• 本手法は平均・分散目的関数を最適化するものであり、これは特定の概念としてのリスクであり、テールイベントや失敗確率を直接ターゲットとするものではありません。
• 後悔の保証は、特定の適応ルールに関するタイトな特性化ではなく、すべての可能なサンプルスケジュールの範囲内における保守的なワーストケースの境界です。
• 実験結果はオフラインデータセットに依存しており、新鮮なトレーニング実行を伴うオンラインHPOのダイナミクスを完全には再現していません。

公開されたデータセットは、異なるRL設定におけるリスクに影響を与える要因についてのさらなる研究を促進し、より適応的なリスク考慮型HPO手法を開発するための重要なリソースとして強調されています。