テクニカルサマリー：ベイズ最適化におけるハイパーパラメータ最適化のための動的事前分布（Dynamic Priors）

問題提起

ベイズ最適化（BO）はハイパーパラメータ最適化（HPO）における標準的な手法であるが、既存の手法は通常、初期化フェーズにおけるユーザーの影響に限定されている。$\pi$BOのような初期事前分布を指定するインターフェースや、候補となる評価を拒否する手法といった最近の研究はあるものの、これらは最適化プロセス中の**継続的かつ動的なユーザーによるステアリング（操舵）**を実現する能力を欠いている。反復的な機械学習ワークフローにおいて、実務者はモデルの進化に伴い新たな知見を得たり、優先順位を変更したりすることが多いが、現在のBOフレームワークは、プロセスを再開したり大幅に変更したりすることなく、これらの進化する信念を組み込むことができない。さらに、ユーザーの事前分布を取り入れる既存の手法は、誤導的な（あるいは「欺瞞的な」）ユーザー入力に対する堅牢性に欠けており、それが性能を低下させる可能性がある。

手法：DynaBO

著者らは、実行時に動的な事前分布を統合することで、BOプロセスに対する継続的なユーザー制御を可能にするフレームワークであるDynaBOを提案している。その手法は、以下の3つのコアコンポーネントで構成される。

1. 動的事前分布重み付き獲得関数

初期化時にのみ適用される静的な事前分布とは異なり、DynaBOは、異なるタイムステップ $\{t^{(m)}\}$ で提供される一連のユーザー指定事前分布 $\{\pi^{(m)}\}_{m=1}^M$ を受け入れるように獲得関数を一般化している。

• メカニズム: 標準的な獲得関数 $\alpha_{\hat{f}}(\lambda)$ は、減衰する事前分布の重みの和によって拡張される：
  $$\alpha_{\hat{f}}^{dyna}(\lambda) := \alpha_{\hat{f}}(\lambda) \cdot \sum_{m=1}^{M} \pi^{(m)}(\lambda)^{\beta/(t - t^{(m)})}$$
• 減衰: 各事前分布の影響は時間の経過（$t \to \infty$）とともに減衰し、事前分布の重みが1に収束するように設計されている。これにより、ユーザーが指定した領域への一時的なバイアスを許容しつつ、バニラなBOの漸近的な収束保証を維持する。
• 集約: フレームワークは、複数の事前分布を組み合わせるために、積（掛け算）ではなく**和（足し算）**を使用する。著者らは、積は信念の積集合（事前分布が食い違う場合に有効な領域を打ち消し合う可能性がある）として機能するのに対し、和は和集合として機能し、多様なユーザー入力によって誘導されるマルチモーダルな構造を保持すると主張している。
• 候補選択: 修飾された獲得関数を最適化するために、DynaBOは候補サンプリング戦略を適応させる。これは、現時点での最良値（incumbent）の近傍からだけでなく、提供された事前分布を中心とする分布からもローカルサーチ（ヒルクライミング）の開始点を描画することで、ユーザーが示唆した領域を明示的に探索することを保証する。

2. 事前分布拒否セーフガード

誤導的な事前分布が最適化を遅らせるリスクに対処するため、DynaBOはデータ駆動型の検出メカニズムを導入している。

• 評価: 新しい事前分布 $\pi^{(m)}$ を受け取ると、システムは事前分布（$F_{\pi^{(m)}}$）から、および現在の最良値の周囲の正規分布（$N_{\hat{\lambda}}$）から構成をサンプリングする。
• 比較: 二次的な獲得関数 $\xi$（例：下限信頼限界：LCB）を用いて、これらの領域の期待品質を比較する。
• 決定: 事前分布の領域の期待品質が、最良値の領域の期待品質を閾値 $\tau$ 以上上回る場合にのみ、その事前分布は受理される：
  $$\mathbb{E}_{\lambda \sim F_{\pi^{(m)}}}[\xi_{\hat{f}}(\lambda)] - \mathbb{E}_{\lambda \sim N_{\hat{\lambda}}}[\xi_{\hat{f}}(\lambda)] \geq \tau$$
• 柔軟性: 事前分布が拒否された場合、システムはユーザーに警告を発することができ、これにより「ヒューマン・イン・ザ・ループ」によるオーバーライドが可能となり、協調的な最適化を促進する。

3. 理論的保証

著者らは、以下の特性に関する形式的な証明を提供している。

• ほとんど確実な収束（Almost Sure Convergence）: 動的で潜在的に誤導的な事前分布が存在する場合でも、事前分布の影響が漸近的に消失するため、DynaBOは確率1でグローバル最適解に収束する。
• 堅牢性: 欺瞞的な事前分布が存在する場合でも、DynaBOの漸近的な単純後悔（simple regret）はバニラなBOと一致する。
• 加速: 最適解を含む領域 $U_\epsilon$ にサンプリングを集中させる情報量の多い事前分布が提供された場合、DynaBOは有効な探索空間と情報獲得の要件を減少させることで、有限時間設定における収束の加速を実現する。

実験結果

著者らは、様々なサロゲートモデル（ランダムフォレストおよびガウス過程）と獲得関数（EIおよびLCB）を用い、多様なHPOベンチマーク（PD1、LCBench、およびXGBoostのシナリオを含む）にわたってDynaBOを評価した。

• 比較ベースライン: DynaBOは、バニラなBO、$\pi$BO（静的事前分布）、およびインタラクティブなHPOのための確率回路（PC）と比較された。
• パフォーマンス:
  • 情報量の多い事前分布: DynaBOは、Expert、Advanced、およびLocalの事前分布タイプにおいて、一貫して競合手法を上回り、最適な構成を見つけるための大幅なスピードアップを実証した。
  • 欺瞞的な事前分布: 欺瞞的な事前分布は$\pi$BOやPCの性能を低下させたが、DynaBOの拒否メカニズムは、ほとんどの誤導的な入力を正常にフィルタリングした。拒否が発生したシナリオにおいても、DynaBOはバニラなBOと同等またはそれ以上の性能レベルまで回復した。
  • 堅牢性: 欺瞞的な事前分布が複数回注入された場合でも、フレームワークはバニラなBOの最適化品質を維持した。
• オーバーヘッド: 拒否メカニズムの計算オーバーヘッドは極めて低く（26時間の実行時間の中で約12秒）、実世界のワークフローにおいて実用的である。

意義と主張

本論文は、協調的かつ人間中心のHPOというパラダイムを進展させるものであると主張している。その主な貢献は以下の通りである：

1. 継続的な制御: 本研究は、最適化中の任意のタイミングで事前分布の注入をサポートする最初のBOフレームワークであり、完全自動化と手動制御によるモデル開発の間のギャップを埋めるものである。
2. 安全性と相乗効果: 誤導的な入力に対するセーフガードと、ユーザーの信念とサロゲートモデルの信念を相乗させるメカニズムを組み合わせることで、DynaBOはBOの理論的保証を損なうことなく、専門家の直感を組み込む信頼できる方法を提供する。
3. 理論的厳密性: 本研究は、漸近的な収束性と欺瞞に対する堅牢性を維持しつつ、動的な事前分布における有限時間の加速に関する初の証明を提供している。

著者らは、DynaBOが信頼性と効率性の高い協調的BOを可能にし、新たな知見が得られるにつれて実務者が最適化プロセスを動的に操ることを可能にし、それによって人間のエラーのリスクを軽減しながら、高度なHPOツールへのアクセスを民主化すると結論付けている。