Surrogate modeling for Bayesian optimization beyond a single Gaussian process

技術的概要：単一のガウス過程を超えたベイズ最適化のための代理モデル

問題定義
ベイズ最適化（BO）は、ハイパーパラメータ調整、創薬、ロボティクスなどで見られる「評価に高コストがかかる」ブラックボックス関数を最適化するための原理的な枠組みである。標準的な BO は、探索と利用のバランスを取りながら逐次的にクエリ点を選択するために、統計的な代理モデルに依存している。しかし、既存のアプローチは通常、事前に選択されたカーネル関数を持つ単一のガウス過程（GP）に依存している。この設計は、適切なカーネルタイプとハイパーパラメータを選択するために、相当なドメイン専門知識を必要とする。さらに、BO アルゴリズムに対する厳密な収束保証が欠如していることが多く、収束時間を短縮するための並列評価の実施は、クエリの多様性を確保するために追加のハイパーパラメータや複雑な選択規則を必要とすることが多い。本論文は、チューニング努力を最小化し、並列動作をサポートし、理論的な収束保証を提供する BO 手法の必要性に取り組む。

手法：EGP-TS
提案手法であるEGP-TS（Thompson Sampling を用いたアンサンブルガウス過程）は、単一の GP 代理モデルを超えた新たな枠組みを導入する。

1. GP のアンサンブル（EGP）: 単一のカーネルの代わりに、本手法は $M$ 個の GP のアンサンブルを活用する。ここで、各 GP $m$ は、事前定義された辞書 $\mathcal{K}$ から選択されたカーネル関数 $\kappa_m$ を使用する。目的関数 $f(x)$ の事前分布は、これらの GP の重み付き混合としてモデル化される：
   $$f(x) \sim \sum_{m=1}^M w_m^0 \mathcal{GP}(0, \kappa_m(x, x'))$$
   重み $w_m^t$ は、ベイズ則を用いて観測データ $D_t$ に基づきオンザフライで適応的に更新され、現在の最適化段階に最も適した代理モデルの適合を実質的に選択する。

2. Thompson Sampling（TS）獲得関数: 次のクエリ点を選択するために、本手法は Thompson Sampling を採用する。複雑な獲得関数を最適化するのではなく、TS は事後混合分布から関数の実現値 $\tilde{f}_t(x)$ をサンプリングし、このサンプリングされた関数の最大値を選択する。このアプローチには追加の設計パラメータは不要である。

3. ランダム特徴量（RF）によるスケーラビリティ: 特に TS によって必要とされるサンプリング段階におけるスケーラビリティを確保するために、本手法はアンサンブル内の各 GP に対してランダム特徴量に基づくカーネル近似を採用する。これにより、非パラメトリックな GP 学習をパラメトリックな学習に変換し、効率的な関数サンプリングとモデルパラメータ（重みと事後平均/共分散）の再帰的ベイズ更新を可能にする。

4. 並列化: EGP-TS フレームワークは、同期および非同期の両方の並列関数評価を自然に受け入れる。$K$ 個のワーカーを有する並列設定では、現在の事後混合分布からサンプリングすることで複数のクエリ点が生成され、Upper Confidence Bound（UCB）や Expected Improvement（EI）を用いた並列 BO で一般的に必要とされる多様性の強制のための追加ハイパーパラメータは不要である。

主要な貢献
本論文は、4 つの主要な貢献を概説している：

• 適応的モデル選択: 事前に選択されたカーネルを持つ単一の GP を、各 GP の重みをオンザフライで適応的に調整する GP のアンサンブルに置き換えることで、手動によるカーネル選択の必要性を排除する。
• パラメータフリーの並列化: 結果として得られる EGP-TS アプローチは、追加の設計パラメータを必要とすることなく、同期および非同期の並列評価の両方をサポートする。
• 収束保証: 著者らは、線形バンドットにおける混合事前分布からの手法を BO 文脈に適応させ、EGP 事前分布によって導入された課題に対処することで、逐次および並列設定の両方に対する部分線形ベイズ後悔 bound を導出し、EGP-TS が大域的最適解に収束することを確立する。
• 実証的検証: 合成関数、ロボティクスタスク（ロボットプッシング）、および実世界のハイパーパラメータ調整タスク（FNN、SVM、Gradient Boosting 用）における広範なテストにより、単一 GP ベースの TS、完全ベイズ GP-TS、および代替のアンサンブル手法に対する本手法の優位性が示された。

結果
数値実験は、標準的な合成ベンチマーク（Ackley-5d、Zakharov、DropWave、Eggholder）および実世界アプリケーションに対して実施された。

• 合成関数: EGP-TS は、RBF や Matérn などの事前選択されたカーネルを持つ GP-TS や、BanditBO や EXP3BO などの他のアンサンブル手法と比較して、一貫して低い単純後悔を達成した。また、完全ベイズ GP-TS とも比較して優れていた。
• ロボティクス: 3 次元および 4 次元のロボットプッシングタスクにおいて、EGP-TS は目標位置までの距離を最小化する点で全てのベースラインに対して優れた性能を示し、同時に完全ベイズ GP-TS よりも大幅に高速に実行された。
• ハイパーパラメータ調整: Breast Cancer、Iris、Wine などのデータセットにおける FNN、SVM、および Gradient Boosting モデルの調整において、EGP-TS は競合他社と比較して少ない関数評価回数で高い検証精度を達成した。
• アブレーション: EGP 代理モデルを Expected Improvement（EGP-EI）と組み合わせる予備的な結果も、標準的な GP-EI に対して性能向上を示し、アンサンブルモデルの利点が Thompson Sampling 以外の領域にも及ぶことを示唆している。

意義と主張
本論文は、EGP-TS がベイズ最適化における「設計努力」のボトルネックに対する堅牢な解決策を提供すると主張している。アンサンブルアプローチによるカーネル選択の自動化と Thompson Sampling の利用により、本手法は専門家ドメイン知識への依存を軽減する。理論的な貢献は、アンサンブルベースの BO アルゴリズムに対する厳密なベイズ後悔 bound を確立し、平均後悔が減少するにつれて本手法が大域的最適解に収束することを証明する点にある。著者らは、アンサンブルの概念は教師あり学習で使用されてきたが、カーネル選択のための BO への適応、並列スケーラビリティ、および収束分析を組み合わせることは、新たな貢献であると強調している。この研究は、EGP-TS を、アンサンブル学習の表現力と、実用的で高コストな最適化タスクに必要な効率性および理論的保証のバランスを取る手法として位置づけている。