技術要約：部分空間獲得関数によるスケーラブルなバッチ・ベイズ最適化

問題提起

ベイズ最適化（BO）は、高コストなブラックボックス最適化問題を解決するための強力なフレームワークである。標準的なBOは逐次的に動作し、一度に一つのサンプル点を選択するが、このアプローチは並列計算リソースが利用可能な場合には非効率的である。並列性を活用するためには、複数のサンプルを同時に評価するバッチ・ベイズ最適化アルゴリズムが必要となる。

しかし、既存のバッチ手法は、バッチサイズ（$q$）が増加するにつれて重大なスケーラビリティの問題に直面する：

• マルチポイント期待改善量（qEI）： 理論的には健全であるが、qEIの最適化は $d \times q$ 次元（$d$ は問題の次元）の探索空間を伴う。$q$ が大きくなるにつれ、多変量累積分布関数の計算コストが増大し、獲得関数の最適化が困難になるため、qEIおよびその変種（FqEI、qLogEIなど）は、大きなバッチサイズ（通常 $q > 10$）において実用的ではなくなる。
• ヒューリスティックな手法（Kriging Believer、Constant Liar、Local Penalizationなど）： これらの手法は、バッチ効果をシミュレートするために「偽の」点や人工的なペナルティ関数に依存することが多い。バッチサイズが増加するにつれ、これらの人工的な点の蓄積がガウス過程（GP）モデルの精度を低下させ、探索方向を誤らせ、最適化効率を低下させる可能性がある。
• マルチオブジェクティブおよびマルチモデルのアプローチ： 複数の代理モデルを訓練したり、多目的最適化問題を解いたりする手法は、大きなバッチサイズに対してスケーラビリティが低く、高い計算コストを招くことが多い。

本研究で対処する核心的な課題は、次元の呪いやモデルの劣化に悩まされることなく、大規模なバッチ評価に対して計算量的に実行可能かつ効果的なバッチ獲得戦略を設計することである。

手法

著者らは、既存の獲得関数（具体的には期待改善量（EI）だが、PIやUCBにも適応可能）を、ランダムに選択された軸に平行な部分空間内で動作するように拡張した、**部分空間獲得関数（Subspace Acquisition Functions）**と呼ばれる新しいアプローチを提案している。

核心概念：部分空間期待改善量（SSEI）

$q$ 個の点をフル $d$ 次元の設計空間内で同時に探索する代わりに、この手法は以下の手順を踏む：

1. 部分空間の選択： 軸に平行な部分空間をランダムに選択する。$k$ 次元の軸に平行な部分空間は、$d$ 次元のうち $k$ 個の座標を選択し、残りの $d-k$ 個の座標を現在の最良解（$x_{min}$）の値に固定することで定義される。
2. 局所最適化： 各選択された部分空間に対して、標準的な獲得関数（例：EI）を、選択された $k$ 個の変数のみに限定して最適化する。選択されなかった変数は $x_{min}$ に固定される。
3. バッチ生成： 各一意の部分空間から1つのクエリ点を選択する。必要なバッチサイズ $q$ が利用可能な部分空間の数（$N = 2^d - 1$）を超える場合、本手法は**部分空間マルチポイント期待改善量（SSqEI）**を採用し、単一の部分空間内で複数の点を最適化する。

計算フレームワーク

提案されているアルゴリズム（Algorithm 1）は以下のように動作する：

• 初期化： 初期サンプルを生成し、GPモデルを訓練する。
• 部分空間選択： 整数 $k \in [1, d]$ をランダムに引き、次に $k$ 個の座標のランダムな組み合わせを選んで部分空間を形成する。これにより、すべての可能な部分空間を列挙する計算コストを回避する。
• 獲得関数の最適化：
  • $q \le N$ の場合：$q$ 個の異なる部分空間を選択し、各部分空間で標準的なSSEIを最適化して、1つの部分空間につき1点を見つける。
  • $q > N$ の場合：利用可能な $N$ 個の部分空間に $q$ 個の点を分配する（SSqEIを用いて、1つの部分空間内で複数の点を最適化する）。
• 評価： 得られたバッチの $q$ 個の点を並列に評価する。
• 更新： 新しい観測結果を用いてGPモデルを更新し、繰り返す。

獲得関数の最適化における次元数は、$d \times q$ から、およそ $k \times 1$（またはSSqEIの場合は $k \times q_i$）へと減少する。これにより、獲得関数の最適化の複雑さが大幅に軽減される。

主な貢献

1. スケーラブルなバッチ戦略： 本論文は、バッチ選択を独立した、あるいは低次元の部分空間最適化へとデカップリングすることで、qEIの指数関数的な複雑さを回避し、大規模なバッチサイズへのベイズ最適化の拡張を実現する手法を導入している。
2. 簡潔性と汎用性： このアプローチは追加のハイパーパラメータを必要とせず、幅広い獲得関数（EI、PI、UCBで実証済み）に適用可能である。その概念は極めてシンプルであり、「部分空間を抽出し、局所的に最適化し、集約する」というものである。
3. 次元に対する堅牢性： 現在の最良解にアンカーされた軸に平行な部分空間に探索を制限することで、本手法はランダムな部分空間選択による「探索（Exploration）」と、局所探索による「活用（Exploitation）」を自然にバランスさせており、高次元空間において特に効果的である。

実験結果

著者らは、提案手法（SSEI）を、60個の合成ベンチマーク問題（GPMean, SumSquares, Rosenbrockなど）を用い、次元 $d \in \{2, 4, 8, 10, 20, 30\}$ およびバッチサイズ $q \in \{1, 2, 4, 8, 16, 32, 64, 128\}$ にわたって、10種類の最先端のバッチアルゴリズム（qEI, qLogEI, FqEI, TuRBO, MSMR, MACE, PEI, EIMI, KB, Random Searchを含む）と比較評価した。

• 逐次型BOとの比較： $q=1$ のとき、SSEIは低次元の問題では標準的なEIと同様の性能を示すが、高次元の問題（$d \ge 8$）ではEIを大幅に上回る。これは、逐次的なEIが高次元での獲得関数の最適化に苦戦する一方で、SSEIの局所的な部分空間探索が獲得関数のより良い局所最適解を見つけ出すためであると著者らは説明している。
• バッチサイズによるスケーラビリティ：
  • 小〜中規模バッチ（$q \le 32$）： SSEIは、関数評価回数で測定した場合に他のバッチ手法と同等またはそれ以上の性能を維持しながら、ウォーククロック時間（イテレーション）においてほぼ線形な加速を実現する。
  • 大規模バッチ（$q = 128$）： SSEIは、このスケールにおいて失敗するか著しく劣化するqEIの変種を含む、すべての比較対象アルゴリズムを大幅に凌駕する。提案手法はより速く収束し、より優れた最終解を見つける。
• 特定のアルゴリズムとの比較：
  • vs. qEI/qLogEI/FqEI： $d$ と $q$ が増加するにつれて、SSEIは優位となる。これは、SSEIが $d \times q$ の次元の呪いを回避するためである。
  • vs. TuRBO： SSEIは競争力のある性能を示し、低〜中次元ではしばしばTuRBOを上回り、高次元では同等の性能を示す。
  • vs. ペナルティベース手法（PEI, EIMI, KB）： SSEIは、バッチサイズの増大に伴いモデルの劣化に苦しむこれらの手法を一貫して上回る。
• 汎用性： 部分空間アプローチは、確率向上（SSPI）および上限信頼境界（SSUCB）にも成功裏に適用され、それぞれのマルチポイント版（qPI, qUCB）に対して同様の性能向上を示した。

重要性と主張

本論文は、提案された部分空間獲得関数が、バッチ・ベイズ最適化のためのシンプルで効率的かつスケーラブルな解決策を提供すると主張している。主な意義は、既存の手法に関連する計算上のボトルネックや精度の低下を招くことなく、大規模な並列計算リソース（大きな $q$）の使用を可能にすることにある。

著者らは以下を強調している：

• 本手法は、獲得関数の最適化における次元の呪いを効果的に緩和する。
• ランダムな部分空間選択によるグローバルな探索と、非選択変数の固定によるローカルな活用との間の実用的なトレードオフを提供する。
• 本手法は「プラグアンドプレイ」の拡張であり、様々な獲得関数に適用可能で、並列評価が可能な高コストな最適化問題において特に価値が高い。

結論として、複数の異なる部分空間からクエリ点を選択することは、大規模なバッチ・ベイズ最適化のための有望な戦略であり、現在の最先端のアプローチと比較して収束速度と解の質の両面で大幅な改善をもたらすと述べている。