技術的概要：高次元ベイズ最適化の理解に向けた自動化されたカーネル発見

問題定義

高次元ベイズ最適化（BO）は、ハイパーパラメータチューニング、ニューラルアーキテクチャ探索、生物学的配列設計などの応用において不可欠である。しかし、BO は「次元の呪い」に悩まされており、観測点間の大きな距離が正確な代理モデルの構築を困難にし、探索空間の境界の過剰な探索を引き起こす。

近年の研究では、適切にスケーリングされた長さスケール事前分布や幾何学的入力変形を備えた単純なカーネル（例：RBF、Matérn）が良好な性能を発揮することが示唆されているが、効果的な事前分布や変換の特定には、依然としてドメイン専門家による広範な手動エンジニアリングが必要である。既存の自動化アプローチは、高次元において以下の 2 つの主要なボトルネックに直面している：

1. 表現性のボトルネック：現在のカーネル探索手法は、事前定義されたベースカーネルの加法的および乗法的合成に制限されており、高次元問題に適した新規構造の発見が制限されている。
2. インターフェースのボトルネック：大規模言語モデル（LLM）に基づく BO 手法は、通常、探索を誘導するために生観測値に条件付けられる。高次元では、数値データの膨大な量が LLM のコンテキスト制限を超え、パターンの抽出を不可能にする。

手法：カーネル発見

著者は、高次元 BO 向けの効果的なガウス過程（GP）カーネルの設計を自動化するために設計された、LLM 駆動の進化フレームワーク「Kernel Discovery」を提案する。このフレームワークは、集団の初期化、カーネル発見、検証、選択を含む反復ループを通じて動作する。

1. 2 段階発見パイプライン

LLM が構文的多様性はあるが機能的に同一なコードを生成する制限を克服するため、著者は 2 段階のアプローチを採用する：

• 段階 1（数式定式化）：LLM に、既存カーネルの集団に基づいてカーネルの新しい数式形式を提案させる。重要なのは、この段階では生観測値に条件付けず、代わりに LLM の数学的推論能力に依存して構造的に革新的な形式を生成することである。プロンプトには、高次元戦略（例：入力射影、次元スケーリング）と制約（例：半正定値性）に関する具体的なガイダンスが含まれる。
• 段階 2（コード変換）：2 番目の LLM 呼び出しにより、提案された数式形式を実行可能な Python コード（特に GPyTorch フレームワーク用）に変換する。

2. 集団初期化と進化

プロセスは、高次元で有効であることが知られているカーネルの初期集団（$P_0$）から始まる。これには RBF、Matérn52、Rational Quadratic（RQ）、BOCK（円柱カーネル）、SL（球面線形カーネル）が含まれる。

• 合成：2 段階発見に加えて、フレームワークには、LLM が上位パフォーマンスのカーネルを加算または乗算によって組み合わせる合成段階が含まれる。
• 検証：新たに生成されたカーネルは、以下の 2 つの実証的チェックを受ける：
  • アグノスティック実行（$V_{agn}$）：コードがさまざまな入力形状とバッチサイズで正しく実行されることを保証する。
  • 半正定値性（$V_{psd}$）：カーネルがコレスキー分解を通じて有効な共分散行列を生成することを検証する。
• 選択基準（LOO-CRPS）：過学習なしに次の BO 反復に最適なカーネルを選択するため、著者は**Leave-One-Out Continuous Ranked Probability Score（LOO-CRPS）**を導入する。現在のデータに過剰適合する過度に複雑なカーネルを好む可能性がある周辺対数尤度（MLL）とは異なり、LOO-CRPS は保持されたデータポイント上の予測分布を評価することで、過信な適合にペナルティを課す。

3. 進化ループ

各反復において、フレームワークは新しい候補を生成し、検証し、最低 LOO-CRPS を持つカーネルを選択して GP 代理モデルに適合させる。その後、獲得関数（LogEI）を最大化して次のクエリ点を提案する。集団は、最低 LOO-CRPS を持つ上位 N 個のカーネルを保持して更新され、集団がより較正され効果的な代理モデルへと進化することを保証する。

主要な貢献

1. 新規フレームワーク：単純な加法的/乗法的合成を超えた広範なカーネル空間を探索し、生の高次元観測値に条件付けを避ける、初の LLM 駆動進化フレームワーク「Kernel Discovery」の導入。
2. 2 段階分解：数式定式化とコード生成を分離することで機能的冗長性を減らし、真に新規なカーネル構造の発見を促すという方法的洞察。
3. 堅牢な選択指標：自動化されたカーネル探索における MLL の既知の弱点に対処し、カーネル選択プロセスにおける過学習を軽減するための選択基準としての LOO-CRPS の提案。
4. 実証的検証：100 から 6,392 の次元範囲を持つ 5 つの高次元ベンチマークでの包括的評価により、ベースカーネル、探索ベース手法、その他の LM ベースの BO アプローチを含む 16 のベースラインを上回る優れた性能を実証。

実験結果

本手法は、Rover（$D=100$）、Mopta08（$D=124$）、Lasso-DNA（$D=180$）、SVM（$D=388$）、Humanoid（$D=6392$）の 5 つの標準ベンチマークで評価された。

• 性能：Kernel Discovery は、すべてのベンチマークにわたる 17 手法の中で平均順位 1.2を達成し、2 位の Compositional Search（順位 4.4）を大幅に上回った。
• ベースラインとの比較：
  • 固定されたベースカーネル（RBF、Matérn など）をすべて上回った。
  • Greedy Search や Compositional Search などの探索ベース手法を大幅に上回り、探索空間を単純な合成に制限することの限界を浮き彫りにした。
  • CAKE、ARM、LMABO などの LLM ベースのベースラインを顕著に上回った。著者は、CAKE の失敗要因を、高次元において性能を低下させる生観測値をコンテキストとして依存している点に帰している。
• アブレーション研究：初期化、発見段階、LOO-CRPS 指標のいずれかのコンポーネントを除去すると性能が低下し、完全なパイプラインの必要性が確認された。2 段階アプローチは、直接コード生成よりも機能的に多様なカーネルを生み出すことが示された。

意義と主張

本論文は、数学的推論能力を備えたシステムによるカーネル設計の自動化が、高次元 BO における手動エンジニアリングの障壁を大幅に低減できると主張している。

• 合成を超えて：本研究は、高次元における効果的なカーネルがベースカーネルの単純な合成に限定されないことを実証している。発見されたカーネルには、初期集団には存在しなかった複雑な幾何学的変形（例：arctan 変換）や非定常成分が含まれることが多かった。
• 高次元 BO への洞察：発見されたカーネルを分析することで、著者は効果的な代理モデルを駆動する要因に関する新たな洞察を提供した。幾何学的に変形されたカーネルと非定常成分（tanh 多項式など）の合成が改善をもたらすことが判明し、スケーリングされた事前分布を備えた単純なカーネルで十分であるという支配的な直観に挑戦している。
• 転移性：著者は、あるベンチマーク（例：SVM）で発見されたカーネルが他のベンチマークへ効果的に転移できることを示しており、発見された構造が高次元最適化ランドスケープの一般化可能な特性を捉えていることを示唆している。

著者は、現在のフレームワークはベンチマークごとにカーネルを最適化しているものの、結果は LLM 駆動のカーネル発見が高次元 BO にとって有望な戦略であり、より表現力豊かで自動化された代理モデルへの道を開くことを示唆していると結論付けている。