技術的サマリー：BAXUS – 入れ子部分空間における適応的ベイズ最適化

問題定義

高次元ベイズ最適化（HDBO）は、数十から数百の入力次元を持つ評価に高コストがかかるブラックボックス関数の最適化を目指す。近年の進歩により、ベイズ最適化（BO）の適用範囲は生命科学、ニューラルアーキテクチャ探索、ロボット工学などの分野に拡大しているが、次元数が増加するにつれて最先端の手法は重大な限界に直面している。

既存のアプローチは一般的に 2 つのカテゴリに分類され、いずれも決定的な欠点を有している：

1. 信頼領域法（例：TURBO）： これらは完全な入力空間内の局所的な有界領域（信頼領域）上で最適化を行う。中程度の次元では効果的であるが、信頼領域が問題の完全な次元性を維持したままとなるため、非常に高次元では性能が低下する。これは次元の呪いに起因する。
2. 線形埋め込み法（例：REMBO、HESBO、ALEBO）： これらは低次元の「アクティブ部分空間」の存在を仮定し、高次元の入力空間を低次元の目標空間へ射影する。しかし、これらの手法はユーザーがアクティブ部分空間の実効次元性（$d_e$）を「推測」することを要求する。選択された目標次元性（$d$）が小さすぎると、その部分空間は大域的最適解を表現できず、$d$ が大きすぎると次元の呪いにより最適化が低速化する。さらに、HESBO のような手法は、他の埋め込みと比較して最適解を含むことに関する最悪ケース保証が低いランダムハッシュに依存している。

核心的な課題は、アクティブ部分空間の次元性に関する事前知識を必要とせず、かつ高次元探索空間に起因する性能低下を回避しながら、大域的最適解を確実に見つける HDBO 手法を開発することである。

手法：BAXUS

著者は、最適化空間の次元性を動的に調整する理論的根拠に基づいたアプローチ、BAXUS（適応的に拡張する部分空間を有するベイズ最適化）を提案する。

1. 適応的入れ子部分空間

目標次元性を固定する代わりに、BAXUS は入れ子ランダム部分空間の族上で動作する。アルゴリズムは低次元の目標空間（$d_{init}$）から開始し、より多くのデータを収集するにつれて次元性を段階的に増加させる。

• 初期化： BAXUS は小さな目標次元 $d_0$ から開始する。
• 拡張： 最適化が進むにつれ、既存の目標次元を「分割」することで目標次元性を増加させる。このプロセスは、目標次元性が入力次元性 $D$ に概ね達するか、評価予算が尽きるまで継続される。
• 観測の保持： BAXUS の重要な特徴は、低次元空間から高次元空間へ拡張する際に、観測データを保持する能力にある。目標次元が分割されると、寄与する入力次元は元の次元と新しいビンに再割り当てられる。関数値（観測値）は新しい次元へコピーされ、低次元フェーズで収集されたデータが高次元フェーズでも有効であることを保証する。

2. スパース BAXUS 埋め込み

BAXUS は、目標空間 $Y \in \mathbb{R}^d$ を入力空間 $X \in \mathbb{R}^D$ へマッピングする新しいスパース線形埋め込みを利用する。

• 構造： 埋め込み行列 $S^\top \in \{0, \pm 1\}^{d \times D}$ はスパースであり、各列（入力次元）は正確に 1 つの非ゼロ要素を持つ。
• ビンバランス： 入力次元を目標次元に一様にランダムに割り当て、可変なビンサイズをもたらす HESBO とは異なり、BAXUS は各目標次元（ビン）あたりの寄与入力次元の数が最大で 1 だけ異なるように強制する。この「バランスの取れた」割り当ては、入力次元を順列し、$d$ 個のビンに分割することで達成される。
• 理論的利点： 著者は、このバランスの取れたスパース埋め込みが、有限の入力次元に対して HESBO 埋め込みよりも厳密に高い最悪ケース成功確率（目標空間が大域的最適解を含む確率）を提供することを証明している。$D \to \infty$ において、BAXUS の成功確率は HESBO のそれへ収束する。

3. 信頼領域と分割戦略

BAXUS は、埋め込み拡張を TURBO と同様の信頼領域（TR）アプローチと統合する：

• 信頼領域： 最適化は、GP の長さスケールによってスケーリングされた目標空間内の超長方体信頼領域内で実行される。
• 拡張トリガー： 信頼領域の底辺の長さが最小閾値以下に落ちた場合（現在の領域が小さすぎる、またはアルゴリズムが立ち往生していることを示唆）、目標次元性が増加される。
• 失敗制御： 分割が発生する前に許容される「失敗」（改善のない連続反復）の回数は、現在の目標次元性に基づいてスケーリングダウンされる。これにより、アルゴリズムが固定された評価予算内で高次元に到達できることが保証される。
• 収束： アルゴリズムは大域収束を達成することが証明されている。目標次元性が入力次元性 $D$ に達すると、BAXUS は大域的に収束することが知られている TURBO のように振る舞う。

主要な貢献

1. アルゴリズム開発： 著者は BAXUS を導入し、これは広範な高次元タスクにおいて優れた解を確実に達成し、現在の最先端手法を上回る。
2. 新しい埋め込み理論： 3 つの主要な性質を持つ新しい入れ子ランダム埋め込みの族を提示する：
   • HESBO 埋め込みと比較して、大域的最適解を含むことに関するより大きな最悪ケース保証を提供する。
   • 最適なスパース埋め込みである。つまり、同じ入力、目標、実効次元性に対して、他のスパース埋め込みがより高い最悪ケース成功確率を持たない。
   • 最適解を含む確率は、入力次元性 $D \to \infty$ において HESBO の確率へ収束する。
3. 包括的評価： 多様なベンチマークにおいて、BAXUS が TURBO、SAASBO、ALEBO、HESBO、CMA-ES、およびランダム探索を上回ることを示す広範な実証的証拠を提供する。

実験結果

著者は、388 次元のハイパーパラメータ最適化タスク、124 次元の設計問題、および既知のアクティブ部分空間を持つベンチマーク（LASSO、MOPTA08、BRANIN、HARTMANN）のコレクション上で BAXUS を評価した。

• 性能： BAXUS は一貫して最先端の手法を上回った。388 次元の SVM ベンチマークにおいて、BAXUS は適切な目標次元性に適応し、TURBO や CMA-ES よりも迅速に優れた解を見つけた。1000 次元の LASSO-HARD ベンチマークにおいて、BAXUS はアクティブ部分空間構造に依存する手法（SAASBO、ALEBO、HESBO）を含むすべての競合他社よりも著しく優れた解を達成した。これらの手法はアクティブ部分空間構造から恩恵を受けられなかった。
• 頑健性： BAXUS は観測ノイズに対して頑健であり、SAASBO や CMA-ES などの競合他社の性能が著しく低下したノイズのあるベンチマーク変種においても強力な性能を維持した。
• アブレーション研究： BAXUS 埋め込みを入れ子 HESBO 埋め込みと置き換えると、性能が著しく悪化し、バランスの取れたビン化戦略が成功の主要な駆動力であることを確認した。
• 固定埋め込みとの比較： 固定された目標次元性で実行された TURBO よりも BAXUS は優れており、適応的拡張戦略が $d$ の静的な選択よりも優れていることを示した。

意義と主張

本論文は、BAXUS が、実務家が問題の実効次元性を「推測」する必要性を排除することで、現在の HDBO 手法の決定的な限界に対処すると主張している。探索空間を適応的に拡張することにより、BAXUS は低次元最適化の効率性を活用しつつ、探索空間が最終的に完全な入力空間をカバーすることを保証し、それによって大域的最適解への到達性を確保する。

著者は、BAXUS が問題構造（軸方向のアクティブ部分空間など）に関する特定の仮定を必要とせず、多様な高次元タスクにわたって頑健な性能を達成する「すぐに使える（アウト・オブ・ザ・ボックス）」オプティマイザーであると断言している。この研究は、調整可能なパラメータの数が多く、その実効次元性が未知である科学および産業の応用において、高次元ベイズ最適化をよりアクセスしやすく、信頼性の高いものにすることを目指している。