Profile Bayesian Optimization for Expensive Computer Experiments

技術要約：高コストなコンピュータ実験のためのプロファイル・ベイズ最適化

問題提起
本論文は、単一のグローバル最適解ではなく「プロファイル最適解（profile optima）」を特定することを目的とした、高コストで決定論的なブラックボックス・コンピュータ・シミュレーションの最適化における課題に対処している。これらのシナリオでは、入力は単一の制御パラメータ ($x^\star$) と複数の妨害パラメータ ($x_{-\star}$) に分割される。目標は、$x^\star$ の全容な範囲にわたって関数 $T(x^\star) = \min_{x_{-\star}} f(x^\star, x_{-\star})$ を推定することである。

標準的なベイズ最適化（BO）は、通常、単一のグローバル最小値を目指すため、このタスクには適していない。なぜなら、制御パラメータの全領域を探索することを軽視しがちだからである。Ginsbourgerら（2104年）によって提案されたプロファイル期待改善量（PEI）などの既存のプロファイル最適化手法は、主に2つの制限事項を抱えている：

1. 計算の困難さ： 候補選択のために高密度なグリッドに依存しており、これは次元が2を超える場合には実行不可能となる。
2. 探索と活用（Exploration-Exploitation）の不均衡： 従来の期待改善量（EI）と同様に、PEIはグローバル最小値付近の領域を過度に活用（exploit）する傾向があり、制御パラメータの全範囲を十分に探索（explore）することができない。

著者らは、特定のエンジニアリング・アプリケーションである回転デトネーション燃焼器（RDC）用ディフューザーの設計に着目している。このシミュレーションは計算コストが高く（1回の実行に10分から数時間）、燃焼ダイナミクスによる非定常性を持つ。目的は、ディフューザーの長さ（$x^\star$）の関数として最小エネルギー損失（圧力損失）をマッピングすることであり、効率性と物理的制約の間のトレードオフを判断するために、5つの妨害パラメータ（曲率点およびバイパス位置）を最適化することである。

手法
著者らは、サロゲートモデリングと2段階の獲得戦略を統合した、新しい**プロファイル・ベイズ最適化（PBO）**の手順を提案している。

1. サロゲートモデリング：

   • 本手法は、ガウス過程（GP）または深層ガウス過程（DGP）サロゲートのいずれかを利用する。DGPは、物理シミュレーションに共通する非定常な応答曲面を扱う能力に優れていることが強調されている。
   • $T(x^\star)$ を推定するために、著者らはサロゲートから結合事後分布サンプルを生成する。各サンプルについて、すべてのユニークな $x^\star$ に対して最小の応答値を特定する。これらの最小値の経験的分布は、$\hat{T}(x^\star)$ の推定値とともに、信頼区間による不確実性定量化（UQ）を提供する。
   • 高次元における計算コストを管理するために、効率的な結合事後分布サンプリングを行うためのVecchia近似が採用されている。

2. 修正トリキャンド（候補生成）：

   • 高密度グリッドによる計算上のボトルネックを回避するため、著者らはGramacyら（2022年）による「トリキャンド（triangulation candidates）」アプローチを適応させている。
   • 完全なグリッドの代わりに、観測された妨害パラメータ（$X_{-\star}$）のデローネ三角形分割を用いて候補を生成する。「内部候補」は三角形分割コンポーネントの幾何学的中心に配置され、「周辺候補」は境界付近に配置される。
   • 制御パラメータ $x^\star$ に対しては半高密度の1次元グリッドが作成される。最終的な候補集合（$X_{tri+}$）は、$x^\star$ グリッドと妨害パラメータのトリキャンドの直積となる。これにより、数十億個の点を評価することなく、効率的な最小値推定が可能になる。

3. 2段階の獲得スキーム：
   次回の評価点 $x_{n+1} = \{x^\star_{n+1}, x_{-\star, n+1}\}$ の選択は、2つの明確なステップで行われる：

   • ステージ1（$x^\star$ の探索）： アルゴリズムは、現在の $\hat{T}(x^\star)$ の推定において最大の不確実性（最も広い信頼区間の幅）を示す制御パラメータの値 $x^\star_{n+1}$ を選択する。これはActive Learning MacKay基準に着想を得ており、制御パラメータの全範囲が確実に探索されることを保証する。
   • ステージ2（$x_{-\star}$ の活用）： $x^\star_{n+1}$ が固定された後、アルゴリズムはその特定の断面における**プロファイル期待改善量（PEI）**を最大化することで、妨害パラメータ $x_{-\star, n+1}$ を選択する。これにより、選択された制御パラメータに対して最適な妨害構成を見つけることに集中する。

主な結果
論文では、合成ベンチマークと動機付けとなったRDCアプリケーションを通じて、PBOの手順を検証している：

• 合成関数：

  • 定常関数（2D Branin, 3D Kyger）： PBOは、標準的なBO、ランダムなラテン超方格（LHS）サンプリング、およびオリジナルのPEI手法を上回った。PBOは、95%に近いカバレッジを維持しつつ、より低い平方根平均二乗誤差（RMSE）と狭い信頼区間を達成した。決定的なことに、PEIや標準的なBOがグローバル最小値付近に獲得を集中させたのに対し、PBOは $x^\star$ の全範囲を正常に探索した。
  • 非定常関数（4D Squiggle）： DGPサロゲートを用いることで、PBOはGPサロゲートと比較して優れた精度を示した。DGPの予測は、カバレッジがわずかに低くなる（過信を示す）ものの、GPベースの手法よりも大幅に低いRMSEおよび最大絶対偏差（MaxAD）を示した。

• 動機付けとなったアプリケーション（RDCディフューザー）：

  • 6次元シミュレーション（1つの制御パラメータ、5つの妨害パラメータ）に適用され、PBO（DGPサロゲート使用）は150回の評価で実行された。
  • 得られたプロファイル推定は、ディフューザーの長さの全範囲にわたる不確実性定量化を提供した。
  • 同等の予算（113回の評価）で行われた最先端の多目的進化最適化アルゴリズム（CADO）と比較した際、PBOはCADOが見つけたパレートフロントよりも低い圧力損失を持つ設計を特定した。さらに、CBOは離散的なトレードオフ点のみを提供したが、PBOは連続的な最適プロファイルを提供した。

意義と主張
本論文は、プロファイル・ベイズ最適化が、制御パラメータの範囲が主要な関心事である高コストなコンピュータ実験において、プロファイル最適解を推定するための堅牢なフレームワークを提供すると主張している。

• 新規性： 主な貢献は、制御パラメータの探索と妨害パラメータの活用を明示的に分離する2段階の獲得スキームである。これにより、従来のBOやPEIに見られる「過度な活用」を防ぐことができる。
• スケーラビリティ： 修正トリキャンドとVecchia近似を組み合わせることで、従来のグリッドベースの手法が失敗していた高次元（6次元まで実証済み）へのプロファイル最適化を拡張している。
• 柔軟性： この手順は、定常（GP）および非定常（DGP）の両方のサロゲートと互換性があり、レジームシフトを伴う複雑な物理シミュレーションへの適用を可能にしている。
• 実用的影響： RDCのアプリケーションにおいて、本手法はディフューザーの長さとエネルギー損失の間のトレードオフを定量化し、既存の多目的最適化アプローチを凌駕する設計を特定することで、情報に基づいた意思決定を可能にした。

著者らは、各 $x^\star$ スライスにおける一意のプロファイル最適解の仮定や、高次元におけるDGPのカバレッジのための十分な事後サンプル生成の計算コストを含む、限界についても謙虚に述べている。今後の課題としては、勾配強化サロゲートや物理データを用いたベイズ較正などが挙げられている。