Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

技術的サマリー：ベイズ最適化のための定常性認識期待改善

問題提起
ベイズ最適化（BO）は、高価なブラックボックス関数の最適化のための標準的な枠組みであり、通常、主要な獲得関数（AF）として期待改善（EI）に依存している。EI は経験的に成功しているが、本質的に一次最適性条件を無視しており、目的関数値の改善の可能性のみに依存している。その結果、目的関数が平坦または準定常な領域において、EI シグナルは消失し、局所盆地の過剰な探索を引き起こし、効果的な探索の導引に失敗する。実際の問題設定では（制御における方策勾配、偏微分方程式における随伴感度、機械学習におけるハイパー勾配など）、勾配情報はほぼ無視できるコストで利用可能な場合が多いが、既存の勾配強化型 BO 手法は、主に予測精度を向上させるために勾配を代理モデルに組み込むことに焦点を当てている。このアプローチは、関数値と導関数間の相互相関をモデル化するため、しばしば高い計算複雑性を伴う。対照的に、獲得関数内で勾配情報を直接利用することは未だ十分に探求されていない。

手法
著者らは、一次定常性を組み込むために改善の原理を拡張した、新しい獲得関数「勾配ノルムによる期待改善（EI-GN）」を提案する。

1. 補助目的関数: 探索ヒューリスティックを変更するのではなく、この手法は「改善」の定義を一般化する。勾配ノルムに対するソフトなペナルティを元の目的関数 $f(x)$ に付加する補助目的関数 $g(x)$ を定義する：
   $$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$$
   ここで、$\alpha \geq 0$ はハイパーパラメータである。この定式化は、勾配ノルムを定常性からの逸脱に対するソフトなペナルティとして扱い、検索が高性能な領域または定常点に近い領域を好むように促す。

2. 獲得定式化: この手法は、この補助目的関数に対する期待改善、すなわち $EI_g$ を定義する。しかし、関数値と勾配ノルムが結合しているため、$EI_g$ を直接計算することは扱いにくい。著者らは、正部不等式を用いて扱い可能な下界を導出する：
   $$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$$
   ここで、$EI_f$ は目的関数に対する標準的な EI であり、$EI_s$ は定常性の改善（勾配ノルムの減少）を測定する EI 風の項である。

3. 扱い可能な近似（EI-GN）: 手法を実用的にするため、著者らは定常性項 $E I_s$ の扱い可能な近似の閉形式式を導出する。目的関数とその偏導関数に対して独立したガウス過程（GP）モデルを仮定することにより（結合モデルの $O((d+1)^3N^3)$ の複雑さを回避）、ホワイトニング変換を用いてノルムベースの切り捨てを分離する。これにより、期待値を分離された切断モーメントを通じて計算することが可能となり、以下の最終的な獲得関数が得られる：
   $$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$$
   この定式化は、目的関数値の増加または勾配ノルムの減少という、2 つの改善経路を提供する。

主要な貢献

• 新しい獲得関数: 本論文は、定常性認識の補助目的関数に改善の原理を適用する EI-GN を導入し、純粋な目的関数値の基準を超えて改善ベースの獲得を拡張する。
• 理論的導出: 著者らは補助目的関数に対する期待改善の下界を導出し、ガウス事後分布の下でこれらの原理を実装する扱い可能な閉形式式（EI-GN）を提供する。
• 計算効率性: 目的関数と勾配に対して独立した GP モデルを利用することで、この手法は複雑な結合代理モデルの計算負担を回避しつつ、勾配情報を活用して獲得ランドスケープを再構築する。

実験結果
本論文は、EI-GN をいくつかの実験領域で評価する：

• 合成ベンチマーク: 次元が異なる標準関数（Shekel, Hartmann, Griewank, Ackley）において、EI-GN は一貫してベースライン（EI, LogEI, UCB, CMA-ES）を上回るか、同等の性能を示す。特に、標準的な EI シグナルが消失する平坦または振動する構造を持つ関数において、顕著な利点を示す。
• GP サンプル: モデル内（理想的）およびモデル外（ハイパーパラメータの不一致）の両方の比較において、EI-GN は標準的な EI 系ベースラインに対して堅牢な性能向上を示す。これは、代理モデルが不完全であっても、勾配ベースのシグナルが最適化を効果的に導くことを確認する。
• 勾配アブレーション: 勾配を代理モデル（結合 GP）に組み込む手法と、獲得関数に組み込む手法との比較は、これらのアプローチが直交することを示す。両者を組み合わせる（dEI-GN）ことで最も強力な結果が得られ、獲得レベルと代理モデルレベルの改善が最適化問題の相補的な側面に対処していることを示唆する。
• 方策探索: 強化学習タスク（Acrobot および CartPole）において、EI-GN は局所勾配法（REINFORCE）および標準的な EI と比較される。EI-GN は、より高いサンプル効率と、局所法が局所盆地に陥るシナリオにおいて特に、高報酬の方策へのより信頼性の高い収束を達成する。

意義と主張
本論文は、EI-GN が定常性への進展を獲得基準に埋め込むことで、より豊かで情報量の多い改善の概念を提供すると主張する。著者らは、このアプローチにより、標準的な EI がほとんどシグナルを提供しない領域（平坦な領域または準定常点など）であっても、獲得ランドスケープが情報豊富であり続けることを可能にすると述べている。この手法は、複雑な結合代理モデルの計算オーバーヘッドなしに利用可能な勾配情報を活用する、EI フレームワークの原理的な拡張として提示される。実験結果は、EI-GN がベースライン手法に対して一貫した利益を提供し、特に従来の目的関数値ベースの改善基準では不十分な困難なランドスケープにおいて、それを示唆している。