Kernel-based guarantees for nonlinear parametric models in Bayesian optimization

技術的サマリー：ベイズ最適化における非線形パラメトリックモデルのためのカーネルベース保証

問題提起

現代のベイズ最適化（BO）および適応的実験設計は、獲得関数やサロゲートモデルを学習するために、有限幅の深層ニューラルネットワークなどの非線形パラメトリックモデルをますます活用しています。これは特に、獲得関数が明示的なガウス過程（GP）サロゲートから導出されるのではなく、柔軟なパラメトリックモデルを用いてデータから直接学習される「尤度なしベイズ最適化（LFBO）」において顕著です。

しかし、適応的データ収集の下でのこれらの非線形モデルに対する理論的保証は依然として限定的です。既存の後悔分析は、主にガウス過程、カーネルマシン、線形モデル、または線形化されたニューラル近似（例：ニューラルタンジェントカーネル）の仮定に依存しています。これらの仮定は、適応的なサンプリングプロセスの性質により、古典的統計学習理論の独立同一分布（i.i.d.）仮定が無効化される、適応的に収集されたデータ上で訓練された有限次元の非線形パラメトリックモデルの挙動を捉えきれていません。その結果、非線形モデルの実践的な利用と、それらの収束および後悔を分析するための理論的ツールの間にギャップが存在します。

手法

本論文は、適応的に収集されたデータ上で訓練された正則化された非線形パラメトリックモデルを分析するためのカーネルベースのフレームワークを提案します。中核となる手法は、パラメータ空間上のカーネルによって誘導される再生核ヒルベルト空間（RKHS）に、パラメトリックモデルクラスを埋め込むことです。

1. パラメータ空間上の RKHS 誘導:
著者らは、パラメータ空間 $\Theta$ 上の正定値カーネル $k_\Theta$ によって誘導される RKHS $\mathcal{H}_\Theta$ を通じて、パラメトリックモデルクラス $\mathcal{G} = \{g(\cdot, \theta) : \theta \in \Theta\}$ を捉えます。

• モデル $g(x, \cdot)$ が $\theta$ に関して十分に滑らかであれば、それは $\Theta$ 上の Matérn カーネルの RKHS に含まれることを示せます。
• この構成により、入力空間 $\mathcal{X}$ 上の RKHS $\mathcal{H}_\mathcal{G}$ が誘導され、その再生核は $k_\mathcal{G}(x, x') = \langle g(x, \cdot), g(x', \cdot) \rangle_{\mathcal{H}_\Theta}$ となります。
• 重要なのは、滑らかさの条件下において、このモデル依存カーネル $k_\mathcal{G}$ が標準的かつよく理解されているカーネル（例：Matérn カーネル）によって支配されることであり、これにより学習されたモデルが GP でない場合でも、GP 風の予測分散の上限を導出できることです。

2. 正則化されたランダム化方策:
このフレームワークは、各ラウンド $t$ において以下の操作を行う特定のクラスの方策を分析します。

• 新しいランダム初期化 $\theta_{t,0}$ を事前分布 $\Pi_0$ から抽出する。
• モデルパラメータ $\theta_t$ を、正則化された経験損失を最小化することで得る：
  $$\theta_t \in \arg\min_{\theta} \frac{\lambda_t}{2} \|g_\theta - g_{t,0}\|_\mathcal{G}^2 + \sum_{i=1}^t \ell(g_\theta(x_i), y_i)$$
• 次の点 $x_t$ を、訓練されたモデル $g_{t-1}(x)$ を最大化するように選択する。
  このアプローチは、近似トンプソンサンプリング機構として機能します。ランダム初期化は探索を誘発し、正則化項（ランダム初期化を中心とした）はモデルを安定させ、過学習を防ぎ、データが少ない領域ではモデルが初期化の近くに留まることを保証します。

3. 理論的ツール:
分析は以下のツールを活用します：

• 自己正規化マルチンゲール議論: 適応的データ収集における依存関係を処理するため。
• 汎化誤差 bound: 誘導された RKHS 幾何学内でのランダム化正則化推定量に対して導出されたもの。
• 小球条件: RKHS 擬距離において「好ましい」初期化（真の最適解に近いもの）が十分な確率で発生することを保証する事前分布 $\Pi_0$ に関する仮定。

主要な貢献と結果

1. 非線形モデルのための汎化誤差 bound:
本論文は、ランダム化正則化推定量に対する自己正規化汎化誤差 bound を確立します。予測誤差 $|g(x, \theta_t) - g(x, \theta^*)|$ が、初期化誤差の RKHS ノルムを含む項と、カーネル行列の行列式に比例する信頼幅によって抑えられることを証明します。

• 系 4.2 は決定的な結果です：学習されたモデルが GP でない場合でも、その点ごとの近似誤差は、支配的カーネル $k$ を持つ GP の事後予測分散という標準的な GP 量によって抑えられることを示しています。これにより、非線形パラメトリックモデルに対して GP 文献からの情報利得 bound を再利用することが可能になります。

2. 近似トンプソンサンプリングのための後悔保証:
一意の大域最適解を持つ有限領域設定に焦点を当て、提案されたランダム化方策に対する累積後悔 bound を導出します。

• 定理 4.4 は、実現可能性（真の関数がモデルクラスに含まれること）、一意の最適解、および事前分布と正則化スケジュールに関する特定の正則性仮定の下で、アルゴリズムが部分線形の累積後悔を達成することを述べています。
• 後悔 bound のオーダーは $\mathcal{O}(\sqrt{T}(\log T)^{\zeta + q(1+d_{eff}/4)})$ であり、ここで $d_{eff}$ は RKHS 誘導擬距離における小球確率に関連する有効次元、$\zeta$ は事前分布の尾部挙動に関連します。
• 証明は分散減少の議論に依存しています：最適解への繰り返し訪問が、後悔分解に現れる GP 風の不確実性項を縮小させます。

3. 一般的な LFBO への拡張:
著者らは、形式的な定理が近似トンプソンサンプリング（モデルが目的関数 $f$ を近似する場合）に対して述べられているが、このフレームワークは一般的な LFBO 手法に拡張されると主張します。一般的な獲得関数に対する主な技術的障壁は、近似 bound（RKHS フレームワークによって処理される）ではなく、学習されたユーティリティベースの獲得関数の最大化点が、真の目的関数の最大化点と一致することを保証することです。

意義と主張

本論文は、モデルがガウス過程やカーネルマシンである必要なく、ベイズ最適化および関連する適応的設定における非線形パラメトリックモデルを分析するための統合された経路を提供すると主張しています。

• 理論と実践のギャップの橋渡し: 現代の実践ではニューラルネットワークなどの柔軟な有限幅パラメトリックモデルが使用されている一方で、理論は線形化または無限幅近似に依存しているという、特定のギャップに対処します。
• LFBO における初めての後悔保証: 著者らの知る限り、これは学習されたモデルを GP サロゲートに置き換えない、LFBO 関連設定におけるランダム化された非線形有限次元モデルに対する累積後悔保証の最初のものの一つを提供します。
• 探索のメカニズム: この研究は、ランダム初期化と明示的正則化がどのように協調して適応的設定における探索を誘発するかを明確にし、安定性と反復性のトレードオフを形式化します。
• 限定的な範囲: 著者らは現在の範囲について謙虚であり、形式的な後悔定理は有限領域、実現可能性、および一意の最適解を仮定していると指摘しています。連続領域への拡張や、閾値が変化しデータを再ラベルする一般的な時間変化する LFBO 獲得ターゲットへの拡張には、獲得固有の整合性議論および局所分散減少に関するさらなる作業が必要であると認めています。

要約すると、本論文は、パラメータ空間によって誘導される RKHS のレンズを通して非線形パラメトリックモデルを捉えることで、カーネル法の解析的力を活用しつつ、現代の非線形モデルの柔軟性を維持する、厳密な信頼区間と後悔保証を導出できることを確立しています。