技術的概要：スケーラブルな制約付きブラックボックス最適化のための潜在空間における事後推論

問題定義

本論文は、機械学習、創薬、工業設計などの科学および工学分野における基本的なタスクである**制約付きブラックボックス最適化（CBBO）**を取り扱います。目的は、$M$ 個のブラックボックス制約 $g^{(m)}(x) \leq 0$ の下で目的関数 $f(x)$ を最大化する入力 $x^*$ を見つけることです。

著者らは、CBBO が以下の 2 つの主要な要因により、制約なし最適化よりも著しく困難であると指摘しています。

1. 扱いにくい実行可能領域: 実行可能領域は解析的に定義されておらず、かつ探索空間のごく一部しか占めていないことが多い。
2. 高次元性: 既存の手法、特にベイズ最適化（BO）は、高次元空間（例：$D=200$）へのスケーリングに苦労する。BO は新しい獲得関数やラグランジュ緩和を通じて制約を処理するが、スケーラビリティが低く、複雑で制約のあるランドスケープにおいて代理モデルを正確に推定することが困難であるという欠点がある。

生成モデルは代替手段として登場したが、高次元において多峰性や大きな平坦な領域のために、実行可能で高スコアの候補のターゲット分布からのサンプリングはしばしば扱いにくい。マルコフ連鎖モンテカルロ（MCMC）などの標準的なアプローチはスケーリングが困難であり、生成モデルの微調整はしばしばモード崩壊を招く。

手法：CiBO

著者らは、CiBO（制約付き推論に基づくブラックボックス最適化）を提案する。これは、候補の選択を生成モデルの潜在空間で行われる事後推論として再定式化するフレームワークである。この手法は、2 つのフェーズからなる反復ループで動作する。

フェーズ 1：モデルのトレーニング

観測された入力、目的値、制約違反のデータセット $\mathcal{D}_r$ が与えられた場合：

1. 事前分布のトレーニング: 現在のデータセットの分布を捉えるために、フローベースモデル $p_\theta(x)$ をトレーニングする。これは、再重み付けトレーニングを用いたフローマッチングによって行われる。ここで、データ点はラグランジュ増幅スコア $l(y, c) = y - \lambda \sum \max(0, c_m)$ に基づいて重み付けられる。これにより、事前分布は有望で実行可能な領域に焦点を当てる。
2. 代理モデルのトレーニング: 不確実性を定量化するために、目的値を予測する $K$ 個のニューラルネットワークのアンサンブル（$\mu_\phi, \sigma_\phi$）をトレーニングする。各制約 $g^{(m)}$ に対して個別の代理モデルもトレーニングされる。これらも再重み付けされた損失を用いてトレーニングされる。

フェーズ 2：候補のサンプリング

フローベースの事前分布を微調整すること（モード崩壊のリスクがある）の代わりに、CiBO は候補の選択を事後分布からのサンプリングとして捉える。
$$p_{post}(x) \propto p_\theta(x) \exp(\beta \cdot r_\phi(x))$$
ここで、$r_\phi(x)$ は代理モデルの平均、不確実性ボーナス、および制約ペナルティを組み合わせた報酬関数である。

主要な革新：潜在空間における償却推論
著者らは、データ空間における $p_{post}(x)$ は高度に多峰的で複雑であるのに対し、対応する潜在空間（$z$）における事後分布は著しく滑らかであることを観察する。

1. 外部委託された拡散サンプラー: 彼らは、潜在事後分布 $p_{post}(z) \propto p(z) \exp(\beta \cdot r_\phi(f_\theta(z)))$ を近似するために、別の拡散モデル $p_\psi(z)$ をトレーニングする。
2. 軌道バランス（TB）: 拡散サンプラーは、オフポリシートレーニングを可能にする軌道バランス目的関数を用いてトレーニングされる。これは、潜在空間において複数のモードをカバーし、モード崩壊を回避するために重要である。
3. 射影とフィルタリング: $p_\psi(z)$ からサンプルを抽出し、決定論的マッピング $x = f_\theta(z)$ を介してデータ空間に射影し、報酬関数 $r_\phi(x)$ に基づいて上位 $B$ 個の候補を選択するためにフィルタリングする。

主要な貢献

1. 事後推論としての再定式化: 本論文は、制約付き候補選択を事後分布からのサンプリングとして形式化し、高次元データ空間における直接サンプリングの困難さを回避するために、潜在空間の滑らかさを活用する。
2. 潜在空間における償却: サンプリングプロセスを、潜在空間におけるノイズ生成ステップと決定論的射影に分離することで、複雑で多峰的なターゲット分布に対してフローベースモデルを直接微調整することに伴うモード崩壊の問題を回避する。
3. スケーラビリティ: 軽量な MLP ベースの代理モデルとフロー/拡散モデルの使用により、従来の BO 手法が失敗する高次元（実世界のタスクでは最大 180 次元）にスケーリング可能である。
4. 指示制約: このフレームワークは、「指示制約」（二値の実行可能性フィードバックのみ）を処理できることが示されており、勾配ベースまたは連続的な制約情報が利用できないという困難な設定である。

実験結果

著者らは、CiBO を 3 つの合成ベンチマーク（$D=200$ の Rastrigin、Ackley、Rosenbrock）および 4 つの実世界のタスク（Rover Planning、HalfCheetah、Mopta、Lasso DNA、次元は 60 から 180）で評価した。

• 性能: CiBO は、BO 変種（cEI、LogcEI、SCBO、PCAGP-SCBO、FuRBO）、進化アルゴリズム（CMA-ES）、および他の生成アプローチ（DiffOPT）を含む最先端のベースラインを一貫して上回る。
• 実行可能性: 合成タスクでは、CiBO は 5〜10 バッチ以内にほぼ完璧な実行可能性比率を達成し、BO ベースラインよりも著しく速い。実世界のタスクでは、Mopta や DNA-180D などの困難なベンチマークで実行可能な解を見つける唯一の手法であることが多い。
• サンプル効率: この手法は、競合他社と比較して少ない評価回数で高品質な実行可能な解を見つける、優れたサンプル効率を示す。
• アブレーション研究: 実験により、再重み付けトレーニング、フィルタリング、および拡散サンプラーのオフポリシートレーニングが重要なコンポーネントであることが確認された。この手法は、ラグランジュ乗数 $\lambda$ やバッファサイズ $L$ などのハイパーパラメータの変動に対して頑健である。
• 実行時間: 1 ラウンドあたり複数のモデルをトレーニングするにもかかわらず、CiBO は従来の BO が要求する高価なガウス過程（GP）フィッティングを回避するため、1 ラウンドあたりの実行時間は BO ベースの手法と同等かそれ以下である。

意義と主張

本論文は、CiBOがスケーラブルな制約付きブラックボックス最適化における重要な前進を表すと主張している。その主な意義は以下の点にある。

• 制約における「次元の呪い」の克服: 潜在空間で推論を行うことで、標準的な BO や直接の生成モデル微調整では扱いが困難な、複雑で多峰的な実行可能領域を効果的にナビゲートする。
• 頑健性: このフレームワークは、二値の制約フィードバックや多数の制約を含む多様なタスクにおいて頑健である。
• 実用性: この手法は、評価予算が限られている実世界の設計や制御問題における実用的な展開に十分な計算効率を有する。

著者らは控えめに、各ラウンドでモデルを再トレーニングする必要性や、フローベーストレーニングおよび拡散サンプラーの進歩を活用することによる将来の改善の可能性という限界を指摘している。彼らは、自らの研究がより頑健で制約を認識した最適化フレームワークの基盤を提供することを強調している。