技術要約: ParetoPilot

問題提起

オフライン多目的最適化（Offline Multi-Objective Optimization: Offline MOO）は、高価または制限された環境とのオンライン相互作用を避け、静的な事前収集データセットのみを使用して、新規なパレート最適設計を発見することを目指している。これは、関数評価のコストが高い、あるいは制限されている創薬、材料設計、ハードウェアアーキテクチャ探索などの領域において極めて重要である。

核心となる課題は、収束性（観測されていない真のパレートフロントへと解を押し進めること）と多様性（目的間のトレードオフ空間全体にわたる幅広いカバー率を確保すること）を同時に達成することにある。現在の最先端のアプローチは、主に生成プロセスを導くための外部サロゲートモデル（プロキシ回帰モデルや選好分類器など）に依存している。この依存関係は、以下の3つの大きなボトルネックをもたらす：

1. 計算オーバーヘッド: 各目的のために個別のサロゲートを訓練するには、広範なハイパーパラメータチューニングとリソースが必要となる。
2. 信頼性の低い外挿: 外部プロキシは、分布外（OOD）の設計に対して欺瞞的なスコアを生成することがあり、これが多様性の崩壊（manifold collapse）や無効な解を招く。
3. プライバシーおよびデプロイメントの制約: タスク固有のプロキシを訓練するには、元のオフラインデータセットへの継続的なアクセスが必要であり、これはモデルの重みのみをデプロイするという基盤モデルのパラダイムに反し、厳格なデータプライバシー規制とも抵触する。

手法: ParetoPilot と IPG エンジン

著者らは、外部の補助モデルを必要としないゼロ・サロゲート拡散フレームワークである ParetoPilot を提案している。これは、事前学習済みの条件付き拡散モデルに内在する条件付き事前分布を活用するものである。本フレームワークは、逆生成プロセスにおける無条件のデノイジングステップの中に、新しい Infer-Perturb-Guide (IPG) エンジンを交互に組み込むことで動作する。

IPG エンジンは、拡散プロセス中の特定のインターバルにおいて、以下の3つの逐次的な操作を実行する：

1. Infer（推論）: 暗黙的な多様体へのアンカリング

外部の回帰器を使用する代わりに、本フレームワークはノイズを含むサンプル $x_t$ に対する瞬時的な目的方向 ($y^*_t$) を暗黙的に推論する。

• メカニズム: 条件付きノイズ予測 ($\epsilon_\theta(x_t, y, t)$) と無条件ノイズ予測 ($\epsilon_\theta(x_t, \emptyset, t)$) の間の整合損失 ($L_{align}$) を最小化する。
• 安定化: 大きなタイムステップにおけるノイズ予測の高周波な確率的変動に対処するため、手法としてグローバルな、リセットしない Adam オプティマイザを採用している。オプティマイザのモーメンタム状態を拡散ステップ間で維持することで、それが自然なローパスフィルタとして機能し、推論されたアンカー $y^*_t$ の最適化軌道を滑らかにする。

2. Perturb（摂動）: 直交流体力学

アンカー $y^*_t$ が確立されると、エンジンは候補のバッチをパレートフロントへと導きつつ、多様性を維持するための摂動ベクトルを合成する。これは、数学的に直交化された流体力学システムを通じて達成される：

• ウォームアップ・フェーズ: 早期の多様体崩壊を防ぎ、アンカーを安定させるために、摂動は $t \le T - T_{warmup}$ のステップに限定される。
• 収束力（並行重力）: 統一された並行重力場 ($\vec{d}_{conv}$) が、相対的な横方向の距離を維持しながら、すべての解を最適領域へと駆動する。これにより、無条件分布が持つ事前の多様性が保持される。
• 多様性力（エッジネスを考慮した斥力）: 極端なトレードオフ設計のカバー率を確保するため、「エッジネス（端的存在感）」マルチプライヤー ($E_i$) が境界付近の解に適用され、それらを外側へ押し出す斥力 ($\vec{F}_{rep}$) を増幅させる。
• 直交化: 斥力が収束を妨げないよう、斥力ベクトルはグラム・シュミットの直交化を用いて、重力場の直交補空間へと投影される。これにより、探索（多様性）と搾取（収束）が厳密にデカップル（分離）される。
• 動的アニーリング: テンポラル・スケジュールによって収束力と多様性の力を混合し、プロセスが $t=0$ に近づくにつれて、収束重視から多様性重視（またはその逆）へと遷移させる。

3. Guide（誘導）: CFG 外挿

摂動を加えたターゲット条件 ($y^{target}_t$) は、標準的な Classifier-Free Guidance (CFG) 定式化に直接投入される。

• 修正されたノイズ予測 $\tilde{\epsilon}_t$ は以下のように計算される：
  $$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$$
• ガイダンススケール $w_t$ は、摂動スケジュールと共に線形補間される。これにより、モデルは無条件分布によって定義される有効なデータ多様体から決して逸脱することなく、多様でパレート最適な領域へと生成を導くことが可能になる。

主な貢献

1. ゼロ・サロゲート・フレームワーク: ParetoPilot は、事前学習済みの条件付き拡散モデルから内在する条件情報を直接活用することで、オフライン MOO を実行する初のフレームワークであり、補助的なプロキシモデルの訓練を不要にする。
2. IPG エンジン: 暗黙的な条件を推論し、直交化された流体力を適用することで、生成の軌跡を動的に変化させる新しいメカニズム。これは、データのプライバシーを保護しながら、真のパレートフロントを近似するようにデノイジングプロセスを明示的にガイドする。
3. プラグアンドプレイ能力: 本手法は、学習された分布に対してデプロイ可能なモジュールとして機能し、元のトレーニングデータにアクセスすることなく、実用的なダウンストリームのデプロイメントシナリオに適合する。

実験結果

著者らは、合成関数、多目的ニューラルアーキテクチャ探索（MO-NAS）、科学的設計（SciDesign）、および実世界のエンジニアリング（RE）の4つのドメインにわたる 51 個の連続的なオフライン MOO タスクにおいて、ParetoPilot を評価した。

• 性能: ParetoPilot は、14 の最先端のベースライン（IOM や PcGrad などのサロゲートベースのフォワード手法、および ParetoFlow や PGD-MOO などの生成型インバース手法を含む）を上回り、全タスクにおいて 平均ランク 6.81 および ハイパーボリューム（HV）における 10.46% の向上を達成した。
• 堅牢性: サロゲートベースの手法が、OOD（分布外）評価の誤りによって複雑な離散的/構造的タスク（MO-NAS, SciDesign）で深刻な性能低下（負の HV 改善）に陥ったのに対し、ParetoPilot は堅牢な性能を維持した。無条件の拡散ステップが、軌跡を本質的に有効なデータ多様体内に制限しており、無意味な分子や壊れたアーキテクチャの合成を防いでいる。
• アブレーション研究: 主要なコンポーネントの除去により、その必要性が確認された：
  • スムージングなし: ノイズによる軌道の振動により、性能が大幅に低下した（ランク 3.08）。
  • エッジネスなし: 極端なトレードオフ設計を効率的に発見できなかった。
  • 直交化なし: 収束力と多様性の力が互いに打ち消し合い、全体的な HV 改善が減少した。

意義と主張

本論文は、ParetoPilot が データのプライバシー、計算効率、および 最適化の信頼性 の間の緊張関係を解決することにより、オフライン MOO におけるパラダイムシフトを象徴すると主張している。

• プライバシー保護: 外部サロゲートを必要としないことで、プロキシ訓練のための元のオフラインデータセットへの再アクセスを不要とし、データのプライバシーを厳格に保護する。
• 信頼性: サロゲートベースの手法に共通する「欺瞞的な評価」を回避し、これらは OOD 領域への外挿時に多様性の崩壊を招くことが多い。
• デプロイの実現可能性: 本手法は、モデルの重みのみを共有することで、ダウンストリームでの複雑な最適化タスクを可能にする、基盤モデルのパラダイムに合致している。

著者らは限界についても認めており、生成の質は初期データ分布を捉えるベースとなる拡散モデルの能力に本質的に依存すること、および IPG エンジンが単純なフォワード・サロゲート評価と比較して追加の推論レイテンシを生じさせることを挙げている。しかし、彼らは、プロキシ訓練のオーバーヘッドの排除と結果の堅牢性を考えれば、そのトレードオフは正当化されると主張している。