Conformal Candidate Certification for Offline Model-Based Optimization

技術要約：オフライン・モデルベース最適化のための共形候補認証（Conformal Candidate Certification）

問題提起
オフライン・モデルベース最適化（MBO）は、追加のオラクルアクセスなしに、固定された履歴データセット $D$ のみを用いて、高性能な設計 $x$（例：タンパク質工学や材料科学における設計）を特定することを目指す。標準的なパイプラインでは、データ $D$ 上でサロゲートモデル $\hat{f}_\theta$ を学習し、それを最適化して候補を提案する。しかし、このプロセスは本質的に、サロゲートが信頼できない分布外（OOD）領域へと候補を追い込むことになり、系統的な過大評価を招く。

既存の手法は、提案メカニズム（保守的なサロゲート、不変表現、または条件付き生成モデルなど）を修正することでこれを軽減しようと試みている。しかし、決定的な欠落がある。それは、提案された設計 $x^*$ が目標閾値 $\tau$ を満たす（すなわち $f(x^*) \ge \tau$）ことに対し、個別の候補に対して「統計的な証明書」を提供できない点である。提案（生成）と認証（検証）のタスクを混同することは、保守性によるペナルティ、あるいは個々の候補に対する厳密なカバレッジ保証の欠如をもたらす。

手法：共形候補認証（Conformal Candidate Certification: CCC）
著者らは、任意のオフラインMBOアルゴリズムによって生成された候補に対し、較正された片側下限値を付与するポストホック（事後的）なラッパーである**共形候補認証（CCC）**を提案する。CCCは、提案タスクと認証タスクを分離し、後者を共変量シフトの共形予測問題として扱う。

本手法の核となる構成要素は以下の通りである：

1. ギブス・ティルトによる共変量シフト・モデリング：
   本論文では、提案分布 $Q_X$（候補が抽出される分布）を、履歴データの分布 $P_X$ のギブス・ティルト版としてモデル化する。これは、エントロピー正則化されたサロゲート最大化から自然に導かれる：
   $$q_T(x) \propto p_X(x) \exp\{\hat{f}_\theta(x)/T\}$$
   極めて重要な点は、シフトを生成するために使用されたものと同じサロゲート $\hat{f}_\theta$ が、重要度重み $w(x) = dQ_X/dP_X(x)$ も供給するため、別途の密度比推定ステップを必要としないことである。

2. 温度推定：
   温度パラメータ $T$ はモーメント・マッチングを通じて推定される。候補が検証セットに対してOODである場合に重みが退化することを避けるため、著者らは検証セット $D_{val}$ を候補のサロゲート・スコアと結合し、参照分布の上限側を固定（アンカー）する。

3. 重み付き共形予測（IW-CP）：
   CCCは、共変量シフト下での周辺妥当性を回復するために、重要度重み付き共形予測を採用する。

   • スコア関数： 片側非適合度スコアとして $s(x, y) = (\mu(x) - y)/\sigma(x)$ を定義する。ここで $\mu$ と $\sigma$ はサロゲートの平均と不確実性である。これにより、較正の確率を下限側（過大評価側）に集中させる。
   • 重み付き分位点： 候補 $x^*$ に対し、ギブス由来の重みを用いて較正スコアの重み付き分位点を計算する。テスト点の重みが較正セットに対して高すぎる場合、下限値は空虚（vacuous）となり、サポートが不十分であることを正しく示す。
   • 認証： 下限値は $y(x^*) = \mu(x^*) - \hat{q}^w_{1-\alpha}(x^*)\sigma(x^*)$ として計算される。候補は $y(x^*) \ge \tau$ である場合にのみ認証される。

主な貢献

1. 定式化： オフラインMBOにおけるポストホックな候補認証を、共変量シフトの共形予測問題として定式化し、認証と提案を明示的に分離した。
2. ギブス・ティルト提案： エントロピー正則化されたサロゲート最大化がギブス・ティルト型の提案分布を誘発することを示し、外部の密度推定なしに、サロゲート自体が重み付き共形予測に必要な重要度重みを提供できることを実証した。
3. 理論的妥当性： オラクル重みを仮定した場合、新しい候補 $x^*$ に対して有限標本における周辺下限妥当性（$P\{Y^* \ge y(X^*)\} \ge 1-\alpha$）を証明した。
4. 実証的検証： 合成研究により、CCCが積極的な提案の非自明なサブセットを、誤認証（false certification）をほぼゼロに抑えつつ、正常に認証できることを検証した。一方で、標準的な（重みなしの）共形予測は共変量シフトの下で崩壊する。

実験結果
積極的なボルツマン提案プールを用いた制御された合成研究において：

• 素朴なサロゲート（Naive Surrogate）： すべての候補を受け入れたが、真の精度は41%にとどまった（多くの偽陽性が発生）。
• 重みなし共形予測： 共変量シフトを無視した結果、公称目標である0.90に対して、実測のカバレッジは0.416となり、22.7%の誤受理率となった。
• CCC： 候補プールの16.7%を認証した。極めて重要な点として、公称レベル0.90において0.990の実測カバレッジを維持し、誤受理率は0.5%未満であった。本手法は保守的ではあるものの、様々な公称レベル（$\alpha \in \{0.05, \dots, 0.20\}$）において空虚にはならなかった。

意義および主張
本論文は、CCCがオフラインMBOが残してきた問い――「提案された候補のうち、どれが実験を行うのに十分に信頼できるのか？」――に対する、原理的な解決策を提供すると主張している。

• 関心の分離： 既存のあらゆるMBOアルゴリズムをラップできるため、提案メカニズムを積極的なまま維持しつつ、十分な経験的サポート（較正された下限値による）を持つ候補のみを、高価な実験評価へと進めることができる。
• シフトへの堅牢性： 本手法は、標準的な共形予測が直面する失敗モード、すなわちオフラインMBOの支配的な特性である共変量シフトに明示的に対処している。
• 限定的な制約： 著者らは、有限標本の保証が厳密にはオラクル重みにのみ適用されることを認めている。実際には推定されたギブス重みを使用するため、保証は厳密ではないが、実験結果は、手法がアンチ・コンサバティブ（保守性に欠ける）ではなく、保守的であり続ける（公称レベルを上回るカバレッジを維持する）ことを示唆している。また、ノイズの多い測定においては、現在の保証が測定された応答 $Y^*$ に適用されるため、潜在的な目的関数 $f(x^*)$ を直接認証するには追加の仮定が必要であることも述べている。

要約すると、CCCは、積極的で潜在的に信頼性の低いMBOの提案を、厳密な統計的保証を持つ一連の候補へと変換する、ポストホックな認証レイヤーを提供するものである。