技術要約：ラベルシフト下における共形ベイズ（Conformal Bayes）

1. 問題提起

本論文は、ラベルシフト（label shift）、すなわちソースドメインの周辺ラベル分布 $p_s(y)$ とターゲットドメインの周辺ラベル分布 $p_t(y)$ が変化する一方で、条件付き特徴分布は不変である（$p_t(x|y) = p_s(x|y)$）という分布シフトが存在する場合において、統計的に妥当な予測集合を構築するという課題に取り組んでいる。

標準的な共形ベイズでは、予測集合はベイズ予測分布 $p(y|x, D_{tr})$ と非適合度スコア（通常は負の対数予測密度：NLPD）を用いて構築される。ラベルシフトの下では、ソースドメインから抽出された較正データとターゲットドメインからのテストデータは、同一の測度の下では交換不可能である。その結果、ソースデータで較正された予測集合は、ターゲットのテスト点に対して所定の被覆率を達成できなくなる。この問題は、訓練データが高活性化合物に偏っているが、予測対象となる化学ライブラリのラベル分布が異なる**リード最適化（lead-optimization）**などの領域において特に重要である。

2. 手法

著者らは、ターゲットドメインにおける所定の被覆率を回復させるための、2つの相補的な戦略を分析する統一的なフレームワークを提案している。両方の戦略は、妥当性を確保するために重要度重み付き（importance-weighted: IW）共形較正に依存しているが、予測の幾何学的構造をどのように調整するかという点で根本的に異なる。

コアとなる仮定

1. ラベルシフト（条件付き不変性）： $p_t(x|y) = p_s(x|y)$ であるが、$p_t(y) \neq p_s(y)$ である。
2. 密度比： シフトは指数型チルト（exponential tilting）によってモデル化される：$w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$。ここで $\beta$ は既知のパラメータ（または推定値）である。
3. モデル： 固定されたバックボーン $\phi(x)$ を持つガウス線形ヘッド：$y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$。

戦略A：事後的な較正（予測的チルト / Predictive Tilting）

• メカニズム： パラメータ事後分布 $\pi_s(\theta|D_{tr})$ は変更されない。補正は予測レベルで適用される。
• プロセス：
  1. ターゲットの事後予測分布は、ソースの予測分布をチルトすることで導出される：$p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$。
  2. 非適合度スコアは、このチルトされた予測分布の負の対数密度である：$s_A(x, y) = -\log p_A(y|x, D_{tr})$。
  3. 共形閾値は、較正スコアの重要度重み付き分位点を用いて計算される。
• 幾何学： 得られる予測集合の中心には、エピステミック不確実性（$\phi(x)^\top \Sigma_\theta \phi(x)$）に比例したシフトが含まれる。訓練分布から遠い入力に対しては、より広い区間が与えられる。
• 要件： 訓練パイプラインへのアクセスを必要とせず、ソースモデルをブラックボックスとして扱う。

戦略B：訓練内適応（事後分布チルト / Posterior Tilting）

• メカニズム： 較正の前に、パラメータレベルで補正が適用される。
• プロセス：
  1. 観測ごとの尤度比を用いてソースの事後分布を調整することにより、「ターゲットにチルトされた」事後分布が構築される：$\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$。
  2. ガウスヘッドの場合、これはシフトした平均を持つ閉形式のガウス事後分布を与える：$\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$。ここで $\bar{\phi}$ は訓練セットの平均特徴量である。
  3. 非適合度スコアは、この補正された事後分布から導出された予測分布のNLPDである。
  4. 共形閾値は、戦略Aと同じ重要度重み付き分位点を使用する。
• 幾何学： 予測集合の中心のシフトは、エピステミック不確実性ではなく、テスト点と訓練分布の類似性（$\phi(x)^\top \bar{\phi}$）に依存する。
• 要件： 訓練パイプラインおよび平均補正を計算するための訓練特徴量へのアクセスが必要である。

アルゴリズム・パイプライン

両戦略は、統一されたパイプライン（Algorithm 1）に従う：

1. ソースのベイズ線形回帰パラメータを計算する。
2. スコア関数（$s_A$ または $s_B$）を計算する。
3. 較正セットに対してスコアを算出する。
4. 重要度重み付き分位点閾値を計算する。
5. 予測集合 $C(x) = \{y : s(x, y) \leq \hat{q}\}$ を構築する。

3. 主な貢献

1. 統一フレームワーク： 妥当性（重要度重み付き分位点によって制御される）と効率性（スコアの幾何学的選択：予測的チルトか事後分布チルトかによって制御される）の分離。
2. 閉形式の解： ガウスヘッドに対するターゲットにチルトされた事後分布の閉形式の導出により、補正された予測分布の正確な計算が可能になった。
3. 比較分析： 各戦略が好ましいレジームを特定する直接比較：
   • アンバイアスな訓練（Unbiased Training）： 両戦略とも妥当な被覆率を達成するが、戦略A（予測的チルト）の方が狭い区間を生成する。戦略Bは、ソースデータが既に代表的である場合、不要なバイアスを導入する。
   • バイアスのある／濃縮された訓練（Lead-Optimization）： 戦略Bはデバイアス（偏り除去）演算子として機能する。パラメータ事後分布を補正することで、パラメータバイアス、予測バイアス、および区間の幅を同時に減少させつつ、妥当な被覆率を維持する。

4. 実験結果

著者らは、合成ガウス線形回帰データを用いた2つのレジーム下で手法を評価している。

• 実験 1（アンバイアス・レジーム）： 訓練データはソース分布からの一様抽出である。

  • 被覆率： すべての手法（IW分位点を用いるCB-IW、戦略A、戦略B）は、ラベルシフトの強度（$\beta$）に関わらず、所定の90%被覆率を維持する。重みなしのベースラインは、$\beta$ が増加するにつれて被覆率を失い、失敗する。
  • 効率性： 戦略Aは最も狭い区間を生成する。戦略Bは、MAP補正がアンバイアスな設定において真値から事後分布を遠ざけてしまうため、より広くなる。

• 実験 2（リード最適化・レジーム）： 訓練データは高応答化合物に対して濃縮されている（バイアスのあるソース）。

  • 被覆率： すべてのIWベースの手法は、妥当な90%被覆率を維持する。重なしのベースラインは、バイアスのあるモデルによる膨張した較正スコアのため、過剰被覆（91–95%）となる。
  • デバイアス： 戦略Bは、バイアスのあるソースの事後分布と比較して、パラメータバイアスを約40%、予測バイアスを約**34%**減少させる。
  • 効率性： 戦略Bは、同じ被覆率を維持しながら、戦略Aよりも厳密に狭い区間を生成する（$\beta=0.6$ において幅を最大16%削減）。これは、ソース訓練データがバイアスされている場合、パラメータ事後分布を補正することが、予測密度を補正することよりも効率的であることを示している。

5. 意義と主張

本論文は、共形ベイズにおけるラベルシフトの扱いに関する、原理的かつ統一的な視点を提供することを主張している。その主な意義は、**「妥当性のための較正」と「効率性のための適応」**を区別している点にある。

• 妥当性は保証される： スコアが事後的に補正されているか訓練内で補正されているかにかかわらず、重要度重み付き分位点ルールのみによって妥当性が決定される。
• 効率性は文脈依存的である： アンバイアスな設定では、パラメータ事後分布を変更しない事後的な予測的チルトの方が優れている。しかし、濃縮された／バイアスのある訓練データ（リード最適化で一般的）がある場合、訓練内での事後分布適応は、基礎となるモデルの精度と予測集合の効率性の両方を向上させる、必要なデバイアス手順として機能する。

著者らは、現在のフレームワークが強い仮定（純粋なラベルシフト、既知のチルトパラメータ、ガウス線形ヘッド）と合成検証に依存していることを指摘している。彼らは、ディープモデルへの拡張には近似推論（例：ラプラス近似）が必要であることを示唆しており、実世界での検証は今後の課題としている。また、ラベル付きターゲットデータなしで擬似ラベルを用いて $\beta$ を推定する2段階の手順についても、分子特性への応用に関する関連論文を参照しつつ概説している。