Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

技術要約：ラベルシフトを伴う両側打ち切りガウス回帰のための共形ベイズ法

1. 問題設定

本論文は、応答変数が**両側打ち切り（two-sided censoring）およびラベルシフト（label shift）**の影響を受ける回帰タスクにおいて、妥当な予測集合を構築するという課題に取り組んでいる。

• 両側打ち切り: 潜在的な連続応答 $Y^*$ は、$\tilde{Y} = T(Y^*)$ として観測される。ここで、下限 $L$ 未満の値は $L$ として記録され、上限 $U$ を超える値は $U$ として記録され、$(L, U)$ 内の値は正確に観測される。これにより、境界における点質量（アトム）と内部における連続密度を持つ混合観測空間 $\{L\} \cup (L, U) \cup \{U\}$ が形成される。
• ラベルシフト: 学習（ソース）環境とデプロイ（ターゲット）環境の間で、応答の周辺分布が変化する。
• 核心的な困難: 標準的な共形予測（Conformal Prediction）は連続的な応答を前提としている。この設定では、観測分布は離散的なアトムと連続密度の混合体となる。さらに、潜在的なラベルシフト（観測されない $Y^*$ に対する指数的な傾き）は、観測された打ち切りスケール上での単純な密度比を誘発するわけではない。むしろ、このシフトは**裾の平均化された重み（tail-averaged weights）**を境界のアトムに、そして標準的な密度比を内部に誘発する。この不一致が、被覆率（coverage）の校正（calibration）と予測集合の幾何学的構造の両方を複雑にしている。

2. 手法

提案手法である**重み付き傾斜共形ベイズ（Weighted Tilted Conformal Bayes: WT）**は、ベイズ予測モデリングと、混合空間上での重み付き共形校正を組み合わせたものである。

A. ベイズ予測ヘッド
著者らは、ラプラス近似を用いた二側トビット・ガウスモデルを採用している。

• 潜在モデル: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$。
• 事後分布: MAP（最大事後確率）におけるラプラス近似により $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ として近似される。
• 予測分布: 結果として得られる観測 $\tilde{Y}$ の予測分布は、混合測度となる：
  $$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$$
  ここで、$\pi_L, \pi_U$ は打ち切られた裾の確率であり、$f_s$ は内部のガウス密度である。

B. 混合空間における重要度重み
ラベルシフトを補正するために、本手法は混合空間の重要度重み $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$ を定義する。

• 内部 ($L < \tilde{y} < U$): 重みは通常の密度比であり、指数的な傾き $w(\tilde{y}) \propto \exp(\beta \tilde{y})$ としてモデル化される。
• アトム ($\tilde{y} = L$ または $U$): 重みは、周辺的な打ち切り確率の比（$\rho_{t,L}/\rho_{s,L}$ および $\rho_{t,U}/\rho_{s,U}$）である。
• 重要な知見: 潜在的な指数的傾きは、裾の平均化されたアトム重みを誘発し、これらは一般に、入力依存的である。実用的なアルゴリズムでは、これらをスカラーの周辺比として近似するが、論文ではこの点が近似誤差の源であると明示的に指摘されている。

C. 予測の傾斜化（Tilting）と校正
本手法は、スコア（集合の幾何学を決定するもの）と重み（校正の妥当性を決定するもの）を区別する。

1. 傾斜化された予測分布: ソースの予測分布を、観測されたラベル比によって傾斜させ、ターゲット分布に適合させる：
   $$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$$
   これにより、内部の平均とアトムの質量を調整する、三項形式の閉形式の正規化因子 $Z(x)$ を持つ新しい混合分布が得られる。
2. スコア: 共形スコアは、この傾斜化された予測分布の負の対数密度である：$s(\tilde{y}) = -\log p_t(\tilde{y}|x)$。
3. 校正: ソースデータを用いて、各サンプルを観測空間の周辺的な比 $w(\tilde{y})$ で重み付けした、重み付き共形分位数を計算する。

D. 予測集合 (Mixed-HDR)
得られる予測集合は、**混合最高密度領域（Mixed Highest Density Region: Mixed-HDR）**である。これは、傾斜化された混合密度のレベルセットとして定義される：
$$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$$
混合測度であるため、この集合は以下の3つの形態を取り得る：

1. 内部区間 $[y_\ell, y_u]$。
2. 内部区間に片方または両方の境界アトムが結合したもの（例：$\{L\} \cup [y_\ell, y_u]$）。
3. 強力な打ち切りや極端なシフトの下での、アトムのみの集合（例：$\{U\}$）。

3. 主な貢献

本論文の主な技術的貢献は以下の4点である：

1. 閉形式の傾斜化正規化因子: ラプラス近似を用いた二側トビットモデルに対する、ソースおよび傾斜化された予測分布の導出。傾斜化された正規化因子は、左アトム、内部、右アトムの項に分解され、混合予測法則の正確な計算を可能にする。
2. 潜在的から観測的へのシフトの特性付け: 潜在的なラベルシフトが、観測スケール上で単一の密度比にはならないことを特定した。代わりに、それはアトム成分が裾の平均化された比となり、内部が密度比となる混合重みを作成する。本論文は、厳密な潜在的押し出し（pushforward）と、実用的な周辺近似を明確に区別している。
3. Mixed-HDR の幾何学: 打ち切り空間における予測集合の特性付け。これらの集合は、オプションの境界アトムと単一の内部区間の和集合となる。ガウス予測ヘッドの下では、離れた集合（例：隙間のある $\{L\} \cup \{U\}$）は一般的ではないことを本論文は証明している。
4. 手法の階層と効率性: 3つの校正構成を比較している：
   • UT (Unweighted Tilted): 傾斜化されたスコアを使用するが、重みは使用しない（シフトの下では誤校正される）。
   • WS (Weighted Source): 重み付きのソーススコアを使用する（妥当ではあるが、幾何学的に最適ではない）。
   • WT (Weighted Tilted): 傾斜化されたスコアと重みの両方を使用する（妥当かつ効率的）。
     分析によれば、WTは周辺被覆率を回復させつつ、WSと比較して予測集合のサイズを大幅に縮小させる。

4. 実験結果

二側打ち切りを伴う潜在ガウス回帰モデルを用いた合成実験により、以下が示された：

• 被覆の妥当性: 正確な候補重み付きWTルールは、ラベルシフトの下でも所定の周辺被覆率（例：90%）を達成するが、重みなしの手法（UT）は、シフトの方向に依存して過剰被覆または過小被覆となる。
• 効率性: WTはWSよりも有意に小さな予測集合を生成する。シフトパラメータ $\beta=1.2$ の場合、平均集合サイズは2.894 (WS) から 1.740 (WT) へと減少し、約40%の削減となった。
• 近似ギャップ: 「スカラーアトム」近似（裾の平均化された比ではなく周辺比を使用する）および「校正のみ」の閾値は、テストされた合成レジーム内では周辺被覆率に無視できる程度の誤差しか導入しないが、成分ごとの被覆は保証しない。
• 幾何学の適応: 打ち切りの強さが増すにつれ、予測集合は内部区間から、境界アトムが支配的な集合へと遷移する。強力な打ち切りの下では、集合はしばしば単一のアトム（例：$\{U\}$）に収束し、真の値が検出限界を超えているという不確実性を正しく反映する。
• 密度比の推定: 残差分散（点疑似ラベル）を無視する推定器は、分散の圧縮を招き、傾斜の推定を減衰させ、集合を過大にする。傾斜パラメータ $\beta$ を推定するためには、傾斜化された予測サンプリングが原理的なデフォルトであることが示され、これにより必要な分散が回復される。

5. 意義と主張

本論文は、応答が打ち切られ、分布がシフトする設定における共形予測の厳密な枠組みを提供することを主張している。

• 理論的分離: 妥当性（混合空間の重要度恒等性と重み付き校正によって保証される）と効率性（傾斜化されたスコアとMixed-HDRの幾何学によって保証される）を明確に分離している。
• 打ち切りの新規性: 本研究は、打ち切られたラベルシフトが、単なる連続的なシフトの表記上のバリエーションではないことを強調している。「潜在的から混合的への」変換は、特有の技術的な機微、具体的にはアトム重みの裾の平均化された性質と、それに伴うMixed-HDRの幾何学を生み出す。
• 実用的有用性: 本手法は、計算可能な（閉形式の式を持つ）解決策を提供し、予測集合を特定の打ち切りレジームに適応させる。これにより、打ち切られた境界を単なる数値的な値として扱うことによる非効率性を回避している。

著者らは、ラプラス近似への依存やガウス潜在誤差の仮定を含む制限事項を述べており、非ガウス尤度や実世界の分子データへの応用における今後の課題を特定している。