技術要約: 潜在分布パラメータの共形推論のためのLatentCP

1. 問題定式化

本論文は、観測可能な応答（$Y$）を生成する、コンテキスト（$X$）に依存した潜在分布パラメータ（$\theta$）の不確実性を定量化するという課題に取り組んでいる。多くの実用的なシナリオ（例：センサーの読み値から大気汚染物質濃度を推論する、ユーザーの評価から好みを推論する、あるいは観測された火災件数から野火の発生リスクを推論するなど）において、真の潜在パラメータは、過去の訓練データにおいても将来のインスタンスにおいても観測されない。

データ生成プロセスは、以下のように階層的にモデル化される：

1. $X \sim P_X$
2. $\theta | X=x \sim \pi(\cdot | x)$ （潜在的な不均一性を捉える未知の混合分布）
3. $Y | (X=x, \theta) \sim P_\theta(\cdot | x)$ （既知のフォワード・ファミリー）

目的は、新しいインスタンスの潜在パラメータ $\theta_{n+1}$ に対するコンテキスト依存の不確実性集合 $U_\alpha(X_{n+1}) \subseteq \Theta$ を構築することであり、以下の周辺被覆保証を満たす必要がある：
$$P \{ \theta_{n+1} \in U_\alpha(X_{n+1}; D_n) \} \ge 1 - \alpha$$
極めて重要な点は、これが以下の事項を必要とせずに達成されることである：

• 観測された潜在的なキャリブレーション・ラベル（真値 $\theta$）。
• 母集団の混合分布 $\pi(\cdot | x)$ に関する知識。
• $Y$ から $\theta$ への一意な逆写像（観測による非識別性が許容される）。

既存の手法はここで失敗する：ベイズ的または経験ベイズ的なアプローチは $\pi$ の指定または推定を必要とし、それはしばしば誤設定となる。プロキシ・ラベル手法（逆推定値をラベルとして扱う手法）は、有効な可能性を破棄し、不当な確信を生み出す。また、標準的な共形予測（Conformal Prediction）は、ターゲットがキャリブレーション・データ内で観測されていることを要求する。

2. 手法: LatentCP

著者らは、標準的な共形予測のワークフローを反転させた、事前分布に依存しない共形フレームワークである LatentCP を提案している。この手法は、潜在空間で直接キャリブレーションを行うのではなく、観測可能な応答空間でキャリブレーションを行い、フォワード・モデルを通じてその妥当性を潜在空間へと転送する。

ステップ 1: 応答空間における共形予測

キャリブレーション・データセット $D_n = \{(X_i, Y_i)\}_{i=1}^n$ を用いて、誤被覆率 $\gamma < \alpha$ における観測可能な応答 $Y_{n+1}$ に対する共形予測集合 $C_\gamma(X_{n+1})$ を構築する。この集合は以下を満たす：
$$P \{ Y_{n+1} \in C_\gamma(X_{n+1}) \} \ge 1 - \gamma$$
このステップは、コンテキストと潜在変数のペアが交換可能であり、かつ応答がそれらの潜在パラメータの下で条件付き独立であるという仮定の下で成立する、観測されたコンテキストと応答のペアの交換可能性のみに依存している。

ステップ 2: フォワード互換性と反転

任意の候補となる潜在パラメータ $\theta$ に対して、手法は以下のフォワード $\gamma$-互換性を評価する：
$$p_\gamma(\theta, x) := P_{Y \sim P_\theta(\cdot|x)} \{ Y \in C_\gamma(x; D_n) \}$$
これは、候補となる分布がキャリブレーションされた応答集合に割り当てる確率質量を表す。潜在不確実性集合は、十分に高い互換性を持つ候補を保持することによって定義される：
$$U_\alpha(x; \gamma) := \left\{ \theta \in \Theta : p_\gamma(\theta, x) \ge 1 - \frac{\gamma}{\alpha} \right\}$$
定理1は、この構成が未知の混合分布 $\pi$ に関わらず、$\theta_{n+1}$ に対する有限サンプルでの周辺被覆 $1-\alpha$ を保証することを確立している。

ステップ 3: マルチレベル集約

$U_\alpha$ の効率（サイズ）は、$\gamma$ の選択に対して非単調に依存する。これを最適化するために、著者らはマルチレベル・プロシージャを導入している：

1. 正規化された不適合スコア（e-値のような統計量）を定義する：$e_\gamma(\theta, x) = \frac{1 - p_\gamma(\theta, x)}{\gamma}$。
2. 集合 $\Gamma$ 上の誤被覆率 $\nu$ の分布にわたってスコアを集約する：$e_\nu(\theta, x) = \int_\Gamma e_\gamma(\theta, x) d\nu(\gamma)$。
3. 集合を構築する：$U_\alpha(x; \nu) = \{ \theta : e_\nu(\theta, x) \le 1/\alpha \}$。

定理2は、このランダム化された構成が $1-\alpha$ の被覆保証を維持したまま、有効性を保つことを証明している。独立したチューニング・サンプルを用いて、期待される集合サイズを最小化するように最適な分布 $\nu$（重みとサポート点）を選択する。これにより、独立したキャリブレーション・サンプルに対する妥当性が保持される。

3. 主な貢献

1. 問題の定式化: 本論文は、潜在的なラベルや混合分布の知識を必要とせず、コンテキストと応答のペアのみが観測される条件下での、潜在的な分布パラメータに対する共形推論を正式に定義した。
2. LatentCP フレームワーク: 既知のフォワード・モデルを通じて共形応答集合を反転させることで、潜在パラメータに対する有効な有限サンプル不確実性集合を構築する手法を導入した。
3. マルチレベル集約: e-値のようなスコアを用いて、複数の応答空間の誤被覆率にわたる証拠を組み合わせる手法を開発し、妥当性を維持しながら集合の効率性を向上させた。

4. 実験結果

著者らは、合成および実世界のデータセットを用いて LatentCP を評価した：

• 合成実験: 本手法は、弱い識別性、観測による非識別性（例：符号の曖昧さ）、潜在的な不均一性、および多峰性の条件下でテストされた。

  • 被覆率: LatentCP はすべての設定において公称被覆率 ($1-\alpha$) を維持した。
  • 比較: 競合する手法（経験ベイズ、尤度ベース、およびプロキシ・ラベル共形予測）は、事前分布の仮定が誤設定されている場合や反転が曖昧な場合に、頻繁に過小被覆（真のパラメータを含むには小さすぎる集合を生成）した。
  • 効率性: $\gamma$ の独立したチューニングとマルチレベル集約により、固定レベルのベースラインと比較して集合サイズが減少した。これは、異なる誤被覆レベルが潜在空間に関する補完的な情報を提供する場合に特に顕著であった。

• 実世界への適用（カリフォルニアの野火）:

  • 1,689件の野火イベント（1984年–2023年）に適用し、潜在的な火災強度（$\lambda$）を推論した。
  • LatentCP は、火災強度に対する空間適応的な不確実性集合を生成した。
  • チーニングにより、固定された誤被覆率と比較して平均潜在集合サイズが 11.1% 減少した。
  • 本手法は、強度の不確実性が高い領域を特定し、点推定や標準的な応答不確実性の伝播よりも、より誠実なリスク表現を提供した。

5. 意義と主張

本論文は、LatentCP が、観測可能な応答の共形予測から、それらの潜在的な生成メカニズムの不確実性定量化への原理的な架け橋を提供すると主張している。その意義は以下の点にある：

• 堅牢性: ベイズ的/経験ベイズ的手法に固有の事前分布の誤設定への敏感さや、プロキシ・ラベル・アプローチの不当な確信を回避する。
• 妥当性: ターゲットが観測されていない、あるいは混合分布が未知である場合でも、有限サンプルでの周辺被覆保証を提供する。
• 柔軟性: すべての観測的に等価なパラメータを任意に選択することなく保持することで、観測による非識別性を扱うことができる。

著者らは限界についても認めており、本フレームワークは周辺（marginal）被覆を提供する（条件付き被覆ではない）こと、および正しく指定されたフォワード・モデルに依存していることを指摘している。示唆された今後の研究方向には、フォワード・モデルの誤設定、コンテキスト依存の妥当性、および高次元の潜在パラメータの扱いが含まれる。