技術的サマリー：コンフォーマル予測においてトリミングが有効となるのはいつか？

問題定義

コンフォーマル予測は、有限サンプルでのカバレッジ保証を提供するために、較正スコアとテストスコアの交換可能性に依存する。しかし、この交換可能性は較正汚染の下では成立しない。ここで、較正サンプルは混合分布 $P^\star = (1-\epsilon)P + \epsilon Q$（$P$ はクリーンなターゲット法則、$Q$ は未知の汚染法則）から抽出されるが、テスト点は $P$ から抽出されたままとなる。

実務家によく見られる対応策は、コンフォーマル量子を計算する前に、異常スコアが高い較正点をトリミングすることである。直感的には妥当に見えるが、本論文は、この手順が単にデータを「精製」するものではないと主張する。むしろ、これは較正法則を保持法則 $R$ へと変換する。その結果生じる予測集合がクリーンなターゲット $P$ に対して有効となるかは、$R$ から $P$ への転移問題となる。中心的な問いは、トリミングが実際にクリーンなターゲットのカバレッジを改善するのはどのような条件下であり、いつ失敗し、あるいは逆に性能を劣化させるのか である。

手法

保持法則フレームワーク

著者らは、固定閾値によるトリミングをデータ精製ではなく条件付けとして再定義する。異常スコア $S$ と閾値 $t^\star$ が与えられたとき、較正点は $S(Z) \le t^\star$ である場合に保持される。その結果生じる保持された較正集合は、保持法則から i.i.d. に従う：
$$R = P^\star(\cdot \mid S \le t^\star)$$
この法則は、一般的に元の汚染法則 $P^\star$ でもクリーンな法則 $P$ でもない。

理論的診断

本論文は、保持数の分布と保持法則 $R$ とクリーン法則 $P$ の関係に依存する、マージナルなクリーンカバレッジに対する正確な有限サンプル恒等式を導出する。

これを扱いやすくするため、著者らはスカラー転移ギャップ $d_{R \to P, +} = \sup_t (F^A_R(t) - F^A_P(t))_+$ を導入する。ここで、$F^A$ は非適合スコア $A$ の累積分布関数（CDF）を表す。カバレッジ保証は以下のように有界化される：
$$\text{Coverage} \ge [1 - \alpha - d_{R \to P, +}]_+$$

$R$ の混合分解を用いて、著者らはこのギャップに対する成分ごとの上界を導出する：
$$d_{R \to P, +} \le (1 - \tilde{\epsilon}^\star) \Delta^A_{\text{trim}, +} + \tilde{\epsilon}^\star D_{Q, +}$$
ここで、

1. $\Delta^A_{\text{trim}, +}$（クリーン側コスト）： 保持の条件付けによって引き起こされるクリーンな非適合スコア分布の歪み。本論文は、これがクリーン法則 $P$ 下での保持インジケータと非適合スコア間の片側共分散に等しいことを証明する。
2. $\tilde{\epsilon}^\star$（保持混合係数）： 保持集合における実効的な汚染レベル。$\tilde{\epsilon}^\star = \frac{\epsilon p_d}{(1-\epsilon)p_c + \epsilon p_d}$ で与えられ、ここで $p_c$ と $p_d$ はそれぞれクリーン点と汚染点の保持確率である。
3. $D_{Q, +}$（保持汚染不一致）： 保持された汚染成分とクリーンターゲット間の不一致。

主要な理論的洞察

• 共分散恒等式： クリーンデータをトリミングするコストは、$P$ 下での異常スコア $S$ と非適合スコア $A$ の間の依存性によって駆動される。$P$ 下で $S$ と $A$ が独立である場合（例えば、等分散回帰における共変量のみに基づくスコアなど）、クリーン側コストはゼロとなる。
• 係数レベルの分離二項性： トリミングが汚染を減少させるのは、異常スコアがクリーン点と汚染点を分離する場合（$p_d \ll p_c$）に限られる。$p_d \approx p_c$ である場合、$\tilde{\epsilon}^\star \approx \epsilon$ となり、トリミングは混合係数を減少させることができない。この「分離なし」領域では、汚染を減少させることなくクリーン側歪みを導入するため、トリミングはカバレッジを厳密に悪化させる可能性がある。
• 有限サンプルの鋭さ： スカラー下界は、スカラー不一致制約のみによって定義される問題クラス内においてミニマックス最適であることが示される。スカラーギャップのみを用いた一様な下界は、この値を超えることはできない。

証明テンプレート

実務では母集団量が未知であるため、本論文は数値的保証のための証明テンプレートを提供する：

1. 成分別監査： 独立した情報（例：クリーンな監査サンプルやドメイン知識）を用いて、要素（$p_c, p_d, \Delta^A_{\text{trim}, +}, D_{Q, +}$）を有界化すること。
2. 直接監査： 独立したクリーンな監査サンプルを用いて、正確な二項逆変換またはコルモゴロフ・スミルノフ有界化を通じて最終的に選択された集合を証明すること。
3. 同一サンプル選択： 閾値が同じ較正サンプルから選択される場合のために、有限グリッド上の経験 CDF 有界化を提供する。これは $\sqrt{\log K / N}$ のペナルティを伴う。

実験結果

著者らは、共変量幾何汚染を伴う異分散回帰タスクにおいて理論を評価した。

• スコア可視領域： 異常スコア（Stein スコアノルム）がクリーンデータと汚染データの共変量分布を効果的に分離する場合、トリミングはカバレッジを著しく改善する。この改善は、保持混合係数 $\tilde{\epsilon}^\star$ の減少（ほぼゼロまで低下）と管理可能なクリーン側コストによって駆動される。
• 分離なし領域： クリーン点と汚染点が類似した保持確率を持つ場合、トリミングは $\tilde{\epsilon}^\star$ を減少させることができない。カバレッジは低いままであり、分離なしではトリミングが役立たないことが確認される。
• ラベルのみ汚染： 応答 $Y$ のみが汚染され（$X$ はクリーン）、共変量ベースのトリミングが何のレバレッジも持たない場合。この設定ではトリミングがカバレッジを改善できないことを、手法は正しく特定する。
• 大規模サンプルサイズ： 較正サイズ $m$ を増やすことは有限サンプルの余裕を減少させるが、保持法則転移ギャップによって引き起こされる母集団レベルのカバレッジ不足を排除するものではない。極限カバレッジはサンプルサイズではなく、母集団診断によって支配される。

意義と主張

本論文は、いつ、なぜ トリミングが有効となるかを説明する母集団レベルの診断を提供すると主張し、「外れ値を除去すれば常に役立つ」という経験則的信念を超えている。

1. トリミングの再定義： トリミングは元の法則の復元ではなく、較正法則の変換であることを確立する。有効性は保持法則に対してのみ正確であり、クリーンなターゲットへの転移が必要となる。
2. 設計原則： トリミングに用いる良好な異常スコアは、クリーンな母集団においてスコア中立（非適合スコアとの共分散を最小化）でありながら、クリーンな母集団と汚染母集団の間で分離的でなければならないことを形式化する。
3. 限界： スコアが保持確率を分離できない場合、トリミングは混合係数を通じて汚染を減少させることができないことを実証する。そのような場合、トリミングは性能を厳密に劣化させる可能性がある。
4. 運用上の安全性： 本論文は、既知のシミュレーション法則を用いた機械的な説明である母集団診断と、独立した監査データを必要とする保証である数値的証明を区別し、適切な監査なしに理論的有界をデータ駆動型の証明と誤解しないよう実務家に保証する。

この研究は、トリミングが汚染に対する万能の解決策ではないと結論づける。その有効性は、汚染を分離する異常スコアの能力と、クリーンなターゲット分布に対するその中立性の間の相互作用によって厳密に支配される。