📊 statistics

Generalized Conformal Predictive Systems Under Distributional Shifts

本論文は、観測値固有の置換重みと重みの不確実性ボックスを組み込むことにより、分布シフト下での有限サンプルまたは漸近的な保証を持つ、有効かつシフトを考慮した予測バンドを提供することで、一般化共形予測システムを非交換設定へと拡張するものである。

原著者： Jef Jonkers, Johanna Ziegel

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jef Jonkers, Johanna Ziegel

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは気象予報士だと想像してください。あなたの仕事は、単に「明日は雨でしょう」と言うことではありません。「雨が降る確率は90%であり、ここには可能性の範囲があります」と言うことです。機械学習の世界では、これを**不確実性の定量化（uncertainty quantification）**と呼びます。あなたの予測は「較正（キャリブレーション）」されている必要があります。つまり、あなたが「降水確率90%」と言ったなら、その予測をした時に実際に90%の割合で雨が降るという状態です。

長い間、**共形予測システム（Conformal Predictive Systems: CPS）**と呼ばれる手法がゴールドスタンダードとして普及してきました。これはセーフティネットのように機能します。過去のデータが将来のデータと全く同じである場合に限り、真実が含まれることが数学的に保証された「バンド（幅）」（下限値と上限値）を提供します。しかし、これには条件があります。

問題点：「新しい世界」のシナリオ
この論文は、このセーフティネットにおける重大な欠陥、すなわち**分布シフト（Distributional Shift）**について取り上げています。

例えば、カリフォルニアの晴れた夏に収集されたデータで気象モデルを訓練したとしましょう。次に、そのモデルを使ってロンドンの雨の冬の天気を予測しようとしています。データがシフトしてしまいました。ルールが変わったのです。もし古いセーフティネットを使用すると、過去（カリフォルニア）と未来（ロンドン）が互換性があるという前提に基づいているため、そのネットは破綻してしまいます。実際には、両者は異なります。

解決策：重み付きの抽選券と不確実性のボックス
著者であるJef Jonkers氏とJohanna Ziegel氏は、世界が変わっても機能するように、このセーフティネットを修正する方法を提案しています。彼らは、2つの巧妙なステップを踏みます。

1. 重み付きの抽選（置換重み）

訓練データを「袋に入ったビー玉」と考えてみてください。古い手法では、すべてのビー玉が「未来のビー玉」になる等しいチャンスを持っていました。しかし、世界がシフトする場合、一部のビー玉は未来を代表する可能性がより高くなります。

著者らは**重み（weights）**を導入しました。

もしあるビー玉（データポイント）が、新しいロンドンの雨模様にふさわしい見た目であれば、それは重い重み（抽選における大きなチケット）を持ちます。
もしあるビー玉が、晴れたカリフォルニアにふさわしい見た目であれば、それは軽い重み（小さなチケット）を持ちます。

これらの重み付きチケットを用いることで、システムは袋の中身を「再調整」し、過去のデータが事実上の未来のデータを模倣できるようにします。これにより、セーフティネットを広げ、新しい現実に適応させることが可能になります。

2. 不確実性のボックス（重みが不明な場合）

ここが難しいところです。現実の世界では、私たちは正確な重みを把握していることは滅多にありません。私たちはそれを「推測」しなければならないのです。

比喩： あなたがチケットの重さを当てようとしていると想像してください。しかし、あなたの秤は少しグラついています。あなたはチケットが「10グラム」だと予想したかもしれませんが、実際には8グラムから12グラムの間のどこかにあるかもしれません。

著者らは**重み不確実性ボックス（Weight-Uncertainty Boxes）**という概念を導入しました。単一の推測を信じるのではなく、その推測の周囲に「可能性のボックス」を作成します。

彼らはこう問いかけます。「もし重みがボックスの最下限だったら？もしボックスの最上限だったら？」
そして、そのボックス内のすべての可能性をカバーするスーパー・セーフティネットを構築します。

これにより、システムは**堅牢（ロバスト）**になります。もしあなたの重みの推測がわずかに間違っていたとしても、セーフティネットは依然として真実を捉えるのに十分な広さを保っています。このネットの「厚み」こそが、あなたがどれほど確信を持てないかを教えてくれるのです。ネットが薄ければ自信があることを意味し、ネットが厚ければデータが激しく変動しており、注意が必要であることを意味します。

実践における仕組み

論文では、この手法を3つの異なるタイプの「予報器」でテストしています。

ビニング（Binning）：データをバケツにグループ化する手法。
共形スコア（Conformal Scores）：新しいデータポイントが古いデータと比較してどれほど「奇妙」に見えるかをランク付けする手法。
等張回帰（Isotonic Regression）：滑らかな曲線適合法。

これらを2つのシナリオでテストしました。

合成データ：計算機シミュレーションを用いて、人工的にデータをシフトさせ、数学的な整合性が保たれるかを確認しました。
実世界の生物学：AAVウイルス（遺伝子治療に使用される）に関する研究です。この実験では、より優れたパッケージングを行うために新しいウイルス配列を設計しますが、その過程で「最適なもの」を選択することがデータ分布を変化させます（フィードバックループ）。従来のメソッドはこの新しい環境において結果を正確に予測できませんでしたが、著者らの重み付き手法は予測を再較正することに成功し、セーフティネットが維持されることを証明しました。

まとめ

この論文は単に「数学を修正した」と言っているだけではありません。以下のことを示しています。

データがシフトすると、標準的な手法は過信し、誤った予測を出します。
重み付きのチケットを使用することで、セーフティネットを新しい世界に適応させることができます。
不確実性のボックスを使用することで、重みが単なる推定値であるという事実を考慮に入れ、たとえ推定が不完全であってもセーフティネットを失わないようにできます。
その結果、シフトが強いときは（不確実性が増して）広くなり、データが増えると（精度が上がって）タイトになるシステムが得られ、予測をどの程度信頼できるかという正直な尺度を提供します。

要するに、彼らはスマートで適応可能なセーフティネットを構築しました。それは地面が動いたときにはそれを察知して広がり、予測を信頼できるものにするための、変化し続ける世界における信頼の仕組みです。

技術要約：分布シフト下における一般化共形予測システム

1. 問題設定

意思決定の文脈でデプロイされる機械学習システムには、正確な点予測だけでなく、統計的に信頼できる不確実性の定量化も求められる。具体的には、予測分布は**較正（キャリブレーション）**されていなければならない。つまり、予測された確率は経験的な頻度と一致し、予測区間が目標とする被覆率を達成する必要がある。

アウトオブサンプルでの較正を実現する上での主要な障害は、分布シフトである。古典的な共形予測法は、**交換可能性（exchangeability）**の仮定（データポイントが同一の分布に従い、順序に依存しないこと）に依存している。しかし、この仮定は実務において日常的に破られている。

共変量シフト（入力分布の変化）。
ラベルシフト。
時間的ドリフト。
適応的またはフィードバック駆動型のデータ収集（例：バイオ分子設計におけるもの）。

既往の研究では、特定のシフトレジーム（既知の尤度比による既知の共変量シフトなど）に対してCPSを拡張する試みがあるが、シフトの重みの推定における不確実性を考慮しつつ、任意の分布シフトを扱う**一般化共形予測システム（GCPS）**のための一般的なフレームワークは欠けていた。核心となる課題は、テストポイントが訓練データとは異なる分布から抽出され、かつそのシフトを補正するための重みが既知ではなく推定値である場合でも、有効かつ較正された予測エンベロープ（累積分布関数（CDF）の集合）を構築することである。

2. 手法

2.1. 理論的枠組み：置換重み（Permutation Weights）

著者らは、置換重みを用いて順序効果をモデル化することにより、非交換的な設定へとGCPSを拡張する。テストポイント $Z_{n+1}$ が訓練セット $\{Z_1, \dots, Z_n\}$ と交換可能であると仮定する代わりに、観測された原子（atoms）の順序なしマルチセットを条件付ける。

加重経験則： 候補となる応答値 $y'$ に対して、手法は加重された観測測度 $\mu_{obs}$ と、テストポイントとその実現された重み $w_{n+1}$ を含む仮説的なフル測度 $\tilde{\mu}$ を構築する。
シフトを考慮したエンベロープ： テスト原子をその特定の重みと共に較正セットに挿入することで、予測システムが構築される。定理1は、もし基礎となる分布回帰手順 $G$ がインサンプルで較正されている（確率的、単調、または自己較正されている）ならば、得られる予測システム $\Pi[X_{n+1}]$ は、真の（潜在的に非交換的な）法則の下で $Y_{n+1}$ に対する較正された予測CDFを含むことを確立している。

2.2. 重みの不確実性の取り扱い

実務において、シフトの重みは滅多に既知ではなく、密度比などを通じて推定されるため、認識的不確実性（epistemic uncertainty）が導入される。これに対処するため、著者らは重み不確実性ボックスを導入する。

定義： 推定された重み $\hat{w}_i$ の周囲の座標成分ごとの乗法的境界であり、 $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$ と定義される。
信頼領域： このボックス $WWU_\alpha$ は、真の重みに対する $(1-\alpha)$ 信頼領域として扱われる。
ロバスト・エンベロープ： 本手法は、不確実性ボックス内のすべての重みベクトルに対して予測システムの境界を最適化することにより、重みがボックス内で誤指定されていたとしても、確率少なくとも $1-\alpha$ で較正された分布を含むCDFの集合を生成するロバストな重み・エンベロープを構築する。

2.3. 効率的な計算

本論文は、全ての候補 $y'$ の値に対してナイーブなスイープを行う必要を避けるため、3つの特定の $G$ のインスタンスに対する効率的な計算規則を導出している。

Conformal Binning (CBIN)： ビン内での加重経験CDFを使用する。ロバスト・エンベロープは、 $Y_i \leq y$ である原子をその上限重みに、 $Y_i > y$ である原子を下限重みに押し出すことによって得られる閉形式の式を持つ。
Conformity-Measure CPS (CMCPS)： CBINと同様の論理を適用するが、生の出力ではなく適合度スコア上で動作する。
Conformal Isotonic Distributional Regression (CIDR)： 反単調回帰（antitonic regression）を使用する。ロバスト・エンベロープは、インジケーター値に応じて、重みを上限に設定した場合と下限に設定した場合の2回、単調回帰ルーチン（PAVA）を実行することによって計算される。

3. 主な貢献

本論文の主な貢献は以下の3点である。

非交換性への拡張： 置換重みを通じて交換性からの逸脱を符号化することにより、GCPSを非交換的なシーケンスへと拡張し、任意の分布シフトの下でも有効な、シフトを考慮した予測エンベロープを構築した。
重みの不確実性に対するロバスト性： 重み不成立ボックスに基づくロバストな予測システムを開発した。これらは、エンベロープの厚みが有限サンプルの不確実性と重みの誤指定の両方を反映するように、較正された予測CDFを含むための有限サンプルまたは漸近的な信頼保証を提供する。
効率的なアルゴリズムと実証的検証： CBIN、CMCPS、およびCIDRのための効率的な評価規則と閉形式を提供した。シフトを考慮した重み付けが、予測性能を向上させ、フィードバック共変量シフトの下でも較正を維持することを実験的に示した。また、バンド幅が認識的不確実性を効果的に定量化していることも示した。

4. 実験結果

4.1. 合成共変量シフト

5次元回帰タスクを用いた共変量シフトに関する実験が行われた。

較正： 重み付けなしの手法は、大幅に過小な被覆を示した（公称値 $0.90 $に対し、被覆率$ \approx 0.83-0.88$）。
加重手法： オラクル（神託）および推定された重み付けは、被覆率を公称レベル付近（ $\approx 0.91-0.93$ ）まで回復させた。
不確実性の伝播： 「推定CI重み付け」（不確実性ボックスを使用）が最も保守的であり、被覆率 $\approx 0.97$ まで達成した。これは、CRPS（連続ランク確率スコア）がやや高くなり、バンドが広くなるという代償を伴うが、重み推定による追加の認識的不確実性を正しく反映している。
サンプルサイズ： 訓練および較正のサンプルサイズが増加するにつれ、共形バンドはタイトになり、認識的不確実性が減少していることが示された。

4.2. フィードバック駆動型バイオ分子設計（AAV Capsid）

本手法は、テスト分布がモデルの予測に基づいて設計される、**フィードバック共変量シフト（FCS）**を伴うアデノ随伴ウイルス（AAV）カプシドのパッケージング設計に適用された。

設定： テスト分布は、予測されるパッケージング適合度が高い配列へと質量をシフトさせる、変化する「逆温度」パラメータ（ $\lambda$ ）を用いて生成された。
性能： 重要度重み付けにより、重み付けなしのバリアントと比較して、様々なシフトの範囲にわたって公称レベルに近い被覆率が回復した。
極端なシフト： 最も極端なシフト（ $\lambda=7$ ）において、加重手法はCRPSが悪化し、バンドが広くなった。これは、有効サンプルサイズの崩壊と認識的不確実性の増加と一致している。
信頼性： 加重された手順は、稀な高価値の成果（極端な事象）に対しても良好な較正を維持しており、高リスクの設計設定における有用性を裏付けている。

5. 意義と主張

本論文は、分布シフトおよび重みの不純性下におけるVenn-Abersスタイルの予測器（共形IDRの特殊なケース）に対する、予測システムフレームワーク内での最初のアウトオブサンプル較正保証を確立したと主張している。

著者らは、予測バンドの幅が認識的不確実性の情報量豊かな指標であることを強調している。シフトを考慮した設定において、バンド幅は $Y|X$ の条件付き分布を学習する際の不確実性と、シフトの重みを推定する際の不確一性を共に捉える。これにより、実務家は以下のことが可能になる：

日常的な使用のために、単一の代表的な予測を報告する。
認識的不確実性に強靭な決定を行うために、決定に関連する量（例：テールリスク）に対するバンドが示唆する境界を同時に報告する。

本研究は、GCPSを単なる適合度スコアのラッパーとしてではなく、任意のインサンプル較正済み分布回帰手順を包み込み、交換可能性の仮定を遥かに超えてその妥当性を拡張できる、柔軟な較正フレームワークとして位置づけている。

6. 限界

著者らは、以下の2つの制約事項を挙げている。

結合信頼領域： 定理2は、重み不成立ボックスが真の重みに対する有効な結合信頼領域であることを要求する。実験では、これは適合された傾向モデルを介して漸近的に構築された。
固定されたアクティブセット： CBINおよびCIDRの閉形式のエンベロープは、不成立ボックス全体でアクティブセット（ビンニング用）または順序（IDR用）が固定されていることを前提としている。これは、ビンニングおよび順序の選択が重み付け前に定義されたものに制限されることを意味する。