🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

本論文は、順序分類のためのモデルに依存しない共形予測手法を導入するものであり、ランク付き確率スコアを非適合度尺度として利用することで、様々なデータセットにおいて集合の幅と順序的な被覆誤差の深刻度のバランスを効果的にとりつつ、連続的で中央値を中心とした予測集合を生成する。

原著者： Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな構想：セーフティネットを備えた予測

あなたが患者の年齢を推測しようとしている医師や、企業の倒産リスクを予測しようとしている金融アナリストだと想像してみてください。このような状況では、答えは単なる「赤」「青」「緑」のようなランダムなカテゴリーではありません。それらには自然な順序があります。「赤ちゃん」「子供」「ティーンエイジャー」「大人」「高齢者」といった具合です。これを**順序分類（Ordinal Classification）**と呼びます。

問題は、どんなに優れたAIモデルであっても間違いを犯すということです。時には、実際には「高齢者」であるはずの人に対して「ティーンエイジャー」と予測してしまうことがあります。医療や金融のような極めて重要な分野では、その「間違いの大きさ」が重要になります。「大人」と予測すべきところを「高齢者」と間違えるのは小さなミスです。しかし、「高齢者」と予測すべきところを「赤ちゃん」と予測するのは、非常に大きく、危険なミスなのです。

この論文は、AIの予測の周りに「セーフティネット」を構築する新しい方法を紹介しています。単一の答えを出す代わりに、AIは可能性の高い答えの範囲（予測集合）を提示します。目標は、真の答えがその範囲内に含まれることを保証しつつ、同時に、その範囲が広すぎたり、途中の重要なステップを飛ばしたりしないようにすることです。

旧来の手法の問題点：「強欲な」アプローチ

以前のほとんどの手法は、AIの「最も可能性の高い答え（最頻値）」から出発し、まるで目の前にある食べ物を次々と貪り食う強欲な食いしん坊のように、外側へと範囲を広げていくことでセーフティネットを作ろうとしていました。

欠陥： AIがある患者を見て、「ティーンエイジャーである確率は40%」、「高齢者である確率は35%」、「子供である確率はごくわずか」と考えているとします。

旧来の方法： 「ティーンエイジャー」からスタートし、次に確率が高い「子供」を掴み取ります。このとき、「高齢者」のことは一旦無視します。
結果： セーフティネットは {ティーンエイジャー, 子供} となります。もし患者が実際には「高齢者」であった場合、セーフティネットは完全に失敗し、エラーは甚大なものになります（ティーンエイジャーから高齢者への大ジャンプ）。旧来の方法は、ネットの「大きさ」ばかりを気にし、間違いの「距離」を考慮していませんでした。

新しい解決策：「バランスの取れた天秤」（ランク確率スコア）

著者らは、ランク確率スコア（Ranked Probability Score: RPS）と呼ばれるものを用いた新しい手法を提案しています。これは、バランスの取れた天秤、あるいは綱渡りの達人のようなものです。

「最も可能性の高い」予測から始めて隣接する要素を掴むのではなく、この手法は可能性の分布全体を見渡し、**中央（中央値）**から外側に向かってセーフティネットを構築していきます。

仕組み：

中心を見つける： AIの不確実性の中心点を見つけます。
均等に広げる： 中央から左右に対して、次に可能性の高い選択肢を加えていき、両側の「重み」がバランスが取れるように調整します。
結果： セーフティネットは常に連続したブロック（隙間がない状態）になります。AIが確信を持てない場合でも、ネットは中間領域をカバーするように広がります。

例え話：
気温を予測しようとしている場面を想像してください。

旧来の方法（最頻値中心）： 「70°F（約21℃）」と予想します（これが最も可能性が高いため）。そして、それに近い「69°F」と「71°F」を加えます。しかし、もし実際の気温が「50°F（約10℃）」だった場合（寒波が来た場合）、あなたのネット {69, 70, 71} は役に立ちません。寒さを見逃してしまったのです。
新しい方法（RPS/中央値中心）： 全体像を見ます。AIが「寒い」「穏やか」「暑い」の間で迷っている場合、新しい手法は「穏やか」の全範囲をカバーするようにネットを構築し、極端な値を逃さないようにします。この手法は、エラーの「距離」を最小化することを優先します。もし間違えるとしても、大きく間違えるのではなく、少しだけ間違えるようにしたいのです。

なぜこれが重要なのか：「連続性」のルール

順序分類の問題において、セーフティネットは固まった一つのブロックでなければなりません。「赤ちゃん、または高齢者であるが、子供ではない」というようなネットは意味をなしません。

この論文は、新しい手法が常に、途切れることのない連続した回答ブロックを生み出すことを数学的に証明しています。データが「ベル型（単峰型）」であるという特別な仮定を必要としません。たとえAIが混乱して、「赤ちゃん」と「高齢者」という二つの全く異なる可能性の間で揺れ動いていても、この手法は隙間を埋めて、セーフティネットを連続したものにします。

「スピード」の優位性

完璧なセーフティネットを見つけるには、通常、膨大なコンピュータによる探索（あらゆる数字の組み合わせを試すような作業）が必要です。しかし、著者らは彼らの手法が非常に高速であることを示しています。それは、迷路の中を探索するのではなく、一度の計算で完璧なネットを算出できるショートカットを持っているようなものです。これにより、実世界での活用が可能になります。

結果：より良いバランス

著者らは、画像（顔からの年齢推定や、医療スキャンの疾患の重症度検出など）や、データテーブル（クレジットスコアなど）を用いてテストを行いました。

効率性： 新しい手法は、適度に小さな（効率的な）セーフティネットを作成します。
安全性： 決定的なのは、セーフティネットが失敗した場合（真の答えがネットの外側にあった場合）、そのエラーが旧来の手法よりもはるかに小さいということです。
- 旧来の方法： 「ティーンエイジャーと予想しましたが、実際は高齢者でした」（巨大なエラー）。
- 新しい方法： 「ティーンエイジャーと予想しましたが、実際は大人でした」（小さなエラー）。

まとめ

この論文は、AIが「100%の確信はないが、答えはこの範囲内にあるはずだ」と言うための、よりスマートな方法を導入しています。

単に人気の高い予測を盲目的に掴み取るのではなく、バランスの取れた連続的なセーフティネットを構築することで、もしAIが間違ったとしても、それが壊滅的な間違いではなく、わずかな誤差にとどまるようにします。それは、常に真ん中でバランスを取り、端の方へ大きく、危険な一歩を踏み出さないようにしている綱渡りの達人のようなものです。

技術要約：ランク確率スコアを用いた順序分類のための信頼性の高い共形予測

問題定義

順序分類（Ordinal Classification, OC）は、自然な線形順序を持つ離散ラベル（例：疾患の重症度、年齢層、信用格付け）を予測するプロセスである。点予測において大きな進展が見られる一方で、医学や金融のような高リスクな領域において、不確実性の定量化（Uncertainty Quantification, UQ）は依然として十分に発展していない。標準的な共形予測（Conformal Prediction, CP）は、分布に依存しない予測セットと周辺被覆保証を提供するが、順序の設定においては特有の課題に直面する：

連続性（Contiguity）： 予測セットは、ラベルの順序を尊重するために、連続した区間（例：{child, teenager, adult}）でなければならない。非連続なセット（例：{child, senior}）は、意味的に不合理である。
順序リスク（Ordinal Risk）： 真のラベルが予測セットから外れた場合（誤被覆）、そのエラーの深刻度は順序距離に依存する。セットのサイズ（効率性）を最小化しようとする手法は、失敗した際に真のラベルを大きく外してしまう可能性があり、壊滅的なリスク見積もりを招く恐れがある。
分布の仮定（Distribution Assumptions）： 既存の手法は、連続性を確保するために、貪欲探索アルゴリズムや単峰性（予測分布における単一のピーク）の強制に依存することが多い。これらの仮定は、複雑なデータ（例：専門家の意見の相違から生じる二峰性分布）には当てはまらない可能性があり、偏った不確察見積もりにつながる。

現在のアプローチは、予測モデルに対する強い構造的バイアスを課すことなく、セットの効率性と、順序的な誤被覆の大きさの最小化とのバランスを取ることに苦慮している。

手法

著者らは、**ランク確率スコア（Ranked Probability Score, RPS）**に基づく、モデルに依存しない（model-agnostic）順序分類用CP手法を提案している。

中核メカニズム：

非適合度スコア（Nonconformity Score）： 最少曖昧集合値分類器（Least Ambiguous Set-valued Classifier）や適応的予測セット（Adaptive Prediction Sets）のようなモード中心のスコアではなく、本手法ではRPSを非適合度尺度として使用する。RPSは、累積予測分布に対して定義された厳密に適切なスコア関数（strictly proper scoring rule）である：
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
ここで、 $F_X(k)$ は予測累積分布関数（CDF）であり、 $K$ はクラス数である。
予測セットの構築： テストインスタンス $X_{n+1}$ と誤被覆率 $\alpha$ に対して、予測セットは以下のように定義される：
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
ここで、 $\hat{q}_{1-\alpha}$ は較正セット（calibration set）で計算されたRPSスコアの経験的な $(1-\alpha)$ -分位数である。

理論的特性：
論文では、RPSベースの共形セットに関する3つの主要な特性を確立している：

周辺被覆（Marginal Coverage）： 本手法は、交換可能性（exchangeability）の仮定の下で、基礎となる予測モデルに関わらず、標準的な周辺被覆保証（ $P(Y \in C(X)) \geq 1-\alpha$ ）を満たす。
連続性と中央値中心（Contiguity and Median-Centering）： モードベースのアプローチとは異なり、RPSベースのセットは構造的に連続している。RPSスコア関数は、予測分布の**中央値（median）**の周囲でV字型を描く。その結果、得られる予測セットは、モードではなく中央値を中心とした連続した区間となる。これは、モードと中央値が異なる多峰性分布においても成立する。
順序リスクの最適性（Ordinal Risk Optimality）： オラクル条件付き被覆の設定（真の条件付き分布が既知である設定）において、RPSベースのセットは、真のラベルと予測セットの間の期待 $L_1$ 距離（順序リスク）を最小化する。この手法は、単なるセットのカーディナリティ（要素数）の削減ではなく、順序リスクの低減を最適化する。

計算効率：
本手法は計算効率が高い。素朴にすべての $K$ 個のラベルに対してRPSを計算すると $O(K^2)$ かかるが、著者らはすべてのスコアを線形時間 $O(K)$ で計算できる漸化式を示している。全体の計算量は、較正点の数とラベル数の両方に対して線形にスケールする。

主な貢献

新しい非適合度尺度の導入： 順序共形予測に特化した、モデルに依存しない適切な非適合度尺度として、ランク確率スコア（RPS）を導入した。
理論的保証： RPSベースのセットが周辺被覆を満たし、 $\alpha$ に対して入れ子状（nested）であり、単峰性の仮定を必要とせずに、本質的に連続かつ中央値中心であることを証明した。
リスク最適化： RPSベースのセットが、モード中心の手法が優先するセットの効率性とは対照的に、オラクル条件付き被覆の下で順序リスク（セットベースの $L_1$ エラー）を直接最適化することを実証した。
効率性： 既存の順序CPメソッドで必要とされる貪欲探索や二分探索を回避する、線形時間実装アルゴリズムを提供した。
実証的検証： 順序画像データセット（BACH, RetinaMNIST, FGNet）および表形式データセットを用いて、効率性と順序リスクの両方を捉える指標を用いて包括的な評価を行った。比較対象には min-CPS, COPOC (LAC/APS), OCDF などのベースラインを用いた。

実験結果

著者らは、効率性と順序リスクの両方を捉える指標を用いて複数のデータセットで評価を行った：

誤被覆の大きさ（Miscoverage Magnitude）： 平均絶対誤被覆量（MAMM）および最悪ケース絶対誤被覆量（WAMM）によって測定。RPSベースのセットは、モード中心の手法（min-CPS, COPOCL, COPOCA）と比較して、一貫して低いMAMMおよびWAMMを達成した。これは、エラーが発生した場合でも、真のラベルが予測セットに近いことを示している。
効率性とリスクのトレードオフ： 平均区間スコア損失（AISL）によって測定。AISLは、広い区間と大きな誤被覆距離の両方にペナルティを課すものである。RPSベースのセットは良好なバランスを実現し、しばしばベースラインを上回る性能を示した。
連続性： すべてのRPSベースのセットは連続していた（CV = 0）。一方、非順序型のベースライン（LAC, APS）は、頻繁に連続性を損なった。
堅牢性： 多峰性の予測分布（例：二峰性の専門家の意見）が存在する場合、モード中心の手法は単一の最高確率ピークに焦点を当てることで順序リスクを過小評価する傾向があるのに対し、RPSは堅牢なパフォーマンスを維持した。

意義と主張

本論文は、RPSベースの共形予測が、堅牢かつ汎用性の高い解決策を提供することを主張している。その主な意義は以下の通りである：

忠実な不確実性の表現： 設計上、中央値中心かつ連続しているため、モードベースのアプローチが失敗しやすい、歪んだ分布や多峰性の分布における完全な順序構造と関連するリスクを正確に反映する。
高リスク領域への適用性： 本手法は誤被覆の深刻さを最小化する。これは、エラーのコストが順序距離に比例する医療診断や金融リスク評価などの領域において極めて重要である。
実用性： 特定のアーキテクチャ上の制約（単峰性など）や高価な探索手順に依存せず、計算効率の高い、モデルに依存しないフレームワークを提供する。これにより、あらゆる基礎となる確率的予測器への適用が可能となる。

著者らは、RPSベースのセットは必ずしも最小の予測セット（効率性の最大化）をもたらすわけではないものの、区間の幅と順序的な誤被覆の大きさとの間で優れたバランスを実現しており、現実世界の順序予測タスクにおいて信頼できる選択肢になると結論付けている。今後の課題としては、この枠組み内でのエピステミック（認識論的）不確実性とアレトリック（偶然的）不確実性の分解が挙げられている。