🤖 machine learning

Benchmarking non-conformity score functions in conformal prediction

本論文は、適合性予測における非適合性スコア関数の概要を提示し、その修正を提案するとともに、特にクラス不均衡条件下における予測集合の生成におけるその有効性をベンチマークするための新規評価手法を提案する。

原著者： Sol Erika Boman

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

原著者： Sol Erika Boman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、平易な言葉と日常的な比喩を用いた、この論文の説明です。

全体像：「一つを当てる」から「安全なリストを作る」へ

「動物当てゲーム」をしていると想像してください。標準的な機械学習モデルは、自信満々の友人のように、写真を見て「それは間違いなく猫だ」と指差します。時には正解ですが、間違えることもあり、その場合でも決して不確実性を認めません。

コンフォーマル予測は異なるアプローチです。モデルはただ一つの動物を当てるのではなく、可能性のリストを提示します。「これはおそらく猫ですが、犬やキツネの可能性もあります」と言うのです。

この手法の魔法は、安全網を保証する点にあります。「答えがリストに含まれていることを 95% の確信度で保証してほしい」とモデルに指示すれば、モデルはリストのサイズを調整し、長期的に見て実際の動物がそのリストに含まれる割合が 95% になるようにします。

課題：リストのサイズはどれくらいにすべきか？

この論文が問う重要な課題は、**「リストに何を載せるべきか、どのように決めるのか？」**です。

リストが小さすぎれば（例えば「猫」だけ）、実際の答えを見逃す可能性があります。逆にリストが大きすぎれば（例えば「猫、犬、キツネ、ハムスター、金魚」）、安全ではありますが、何でも載っているため実用性がありません。

モデルがリストに何を載せるかを決めるために使うツールを非適合スコアと呼びます。このスコアを**「奇妙さメーター」**と想像してください。

低いスコア: そのクラスにとってデータ点は非常に正常に見えます（例：ふわふわした写真は猫に非常に似ています）。
高いスコア: そのクラスにとってデータ点は奇妙で「適合しない」ように見えます（例：岩の写真を猫だと呼ぼうとすると、非常に奇妙に映ります）。

この論文の目的は、最も実用的なリスト（小さくても安全なリスト）を作成する「奇妙さメーター」の種類をテストすることでした。

試験された「奇妙さメーター」

著者らは、異なる種類のデータ（動物の写真など）に対して「奇妙さ」を測定するいくつかの方法をテストしました。以下に、比喩を用いて比較した主なものを示します。

ラベル距離（「的当て」メーター）:
- 仕組み: モデルの推測が「完璧な」答えからどれくらい離れているかを測定します。的の中心にダーツを投げることを想像してください。ダーツが的の中心に近いほどスコアは低く（奇妙さなし）、遠ければスコアは高くなります。
- 論文の発見: これは非常にうまく機能しました。特に「コサイン距離」と呼ばれる特定の距離測定法（単なる距離ではなく、推測の方向を見る方法）を使用した場合に効果的でした。
マージン距離（「国境警備」メーター）:
- 仕組み: 完璧な答えまでの距離ではなく、二つの答えの間の境界線に推測がどれくらい近いかを測定します。「猫」と「犬」の境界線上に立っている場合、あなたは非常に混乱しており（奇妙さが高い）、猫の領域の奥深くにいる場合は自信があります（奇妙さが低い）。
- 論文の発見: これはスター級の性能を発揮し、特にパーセント値に変換される前の生の数値を見た場合、最も小さく効率的なリストを作成することが多かったです。
平均距離（「グループハグ」メーター）:
- 仕組み: 新しい写真を、そのクラスについて以前に見たすべての写真の「平均」と比較します。新しい猫の写真が平均的な猫に似ていれば適合します。犬のように見えれば奇妙です。
- 論文の発見: これは CIFAR100 のような多数のクラスを持つ複雑なデータセットにおいて、最も優れた方法でした。
APS/RAPS/SAPS（「ランキング」メーター）:
- 仕組み: これらは答えのランキングを見るより複雑な方法です。「トップの推測を加え、次に 2 番目の推測、次に 3 番目の推測……」と、十分に安全だと感じるまで追加していきます。リストが大きくなりすぎないように、数学的な工夫（正則化）を加えます。
- 論文の発見: これらは良好でしたが、しばしば「距離」メーターよりもわずかに大きなリストを作成しました。興味深いことに、公平性を保つために通常これらの方法に追加されるランダムな「ノイズ」は、実際には安全性の保証には不要であり、単純な固定数でも同様に機能することが論文で判明しました。
勾配/特徴距離（「深層探求」メーター）:
- 仕組み: これらは最終出力だけでなく、コンピュータの脳（特徴層）の奥深くまで入り込んで奇妙さを測定しようとします。
- 論文の発見: これらは計算負荷が高く（遅く）、必ずしも単純な方法よりも優れた結果をもたらすわけではありませんでした。

「不公平」なテスト：クラスの不均衡

著者らは、データが不公平な場合にもテストを行いました。例えば、写真の 90% が猫で、わずか 1% がトラであるデータセットを想像してください。

課題: モデルは猫を見分けるのが得意ですが、トラを見分けるのが苦手です。
結果: モデルが 95% の確信度を強制されると、写真が明らかに猫であっても、ほぼすべての写真のリストに「トラ」が含まれることがよくありました。
理由: モデルはトラについて非常に不安定であるため、安全策を講じます。まるでトラを見逃すことを恐れるあまり、建物に入る全員を止めてしまう警備員のようなものです。論文は、これにより予測が「正直」になる（知らないことを認める）一方で、リストが巨大になり、一般的なアイテムにとっては実用性が低下することを指摘しています。

主な結論

唯一の勝者はいない: あらゆる状況に最適な「奇妙さメーター」は存在しません。
- 単純なタスクでは、ラベル距離またはマージン距離が最も機能しました。
- 多数のクラスを持つ複雑なタスクでは、平均距離が優勝しました。
方向性が重要: コサイン距離（データの角度/方向を測定する）は、特に高次元空間（深層学習モデルなど）において、標準的な距離よりも優れていることが多かったです。
単純さの勝利: 最も複雑な方法（深層特徴勾配など）は、必ずしも良い結果をもたらすわけではなく、はるかに遅いものでした。
アーキテクチャが重要: 使用されるコンピュータモデルの種類（ResNet と EfficientNet など）によって、最も機能する「奇妙さメーター」が変わるため、メーターの選択は使用している特定のモデルに依存することが示唆されました。

要約すると、この論文はより安全な AI リストを構築するための「メニュー」を提供しています。特定の課題に合った適切な「奇妙さメーター」を選ぶことで、安全性を犠牲にすることなく、予測リストを小さく実用的に保つことができることを示しています。

技術概要：適合性予測における非適合性スコア関数のベンチマーク

問題提起

適合性予測（CP）は、単一のクラス予測ではなく予測セットを生成することで、機械学習の分類におけるモデル較正の厳密な代替手段を提供する。CP は、真のクラスが予測セットに含まれる確率が、事前に指定された誤り率 $\alpha$ に対して少なくとも $1 - \alpha$ であることを保証するが、これらのセットの実用的有用性は、そのサイズに大きく依存する。予測セットがあまりに大きければ、それは無意味なものとなる。

これらのセットのサイズと有用性は、非適合性スコア関数の選択によって決定される。文献には多数のスコア関数が存在するにもかかわらず、それらの性質、有効性、およびモデルアーキテクチャやクラス不均衡との相互作用を体系的に検討した研究は不足している。本論文は、異なるスコア関数が、不均衡データセットを含むさまざまな条件のもとで、さまざまな適合性ドメイン（確率空間、ロジット空間、特徴空間）においてどのように機能するかという理解のギャップを埋めることを目的としている。

手法

評価指標

著者は、任意の誤り率 $\alpha$ の選択に依存しないスコア関数の評価を行うため、新しい評価指標 $I_1$ を導入する。従来の指標は固定された $\alpha$ における平均予測セットサイズを報告するが、 $\alpha$ がモデルの精度と整合していない場合、これは誤解を招く可能性がある。
この指標は以下のように定義される：
$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$
ここで、 $A_k$ はトップ- $k$ モデル精度（特に $A_1$ はトップ 1 精度）であり、 $\bar{|P|}(\alpha)$ は誤り率 $\alpha$ における平均予測セットサイズである。この積分は、評価を「興味深い」誤り率の範囲（0 からモデル固有の誤り率まで）に制限し、より低い値がより良い性能（より小さな予測セット）を示す単一の客観的な数値を提供する。

実験設定

データセット: ImageNet（1000 クラス）、CIFAR-100（100 クラス）、および CIFAR-10（10 クラス）。
モデル: ResNet50（主要）、ResNet18、および EfficientNet-B0。
適合性ドメイン: 本研究は、3 つの異なる空間にわたってスコア関数を評価する：
1. 確率空間: ソフトマックス関数の出力（ $\Delta_{n-1}$ ）。
2. ロジット空間: ソフトマックス以前の生出力ベクトル（ $\mathbb{R}^n$ ）。
3. 特徴空間: 線形出力層直前の最終特徴ベクトル。
ベンチマークされたスコア関数:
- ラベル距離: 予測とワンホットエンコードされたラベルとの距離。
- マージン距離: 真のクラスと最も確率の高い誤ったクラスとの間の決定境界までの距離。
- 平均距離: 同じクラスに属する較正例の平均までの距離。
- 最近傍: 同クラス例と異クラス例への距離の比率。
- APS/RAPS/SAPS: 適応的予測セットおよびその正則化変種（ランクベース手法）。
- 勾配/高速勾配: 特徴空間における決定境界までの距離を近似する特徴ベースの手法。
不均衡テスト: 少数クラスの prevalence を 10% に削減するクラス条件付き設定をテストし、異なるスコア関数がクラス不均衡をどの程度よく処理するかを評価した。

主要な結果

スコア関数の性能

$I_1$ 指標によって要約されたベンチマーク結果は、明確な性能パターンを明らかにしている：

距離ベース対ランクベース: 距離ベースのスコア関数は、特にコサイン距離を使用する場合、予測セットサイズにおいてランクベース手法（APS、RAPS、SAPS）よりも一般的に優れていた。
最適なドメインと指標:
- ResNet モデルにおける ImageNet に対して、ロジット空間におけるコサイン距離を用いたマージン距離が、最低の $I_1$ 値を達成した。
- 平均距離は、特に特徴空間でコサイン距離を使用した場合、CIFAR-100 で非常に優れた性能を示した。
- 確率空間におけるコサイン距離を用いたラベル距離も、非常に競争力が高かった。
ユークリッド距離対コサイン距離: ユークリッド距離は、高次元空間（ResNet50 の特徴ベクトルなど）にはあまり適していないことが判明したが、コサイン距離は頑健に機能した。これは、これらのモデルがクラスをほぼ直交するクラスターに組織化していることを示唆している。
APS/RAPS におけるランダム化: 本研究では、較正された設定におけるカバレッジ保証のために、APS および RAPS のランダム化項（ $u$ ）は厳密には不要であることが判明した。 $u$ を小さな定数（同点 breaker として機能）に設定することは、標準的なランダム化アプローチよりもしばしば良い性能をもたらした。
勾配手法: 勾配および高速勾配手法は計算コストが高く、特に高速勾配の場合、テストされたデータセットにおいて他の手法よりも著しく劣った。

モデルアーキテクチャの影響

ResNet50 と ResNet18 はスコア関数の性能の相対的な順序が類似していたが、EfficientNet-B0 は異なるランキングを示した。これは、モデルアーキテクチャ（ReLU 対 Swish などの活性化関数など）が適合性ドメインの幾何学的性質に影響を与え、したがって最適なスコア関数の選択に影響を与えることを示唆しており、モデルの生精度よりもその影響が大きい可能性がある。

クラス不均衡

不均衡な設定では、少数クラスは、その真の prevalence よりもはるかに高い頻度で予測セットに含まれることが多かった（例：0.1% の真の prevalence に対して 27% の含まれ率）。著者は、これは予測者の精度を低下させるが、希少なクラスに関する基盤モデルの不確実性の「正直な」反映であると指摘する。特徴空間における平均距離は、カバレッジを維持しながらこの過剰な含まれを最小化する能力が最も高かった。

意義と主張

本論文は、非適合性スコア関数の性質と有効性に関する知識のギャップを埋めると主張している。その主な貢献は以下の通りである：

体系的ベンチマーク: 複数のデータセット、モデル、および適合性ドメインにわたる多様なスコア関数の包括的な比較を提供すること。
評価指標: モデル精度を考慮し、任意の誤り率選択を回避する堅牢な単一数値指標として $I_1$ を導入すること。
ドメインおよび指標に関する知見: 高次元の適合性ドメインにおいてコサイン距離がユークリッド距離よりも優れており、ロジット空間がしばしば確率単体よりも優れていることを実証すること。
実践的ガイダンス: 単一の「最良の」普遍的な手法に依存するのではなく、特定のモデルアーキテクチャとデータセットの特性に基づいてスコア関数を選択するための出発点を提供者に提供すること。

著者らは、単一のスコア関数が普遍的に優れているわけではなく、最適な選択はモデルとデータの具体的な文脈に依存すると結論付けている。しかし、このベンチマークは、これらの選択を行うための明確でデータ駆動型の基盤を提供する。