Universal distribution of the empirical coverage in split conformal prediction

明日の天気を予測することから、住宅価格を推定することに至るまで、現代の予測の世界において、最も一般的な出力は単一の数値です。モデルはデータを見て、「気温は72度になる」とか「この家は45万ドルである」と言います。これらの点予測は有用ですが、多くの場合、モデルがどの程度確信を持っているかという極めて重要な情報を隠してしまいます。モデルがデタラメに推測している場合、単一の数値は誤った精密感を与えてしまいます。これを解決するために、統計学者は「コンフォーマル予測（conformal prediction）」と呼ばれる枠組みを開発しました。単一の答えを提示する代わりに、この手法は可能性のある範囲、すなわち「起こりうる結果の集合」を生成し、それには統計的な保証が付随します。これは、真の答えが一定の割合、例えば95パーセントの確率でその集合内に収まることを約束するものです。このアプローチは、ほぼすべての既存の予測ツールと併用でき、データの分布に関する特定の仮定を必要とせず、データ量が限られている場合でもこれらの保証を提供できるため、非常に強力です。

しかし、これらのツールを使おうとする者にとって、実用的な疑問が残ります。それは、「保証を成立させるためにどれだけのデータが必要か？」という点です。典型的なセットアップでは、データセットは2つの部分に分割されます。一つはモデルを訓練するための部分であり、もう一つは「較正サンプル（calibration sample）」として知られ、予測集合のサイズを調整するために使用されます。もし較正サンプルが小さすぎると、結果として得られる予測集合は、真の値を実際に含むには狭すぎ、約束された保証を破ってしまう可能性があります。逆に大きすぎると、予測集合は不必要に広くなり、有用性が低下します。長年、実務家たちはこの較消サンプルの適切なサイズを推測しなければならず、多くの場合、大まかな経験則や、貴重なデータを無駄にする可能性のある保守的な見積もりに頼ってきました。

ブラジルのインスペル教育研究機関のパウロ・C・マルケス・Fによる最近の研究は、これらの予測集合の正確な数学的挙動を見出すことで、この問題を解決しました。研究者は、「スプリット・コンフォーマル予測（split conformal prediction）」と呼ばれる、バッチ処理を行う特定のバージョンの手法に焦点を当てました。モデルがすでに訓練・較正されており、現在、将来の大量のイベントに対して一度に予測を行っているシナリオを想像してください。この研究は、シンプルかつ深遠な問いを投げかけます。「もし将来の予測のバッチを見たとき、それらのうちいくつが正解となるかの実際の分布はどうなるのか？」という問いです。

論文は、その答えが普遍的であることを確立しています。それは、データの具体的な種類、モデルの複雑さ、あるいは世界の潜在的なパターンには依存しません。代わりに、予測集合の挙動は、望ましい信頼レベル（公称ミスカバー・レベル）と、システムを調整するために使用される較正サンプルのサイズの、これら2つの数値によってのみ決定されます。研究者は、有限の将来の観測バッチに対して、正しい予測の数は「ベータ・バイノミアル分布（Beta-Binomial distribution）」として知られる精密な統計パターンに従うことを証明しました。さらに、将来の観測バッチが無限に大きくなるにつれて、正しい予測の割合は「ベータ分布（Beta distribution）」として知られる特定のパターンに落ち着きます。これらの知見は、単なる示唆やコンピュータ・シミュレーションの結果ではなく、データポイントが「交換可能（exchangeable）」であること、つまり、その順序が重要ではなく、同じ潜在的なソースから来ているという仮定から導き出された厳密な数学的証明です。

この研究の最も重要な成果は、較正サンプルサイズを選択するための新しい、精密な基準です。研究者は、カバレッジ（被覆率）の正確な分布を知っているため、予測集合が特定の誤差範囲内で正確であることを高い確信度を持って保証するために必要な最小限の較正データ量を計算することが可能です。例えば、ユーザーが95パーセントの確信度で、5パーセントの誤差範囲内で予測集合が正しいことを確実にしたい場合、この論文は、必要な正確な較正サンプル数を直接見つける方法を提供します。研究は、様々な信頼レベル、誤差範囲、および確信度の組み合わせに対するこれらの最小サンプルサイズをリストした包括的な表を提示しています。

この表は、要求される条件によって必要なサンプルサイズが劇的に変化することを明らかにしています。標準的な90パーセントの信頼レベルで、寛容な10パーセントの誤差範囲であれば、40から50程度の比較的小さな較正サンプルで十分かもしれません。しかし、もしユーザーが99パーセントの信頼レベルと、非常にタイトな1パーセントの誤差範囲を要求した場合、必要なサンプルサイズは4万件以上に跳ね上がります。研究は、これらの数値が恣意的なものではなく、経験的カバレッジから導き出された数学的な最小値であることを明確にしています。これにより、実務家は推測をやめて計算を開始できるようになり、リソースを過剰に消費することなく、信頼性の目標を達成するために必要なだけのデータを使用できるようになります。

また、論文は予測がどのように振る舞うかについての、微妙だが重要な区別についても論じています。予測集合の平均的なパフォーマンスは、目標とする信頼レベルに近いことがよく知られていますが、個々のバッチにおける実際のパフォーマンスは変動し得ます。研究は、この変動がランダムなノイズではなく、予測可能な形状に従うことを示しています。この形状を理解することで、ユーザーは、完璧なモデルと正しくサイズの決定された較正サンプルがあったとしても、将来の予測がいくつ正解するかについては自然な変動が存在することを認識できます。研究は、この変動が手法に固有のものであり、較正サンプルのサイズと選択された信頼レベルによって完全に特徴付けられることを確認しています。

機械学習のアプリケーションという文脈において、この研究は信頼性のための基礎的なツールを提供します。それは、較称サンプルサイズの選択を「芸術」から「科学」へと変貌させます。研究者は、スプリット・コンフォーマル予測の特性が堅牢で普遍的であり、予測を生成するために使用される特定のアルゴリズムに関わらず成立することを実証しています。タスクが株価のような連続値の予測であれ、疾患の診断のようなカテゴリカルなラベルの予測であれ、必要な較正データを決定するためのルールは同じです。この研究は、基礎となるモデル自体の精度を向上させることを主張するのではなく、それらのモデルの周囲に構築される信頼区間が、数学的に健全であり、最適化されたサイズであることを保証するものです。

この知見は、データが高価であったり希少であったりする分野において特に重要です。なぜなら、ユーザーが望ましい信頼を得るために必要なデータの正確な下限値を決定できるからです。逆に、データが豊富なシナリオにおいては、不必要に大きな較正セットを使用することが、過度に保守的で情報価値の低い予測区間につながるということを、この研究は警告しています。経験的カバレッジの普遍的な公式を提供することで、本論文は、研究者や実務家に対し、以前は不可能であったレベルの精密さで予測システムを設計する能力を授けています。その結果、人工知能の時代における不確実性の定量化に向けた、より効率的で信頼性の高い枠組みが実現しています。