🤖 machine learning

Empirical Bayes Conformal Prediction for Vision and Language Models

本論文は、 $r$ 値を活用してスコアのばらつきを不確実性を考慮した非適合性スコアに変換する経験的ベイズ適合性予測フレームワークを導入し、分布フリーの被覆保証を維持しつつ、視覚言語モデルにおけるランキングの安定性を向上させ、高分散の誤った候補の含入を削減するものである。

原著者： Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

公開日 2026-05-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiapeng Zeng, Yogesh Prabhu, Zhanpeng Zeng, Michael A. Newton, Vikas Singh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがタレントショーの審査員だと想像してください。出場者（候補者）のリストがあり、次のラウンドに進む「安全なリスト」の中から最優秀なパフォーマンスを選ぶ必要があります。実際の勝手があなたのリストに含まれていることを95%の確信度で保証したい一方で、リストは可能な限り短くして、質の低いパフォーマンスを見る時間を無駄にしないようにしたいと考えています。

これがまさに、AIモデルに対する**共形予測（Conformal Prediction: CP）**が果たす役割です。CPは、正解をほとんどの場合確実に含む「安全なリスト」を作成します。

しかし、標準的なAIモデルには問題があります。それは、時として不安定であることです。同じ質問を2回したり、同じ画像を2回見せたりすると、モデルはわずかに異なるスコアを出力するかもしれません。時には、単なる「幸運な推測」によって悪い答えが高スコアを獲得したり、不運によって良い答えが低スコアになったりします。

従来のCPは、これらのスコアの1つだけを見て判断します。これは、審査員が1回きりの不安定なパフォーマンスに基づいて決定を下すようなものです。モデルが「幸運な推測」の瞬間を迎えると、悪い答えが安全なリストに含まれてしまい、リストが長くなり、実用性が低下します。

新しいアイデア：「r値」（安定性チェック）

この論文では、**r値を用いた経験ベイズ共形予測（Empirical Bayes Conformal Prediction using r-values）という新しい手法を紹介しています。r値を「安定性スコア」または「一貫性のバッジ」**と考えるとわかりやすいでしょう。

新しい手法は、「スコアがどれほど高かったか？」ではなく、**「スコアはどれほど一貫していたか？」**を問います。

以下に、簡単な比喩を用いてその仕組みを説明します。

比喩：「幸運な学生」と「信頼できる学生」

2人の学生がテストを受けると想像してください。

学生A（ロック）： テストを受けるたびに毎回90点を取ります。安定しており、信頼できます。
学生B（ローラーコースター）： 95点を取ることもあれば、40点、92点を取ることもあります。彼らの平均は高いかもしれませんが、結果はばらついています。

従来のCPは、学生Bの幸運な95点を見て、「わあ、95点は素晴らしい！彼らはトップグループだ！」と言います。実際には信頼性が低いにもかかわらず、学生Bを安全なリストに含めてしまいます。

r値を用いた手法は、全体像を見ています。学生Bがローラーコースターであることを認識します。「95点を取ったことはあるが、あなたは不安定すぎてトップ候補として信頼できない。次は40点に落ちるかもしれない」と判断します。そのため、学生Bを安全なリストから外すか（またはリストの順位を下げ）、学生A（ロック）をトップに保ちます。

実践での仕組み

研究者たちは、この手法を2種類のAIでテストしました。

ビジョンモデル（画像分類器）： 猫の画像を見るロボットのようなものです。
- 工夫点： ロボットに、同じ画像を1,000回、わずかなランダムな変化（例えば、友人に同じ画像を少し違う言葉で説明させるようなもの）を加えて見せました。
- 結果： ロボットが毎回「猫」と言い続けた場合、高いr値を獲得しました。もし「猫」「犬」「トースター」の間で切り替わり続けた場合、低いr値となりました。この手法は、偶然発生した「トースター」という推測を成功裏に除外しました。
言語モデル（チャットボット）： 雑学クイズに答えるロボットのようなものです。
- 工夫点： ロボットに同じ質問を20通りの異なる言い回し（例：「大統領は誰か？」対「国を率いるのは誰か？」）で質問しました。
- 結果： ロボットが20通りのすべてのバージョンに対して素晴らしい答えを出した場合、それは「ロック」でした。一方、あるバージョンには素晴らしい答えを出し、別のバージョンには nonsensical（意味不明）な答えを出した場合、それは「ローラーコースター」でした。r値を用いた手法はこれを利用して、より短く、正確な答えのリストを作成しました。

主な要点

ルールを破らない： 新しい手法も、正解がリストに含まれていることを95%の確率で保証します（古い手法と同様に）。
リストを短くする： 「幸運な推測」（不安定な高スコア）を除外することで、候補者のリストはより小さく、実用的なものになります。
不確実性に対して賢明である： モデルが非常に安定している場合（変動がない場合）、新しい手法は古い手法と同様に動作します。しかし、モデルが不安定な場合、新しい手法はその不安定さを逆手に取り、悪い候補者を除外します。
画像とテキストの両方で機能する： AIが写真を見ていようが、文章を読んでいようが、一貫性をチェックすることで最終的な判断が向上します。

要約すると、この論文はAIに、単一の「幸運な」スコアを信頼するのをやめ、一貫したパフォーマンスを信頼することを教えます。これにより、AI自身の「不整合性」を、より良く、より安全な予測を行うためのツールへと変えるのです。

技術的概要：ビジョンおよび言語モデルのための経験的ベイズ適合予測

問題定義

適合予測（CP）は、現代のビジョンおよび言語モデルに対して、保証されたカバレッジを持つ予測セットを生成するための分布フリーの枠組みを提供する。しかし、標準的な CP は、候補をランク付けするために非適合スコアの単一の実現値に依存している。このアプローチは、モデルパラメータ、訓練のランダム性、またはプロンプトの表現に起因する認識的不確実性とスコアのばらつきを無視している。

複数の候補ラベルまたは応答が類似したスコアを受け取った場合、わずかな変動がそれらのランク順序を劇的に変化させる可能性がある。その結果、標準的な CP は、単一のノイズの多い実現値によって強く見えるようになったため、高分散の偽の候補を予測セットに含めてしまう一方で、わずかに低いながらもより一貫性のあるスコアを持っていた安定した候補を除外してしまう可能性がある。「平均化してから較正する（CPavg）」などの既存の代替手法は、較正前にスコアを平均化することでこのばらつきを平滑化するが、それによって候補のランクの安定性に関する情報を捨てることになる。核心的な問題は、現在の CP 手法が、安定した証拠とノイズ駆動の変動を区別するシグナルとしてスコアのばらつきを利用できておらず、その結果、非効率的（大規模）で不安定な適合セットを生み出している点にある。

手法： $r$ -値フレームワーク

著者らは、スコアのばらつきを不確実性を考慮した非適合スコアである $r$ -値に変換する、経験的ベイズ適合予測フレームワークである**$CPr$-値**を提案する。

中核的概念

観測されたスコア $f(x)_i$ のみに基づいて候補をランク付けするのではなく、この手法はランク付けを経験的ベイズ問題として扱う。各候補には観測されない潜在スコア $\theta_i$ （安定したシグナル）と、 $\theta_i$ のノイズの多い実現値である観測スコア $f(x)_i$ が存在すると仮定する。 $r$ -値は、推定されたスコアとその不確実性の両方を考慮し、候補の潜在スコアが上位ランクグループに属する確率を測定する。

推定量

このフレームワークは、 $r$ -値のための 2 つの推定量を提供する：

パラメトリック（正規 - 正規モデル）： 潜在スコアが正規分布に従い、観測ノイズがガウス分布であると仮定する。これにより、 $r$ -値の閉形式式が得られる。これはスコアの大きさとの分散のトレードオフを明示的にモデル化し、高分散のスコアを実験的平均に向かって収縮させる。
ノンパラメトリック（事後サンプリング）： 仮定を置かないモンテカルロ推定量である。モデルアンサンブル、MC-dropout、またはプロンプトの言い換えなどから得られる複数の事後サンプルにわたって候補をランク付けし、候補がトップ- $k$ 位置に現れる頻度を計算する。この頻度は経験的尾部確率として機能し、それを $r$ -値に変換する。

アルゴリズム

ばらつきの推定： 画像モデルの場合は重み付きベイズブートストラップアダプタ、VLM/LLM の場合はプロンプトの言い換えなどを通じて、複数のモデル出力を生成し、各候補のスコア分布を推定する。
較正： 較正セットにおける真のラベルに対して $r$ -値を計算する。閾値 $\hat{r}$ を、 $\lceil(n+1)(1-\alpha)\rceil$ 番目に小さい $r$ -値として決定する。
予測： テスト入力に対して、すべての候補の $r$ -値を計算する。 $r(x, u_j) < \hat{r}$ となる候補を予測セットに含める。

主要な貢献

理論的保証： 交換可能性の下で、非適合スコアとして $r$ -値を使用することは、目標とする適合カバレッジ保証（ $1-\alpha$ ）を維持する。
効率性の向上： 理論的には、 $r$ -値は標準的な CP や CPavg に比べて、高分散の偽の候補の包含確率を低減する。これにより、特にばらつきが情報的である場合に、期待される予測セットのサイズが小さくなる。
統合フレームワーク： この手法はパラメトリックおよびノンパラメトリックのアプローチを統合し、多様なスコアタイプ（ログオッズ、確率、離散的評価スコア）およびモデルアーキテクチャ（ViT、CLIP、LLM）への適用を可能にする。
ランク付けの安定性： 高スコア分散を持つ候補にペナルティを課すことで、この手法はより安定したランク付けを生み出し、一貫して上位に現れる候補を、断続的に高いスコアを持つ候補よりも優先する。

実験結果

著者らは、画像分類、ビジョン - 言語モデル（VLM）、および大規模言語モデル（LLM）全体にわたって $CPr$-値を評価した。

ビジョンモデル（画像分類）： 事後のばらつきを近似するために重み付きベイズブートストラップ（WBB）アダプタを用いた ViT および ResNet モデルを使用。
- ばらつきが小さい場合（強力なバックボーン、軽量アダプタ）、$CPr$-値は標準的な CP と同様に振る舞い、カバレッジとセットサイズを維持する。
- ばらつきが情報的である場合、$CPr$-値はより小さく安定したセットを生成し、標準的な CP よりも真のクラスをセット内でより高くランク付けすることが多い。
VLM および LLM（CLIP、SigLIP、MobileCLIP、LLaMA）： ばらつきはプロンプトの言い換えによって誘発された。
- カバレッジ： $CPr $-値は、名义レベルに近いカバレッジを維持した（例：$ \alpha=0.05$ の場合 95%）。
- セットサイズ： セットサイズの大幅な削減が観察された。例えば、ImageNet において、$CPr$-値は標準的な CP と比較して平均セットサイズをほぼ半分に削減した。
- モデル強度の傾向： 効率性の向上は、精度が低く本質的なばらつきが高いモデル（例：SigLIP2）で最も顕著であった。モデルの精度が向上し、ばらつきが減少するにつれて（例：MobileCLIP2）、利益は減少し、この手法は理論的な予測と一致して、自然に CP 類似の振る舞いに回帰した。
- オープンエンドタスク： 粗い評価スコアを伴う LLM タスク（例：TruthfulQA）において、 $r$ -値は、言い換え全体でのスコアの安定性を活用することで、平均スコアが同一の応答間のタイを破り、より細かなランク付けの分解能を提供した。

意義と主張

本論文は、$CPr$-値が、大規模モデルの認識されている弱点であるその不整合性やばらつきを、適合効率のための有用なシグナルへと変換すると主張している。

ロバスト性： これは、統計的に有効であるだけでなく、不安定でノイズ駆動の候補をフィルタリングすることでより効率的な予測セットを構築する手法を提供する。
実用性： このフレームワークはビジョンおよび言語の両分野に適用可能であり、ベースモデルの再訓練を必要とせずに、不確実性推定のための既存の技術（アダプタ、アンサンブル、プロンプトのバリエーション）を利用する。
限界： 著者らは、この手法の有効性はばらつき推定の品質に依存すると指摘している。推定されたばらつきが不十分または無視できる場合（非常に安定したモデルなど）、利益は限定的である。さらに、この手法は複数のサンプルを生成するための計算オーバーヘッドをもたらすが、これは軽量アダプタや並列推論を通じてしばしば実行可能である。

要約すると、$CPr$-値は、認識的不確実性を適合予測に統合するための原理的な方法を提供し、現代の AI システムに対してより小さく、より安定し、より信頼性の高い予測セットをもたらす。