技術要約：画像分類における視覚言語モデルを用いた局所的共形予測（Localized Conformal Prediction）

1. 問題提起

共形予測（Conformal Prediction, CP）は、機械学習における不確実性定量化のために広く用いられている統計的枠組みであり、強力な周辺被覆保証（すなわち、データ分布全体にわたって、ユーザーが定義した確率 $1-\alpha$ で真のラベルが含まれること）を提供します。しかし、標準的なCPの周知された限界は、特定のサブグループ（例：特定のクラスや特徴領域）に対する条件付き被覆を保証できないことです。これにより、特定のサブ集団において被覆率の格差が生じ、過小または過剰に被覆されるといった問題が発生します。

この問題を解決するために、テストサンプルとの類似性に基づいて較正例に重み付けを行う**局所的共形予測（Localized Conformal Prediction, LCP）が提案されていますが、その適用は主に回帰タスクや合成データセットに限定されてきました。画像分類、特に視覚言語モデル（Vision-Language Models, VLMs）**を用いたLCPへの適用は、未だ十分に探索されていません。重要な未解決の問いは、VLMの潜在空間におけるコサイン類似性を局所化関数として用いるという直感的な選択が、分類タスクにおいて非局所的なベースラインを改善するのに十分であるかどうかです。

2. 手法

2.1 フレームワークとセットアップ

著者らは、VLM（具体的にはViTおよびCNNバックボーンを備えたCLIPベースのモデル）を用いた分類タスクにLCPフレームワークを適用しています。プロセスは以下の通りです：

1. 較正（Calibration）: 較正サンプルセットを用いて共形スコアを算出します。
2. スコアリング: 4つの標準的な共形分類スコアを評価します：
   • TopK: 予測ベクトルにおける真のクラスのランクを使用。
   • LAC (Least Ambiguous set-valued Classifier): 「$1 - \text{真のクラスの確率}$」を使用。
   • APS (Adaptive Prediction Sets): 真のクラスまでのソートされた確率の累積和を使用。
   • RAPS (Regularized APS): セットサイズを制御するためにAPSにペナルティ項を追加。
3. 局所化（Localization）: 較正スコアに対して一様分布を使用する代わりに、LCPは、テストサンプルと類似する較正サンプルに高い重みを割り当てる局所化関数 $H(f_{test}, f_i)$ に基づく重み付き経験分布を構築します。

2.2 コアとなる革新：コサイン類似性の非線形変換

本論文では、局所化関数 $H$ を調査しています。VLMにおいて、画像埋め込み間のコサイン類似性（$f_i^T f_j$）は視覚的類似性の直感的な尺度です。著者らは2つのアプローチを検証しています：

1. 素朴なアプローチ（Naive Approach）: 生のコサイン類似性を直接ローカライザーの重みとして使用する（$H = f_i^T f_j$）。
2. 提案手法（Proposed Approach）: コサイン類似性に正規化シグモイド変換を適用する：
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   ここで、$m > 0$ は急峻さを制御し、$\tau \in [0, 1]$ は変曲点を設定します。

ハイパーパラメータ $m$ と $\tau$ は、平均予測セットサイズを最小化するように、較正セットを用いた5分割交差検証を通じてチューニングされます。最終的なパラメータは、各フォールドにおける $m$ の中央値および $\tau$ の平均値から導出されます。

2.3 実験設計

• データセット: 9つの多様な画像分類データセット（SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101）。
• モデル: 4つのVLMバックボーン（ViT-B/16, ViT-L/14, RN50, RN101）。
• 指標:
  • 効率性（Efficiency）: 平均セットサイズ（Mean Set Size, MSS）。
  • 妥当性（Validity）: 被覆ギャップ（Coverage Gap, CovGap）および最小クラス条件付き被覆（Minimum Class-Conditional Coverage, MCCC）。
• ベースライン: 同様のスコアを用いた標準的な非局所的CP手法。

3. 主要な結果

3.1 平均セットサイズ（効率性）

提案された非線形変換は、非局所的なベースラインおよび素朴な局所化アプローチの両方と比較して、効率性を大幅に向上させます。

• 性能: 提案手法は、4つのバックボーンのうち3つ（ViT-B/16, ViT-L/14, RN50）において、非局所的なTopKベースラインと比較して、9つのデータセットすべてで統計的に有意な平均セットサイズの減少を達成しました。
• 素朴な手法の失敗: 素朴なアプローチ（生のコサイン類似性を使用）は、しばしば性能を悪化させ、いくつかのケース（例：ViT-B/16を用いたDTD、RN50を用いたUCF101）においてセットサイズを大幅に増加させました。
• 一貫性: この改善は、異なる共形スコア（LAC, APS, RAPS）においても保持されましたが、その大きさは変動しました。

3.2 被覆指標（妥当性）

条件付き妥当性に関する結果は、より微妙なものでした：

• CovGap: 局所化アプローチ（素朴な手法および提案手法の両方）は、すべてのデータセットおよびバックボーンにおいて、非局所的ベースラインとほぼ同一のCovGap値を示しました。これは、VLMを用いた画像分類において、局所化単独では不十分であることを示唆しています。
• MCCC: 最悪ケースの被覆（MCCC）における改善は一貫していませんでした。提案手法は、特定の事例（例：ViT-B/16を用いたPetsにおけるLACスコア）ではMCCCを改善しましたが、他の事例（例：同データセットにおけるTopKスコア）では性能を低下させました。

4. 貢献

本論文は、主に3つの貢献を行っています：

1. 分類のためのLCP: 画像分類におけるLCPをVLMを用いてベンチマークし、直感的なコサイン類似性の使用が最適ではないことを示しました。また、ローカライザーの有効性を高めるための単純な非線形シグモイド変換を提案しています。
2. 広範なベンチマーク: 9つの多様なデータセットと4つのVLMバックボーンにわたる包括的な評価を提供し、提案手法が平均予測セットサイズを一貫して減少させることを示しました。
3. オープンソース実装: 多様なデータセットやモデルとの互換性を持たせた、分類のための最初のオープンソースLCP実装を提供します。

5. 意義と主張

本論文は、LCPが予測セットを局所的な分布特性に適応させるための有望な枠組みである一方で、その成功はローカライザー関数の設計に強く依存することを主張しています。

• 主要な知見: 視覚的潜在空間における生のコサイン類似性を用いるという「素朴な」直感は、不十分であり、効率性を損なうことさえあります。
• 解決策: 周辺被覆の保証を維持しながら、予測セットサイズの統計的に有意な減少を実現するには、これらの類似性に対する調整可能な単純な非線形変換が必要です。
• 限界: 著者らは、効率性は向上しているものの、この特定の設定においては、被覆ギャップ（CovGap）が非局所的ベースラインと同様のままであるため、現在のところ手法が条件付き被覆の格差を解決するまでには至っていないと謙虚に述べています。

本研究は、堅牢なオープンソースツールを提供し、VLMベースの分類における必要な前処理ステップを明らかにすることで、実世界のアプリケーションへの局所的共形予測の導入を促進することを目的としています。