Epistemic Uncertainty Quantification for Pre-trained VLMs via Riemannian Flow Matching

技術的サマリー：REPVLM – リーマン流整合による事前学習済み VLM のための認識論的不確実性定量化

1. 問題提起

CLIP、BLIP、SigLIP などの事前学習済み視覚言語モデル（VLM）は、大規模な対照的事前学習を通じて、クロスモーダル表現学習において顕著な成功を収めています。しかし、これらのモデルは本質的に決定論的であり、入力を高次元埋め込み空間内の単一の固定点にマッピングします。このアーキテクチャには、自身の表現に関する無知や知識の欠如である認識論的不確実性を定量化する内在的なメカニズムが欠如しています。

VLM 向けの既存の不確実性定量化（UQ）フレームワークは存在しますが、それらは主に確率的埋め込みを学習することで偶然的不確実性（データの曖昧さ）に対処するものです。深層アンサンブルやモンテカルロドロップアウトのような認識論的不確実性向けに設計された手法は、大規模な事前学習モデルに対しては計算コストが過大であったり、最適でないバッチ依存の推定をもたらしたりします。高価な再学習やパラメータ空間のサンプリングを必要とせず、モデルがその表現に対して持つ信頼度を直接定量化する、スケーラブルで内在的なメトリックの必要性が切実です。

2. 手法：REPVLM

著者は、VLM 埋め込みの確率密度をネイティブな多様体上で直接推定することにより認識論的不確実性を定量化するフレームワークREPVLMを提案します。

理論的動機
本論文は、埋め込み密度と認識論的不確実性の間に、以下の 3 段階の連鎖を通じて理論的リンクを確立します：

1. 共分散からヤコビアンノルムへ：標準的なベイズ仮定と局所線形性の下では、高い認識論的不確実性は、パラメータ摂動に対する感度を示す大きなパラメータ - ヤコビアンノルムに対応します。
2. ヤコビアンノルムからデータ密度へ：トレーニングデータの高密度領域では、エンコーダのヤコビアンノルムは小さくなる傾向（滑らかさ）がありますが、低密度（分布外）領域では制約されません。
3. データ密度から埋め込み密度へ：対照的学習におけるアライメントと均一性のダイナミクスに触発され、著者は入力データの密度 $p(x)$ が、超球面上の結果としての埋め込みの密度 $p(z)$ と相関するという経験的仮定を提示します。
   したがって、負の対数尤度 $-\log p(z)$ は、認識論的不確実性に対する原理的な代理指標として機能します。低密度領域はモデルの無知を示します。

リーマン流整合（RFM）
$\ell_2$ 正規化された VLM 埋め込みが存在する超球面 $S^{d-1}$ 上で $p(z)$ を効率的に計算するために、REPVLM は**条件付きリーマン流整合（CRFM）**を利用します：

• 多様体ネイティブモデリング：標準的なユークリッド流整合とは異なり、REPVLM は超球面上で直接動作します。単純な一様ベース分布 $P_0 = \text{Unif}(S^{d-1})$ を経験的なモーダル固有分布 $P_1$（画像とテキスト）へ輸送するベクトル場 $v_t$ を学習します。
• 測地線補間：確率パスは、セマンティック空間の内在的な幾何学を尊重し、直線ではなく測地線（大円）に沿って構築されます。
• 統合条件付きフレームワーク：単一のニューラルネットワークがモーダル（$c \in \{\text{image}, \text{text}\}$）に条件付けられたベクトル場を学習し、タスク非依存の不確実性推定を可能にします。
• 尤度計算：正確な対数密度は、逆 ODE 軌道に沿って学習されたベクトル場の発散を積分することで計算されます。高次元埋め込みを効率的に処理するために、著者は発散を最小限の計算オーバーヘッドで近似するために、多様体制約付きハッチンソン跡推定量を採用します。

3. 主要な貢献

• 理論的動機：本論文は、対照的エンコーダにおける $-\log p(z)$ が認識論的不確実性の単調な代理指標であることを示す形式的な導出を提供し、ベイズ的不確実性と埋め込み密度を結びつけます。
• 多様体ネイティブ手法（REPVLM）：著者は、リーマン流整合を VLM 埋め込み空間に拡張するスケーラブルな UQ 手法を導入し、事前学習済みバックボーンを変更することなく、視覚およびテキストの両方のモーダルに対する内在的な確率密度計算を可能にします。
• 経験的検証：この手法は複数のベンチマークで検証され、不確実性スコアと予測誤差の間にほぼ完全な相関を示し、選択的分類や分布外（OOD）検出において既存のベースラインを大幅に上回る性能を発揮しました。

4. 実験結果

著者は、Conceptual Captions、DataComp-1B、LAION-2B の 3 つの異なるプロキシデータセットを使用してトレーニングし、6 つのダウンストリームベンチマーク（ImageNet-1K、Food101、CIFAR-100、ObjectNet、ImageNet-R、ImageNet-Sketch）で REPVLM を評価しました。

• 選択的分類：REPVLM は、標準ベンチマーク全体で不確実性と予測誤差の間にほぼ完全なスピアマン相関（$S \ge 0.988$）を達成しました。モデル誤差の特定において、ProbVLM、モンテカルロドロップアウト、埋め込みノルムなどのベースラインを一貫して上回りました。
• 分布シフトへの頑健性：分布シフトされたデータセット（ObjectNet、ImageNet-R、ImageNet-Sketch）において、REPVLM はすべてのシフトセルで $S=1.000$ を達成した唯一の手法であり、他の手法（例：ProbVLM、GMM）は高い分散や負の相関を示しました。
• 応用：
  • OOD 検出：不確実性スコアは、分布内（ID）データをニア OOD およびファール OOD データから効果的に分離し、高い ROC 曲線と Precision-Recall 曲線をもたらしました。
  • 自動データキュレーション：REPVLM によってフラグ付けされた高不確実性サンプルは、ノイズ、ぼやけ、または nonsensical な入力に対応しており、大規模な Web データセットのクリーニングにおける有用性を示しました。
• 効率性：REPVLM は、バックボーンに加えて約 0.55 GFLOPs の追加オーバーヘッドのみを必要とし、モンテカルロドロップアウト（約 10 倍のフォワードパスが必要）よりもはるかに効率的でありながら、ProbVLM よりも信頼性の高い認識論的推定を提供します。

5. 意義と限界

意義
本論文は、事前学習済み VLM における認識論的不確実性にとって、多様体上の埋め込み密度が作動する量であると主張しています。リーマン流整合を通じて埋め込み空間の幾何学的構造を活用することで、REPVLM は、アンサンブル手法の計算コストなしに、モデルの信頼度に対するスケーラブルで内在的かつ非常に信頼性の高いメトリックを提供します。これにより、自動データキュレーションや頑健な OOD 検出などの実用的な応用が可能になります。

限界
著者は明示的にいくつかの限界を認めています：

1. 理論的代理指標：ベイズ的認識論的不確実性と埋め込み密度の間のリンクは、（非可逆な対照的エンコーダにおける密度保存に関する）経験的仮定に基づく動機付けの代理指標論証であり、形式的な同一性ではありません。
2. プロキシ依存性：すべての事後法と同様に、REPVLM は対象の VLM の事前学習ドメインを代表するプロキシデータセットを必要とします。専門的な VLM は、ドメイン固有のプロキシを必要とする可能性があります。
3. 幾何学的仮定：この理論は、コサイン類似度でトレーニングされたエンコーダ（CLIP など）からの $S^{d-1}$ 上の $\ell_2$ 正規化埋め込みを仮定しています。著者は、異なる幾何学を持つモデル（例：SigLIP。テクスチャ駆動の密度変動により分布内ベンチマークで性能が低下した）への結果は外挿できない可能性があると指摘しています。
4. 公平性のリスク：著者は、密度ベースの不確実性が希少性と無知を混同する可能性について警告しています。希少だが有効な入力（例：過小評価されたグループからの入力）は、高不確実性の外れ値としてフラグ付けされる可能性があります。安全性が重要な設定では、そのようなサンプルは自動削除ではなく、人間のレビューの対象となる候補とすべきです。