技術要約: FUSE – ビジョン・ランゲージ・モデルにおける不確実性の定量化

問題提起

ビジョン・ランゲージ・モデル（VLM）は、ロボティクスからヘルスケアに至るまで幅広いアプリケーションに不可欠な存在となっていますが、幻覚（ハルシネーション）や過剰な自信に基づく推論といった、信頼性の低い出力に陥りやすいという課題を抱えています。**不確実性定量化（Uncertainty Quantification: UQ）**において、決定的なギャップが存在します。次トークンの尤度やロジットベースの確信度に依存する従来の手法では、クロスモーダルな入力に内在する意味的な曖昧さや、生成される出力の多様性を捉えることができません。既存のアプローチは、不確実性を原理的な確率量としてではなく、ヒューリスティックに扱うことが多く、モデルの潜在表現に埋め込まれた不確実性を見落としがちです。

本論文は、VLMの不確実性が以下の2つの明確かつ相補的なソースから生じることを特定しています：

1. アレアトリック不確実性（Aleatoric Uncertainty）: 入力データおよびクロスモーダルな意味論に内在する曖昧さ（例：記述が不十分な質問や、視覚的に曖昧な領域）。
2. エピステミック不確実性（Epistemic Uncertainty）: 知識の限界、グラウンディングの弱さ、あるいは分布シフトに起因するモデルの予測の変動性（生成された応答の多様性に反映される）。

目標は、これら2つのソースを単一の較正されたスカラー値としての不確実性（$u^\star$）へと融合させ、出力の正当性を予測し、不確実なクエリに対して回答を控える（選択的予測を行う）フレームワークを開発することです。

手法: FUSE フレームワーク

著者らは、アレアトリック不確実性とエピステミック不確実性を組み合わせるためのベイズ的融合メカニズムを採用した確率的フレームワークである FUSE (Fused Uncertainty with Semantic Evidence) を提案しています。

1. アレアトリック不確実性: データ表現の事前分布

本フレームワークは、入力データレベルを事前分布として扱います。

• 確率的埋め込み: 標準的なVLM（例：CLIP）は決定論的な埋め込みを生成しますが、FUSEは ガウス過程（GP） アダプターを導入します。このアダプターは、決定論的な埋め込み（$z_I, z_T$）を、データの「真の意味」を表す共有潜在変数 $x$ を学習することで、確率分布（$N(\mu, \Sigma)$）へとマッピングします。
• スパース変分ガウス過程: スケーラビリティを確保するため、誘導点を用いたスパース変分ガウス過程潜在変数モデル（Sparse Variational GPLVM）を使用します。
• 事前分布の定式化: これらの確率的埋め込みの分散（共分散の行列式によって定量化）は、スカラー統計量 $s$ に集約されます。この統計量は、潜在的な不確実性変数 $u$ に対するガウス事前分布を定義します：
  $$u \sim N(m_0, \sigma_0^2), \quad \text{ここで } m_0 = \alpha_0 + \beta_0 s$$
  これは、生成が行われる前の、入力クエリに内在する曖昧さを捉えます。

2. エピステミック不確実性: 意味的応答のエビデンス

本フレームワークは、モデルの生成出力をエビデンスとして扱います。

• 応答の多様性: VLMは $n$ 個の確率的な応答を生成します。これらはベクトル $\{r_i\}$ に埋め込まれます。
• 意味的散布: これらの埋め込みから意味的散布行列 $S$ が構築されます。意味的エビデンスは、この行列の行列式（log-determinant）として定義されます：$\tilde{V} = \log \det S$。
• 重み付きエビデンス: サンプルの信頼性の違いを考慮するため、モデルのトークンごとの対数確率に基づく不確実性ウェイトを導入します。確信度の低いサンプルには高いウェイトが割り当てられます。
• 尤度モデル: 著者らは、緩やかな仮定の下で、意味的エビデンス $\tilde{V}$ が潜在的な不確実性 $u$ に対して 線形ガウス尤度 に従うことを証明しています：
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  この解析的な関係性により、クローズドフォームによるベイズ更新が可能になります。

3. ベイズ的融合

核心となる革新は、入力の事前分布と応答のエビデンスの解析的な融合です。

• クローズドフォームの事後分布: ガウス事前分布と線形ガウス尤度を組み合わせることで、潜在的な不確実性 $u$ に関するクローズドフォームの事後分布が得られます：
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• 融合された統計量: 事後平均と分散から、単一の不確実性スコア $u^\star$（例：zスコア境界）が導出されます。
• 較正（キャリブレーション）: グローバルな閾値 $\theta^\star$ は、回答されたクエリに対する条件付きリスク（エラー率）を制御するために、ホールドアウトデータセット上で較正され、選択的な回答を可能にします。

主な貢献

1. 概念的な定式化: 本論文は、VLMの不確実性をアレアトリック（入力レベル）とエピステミック（生成レベル）のソースに形式的に分離し、両方を統一された枠組みの中で定量化するための基礎を提供しました。
2. 統一された確率モデル: ベースとなるVLMのトレーニングを必要としない、ベイズ的融合フレームワークを導入しました。ヒューリスティックな手法とは異なり、解釈可能で較正された事後分布を提供します。
3. 数学的正当性: 意味的エビデンス（応答の散布の行列式）が潜在的な不確実性に線形依存することを証明し、クローズドフォームのベイズ更新の使用を正当化しました。
4. 実験的な優位性: 複数のベンチマークにおいて、不確実性の較正および選択的回答に関する最先端（SOTA）の性能を達成しました。

実験結果

著者らは、LLaVA-v1.5-13bをバックボーンとして、3つの視覚的質疑応答（VQA）ベンチマーク（VQAv2, OKVQA, AdVQA）を用いてFUSEを評価しました。

• ベースライン: FUSEは、学習フリーの手法（UMPIRE, Neighborhood Consistency）、エントロピーベースの指標（Semantic Entropy, LN-Entropy）、および共形予測（Conformal Prediction）のアプローチ（LoFreeCP, CLM）と比較されました。
• 識別能: FUSEは、正解と不正解を区別するAUROCにおいて最高の数値（VQAv2で0.883）を達成し、すべてのベースラインを上回りました。
• 較正: 同手法は優れた較正性を示し、最も低い期待較正誤差（ECE）と、予測された不確実性と経験的なエラー率との間の高い相関を実現しました。
• 選択的回答: 再棄却・精度曲線の下の面積（AURAC）において、FUSEは一貫してベースラインを上回り、高精度を維持しながら不確実なクエリを効果的に特定し、回答を控える能力があることを示しました。
• アブレーション研究: 実験により、両方の不確実性ソースを融合することが極めて重要であることが確認されました。GP事前分布または重み付きエビデスのいずれかを削除すると、性能の低下を招きました。

意義と主張

本論文は、FUSEがVLMの展開における重要な安全性と信頼性のギャップに対処することを主張しています。トークンレベルの尤度を超えて、入力表現の事前分布と生成レベルのエビデンスを統合する結合ベイズ定式化へと移行することで、FUSEは厳密で解釈可能な不確実性の尺度を提供します。

著者らは、自身のアプローチが以下の特徴を持つことを強調しています：

• 巨大なVLMバックボーンの再学習を必要とせず、凍結されたエンコーダーに対して軽量なGPアダプターを訓練するだけでよいこと。
• 正解を予測する信頼性の高い単一のスカラースコアを提供すること。
• リスク制御された意思決定を可能にし、不確実性が較正された閾値を超えた場合にシステムが回答を控えることを可能にすること。これは、ヘルスケアや自律システムのような高リスクな領域において不可欠です。

本研究は、入力の曖昧さと自身の生成の多様性の両方を通じて、モデルが「何を分かっていないのか」を明示的にモデル化することにより、VLMをより信頼できるものにするための一歩として位置付けられています。