技術要約: Visual Semantic Entropy (VSE)

1. 問題定義

視覚言語モデル（VLM）は視覚的質問応答（VQA）において優れた能力を発揮しますが、視覚的に曖昧な入力に対して自信に満ちた予測を生成することがあり、それが偏った信頼性の低い結果を招くことがあります。信頼できる不確実性推定（UE）は、これらの予測をフィルタリングするために極めて重要です。しかし、既存のUE手法をVLMに適用すると、以下の3つの具体的な失敗モードが生じることが示されています。

1. 出力の多様性の抑制: Semantic Entropy (SE) のような標準的なエントロピーベースの手法は、多様な出力を生成するために確率的デコーディングに依存しています。著者らは、VLMが（たとえ曖昧な画像であっても）非常に自信のある視覚的埋め込みを形成する場合、確率的デコーディングを行ってもほぼ同一の出力が得られることを示しています。その結果、SEは視覚的な入力に内在する曖昧さを捉えることができず、不確実性を過小評価してしまいます。
2. 言い回しによる距離の膨張: ペアごとの意味的距離を集計する手法（SNNEなど）は、回答をカテゴリラベルとして扱ったり、埋め込み距離に依存したりします。言語は離散的であるため、意味的に等価な回答であっても、言い回しが異なれば埋め込み空間では遠く離れているように見えることがあります。この言語的なバリエーションは、真の意味的な不一致がない場合でも、不確実性の推定値を膨張させます。
3. 共同摂動におけるテキストの支配: 入力への摂動（テキストのパラフレーズや、テキストと画像の共同摂動を含む）を通じて不確実性を探る最近のアプローチがあります。著者らは、テキストのパラフレーズが、視覚的な摂動よりもマルチモーダル埋め込み空間において大幅に大きな意味的シフトを引き起こすことを示しました。その結果、これらの手法における出力の変動は、視覚的な曖昧さではなく、主にプロンプトへの感度（言語的な変化）によって駆動されており、不確実性の推定値が視覚的証拠ではなくテキストへの感度を反映してしまうことになります。

2. 手法: Visual Semantic Entropy (VSE)

これらの制限に対処するため、著者らは、言語的なノイズを軽減しながら視覚的な曖昧さを探るためのフレームワークである Visual Semantic Entropy (VSE) を提案しています。この手法は、以下の3つのコアステージで構成されます。

A. 視覚的摂動 (固定テキスト)

質問を摂動させる、あるいはテキストと画像を共同で摂動させる手法とは異なり、VSEはテキストクエリ $q$ を固定し、入力画像 $v$ のみを摂動させます。

• メカニズム: 視覚的摂動演算子 $\mathcal{T}$ が、$M$ 個の摂動されたビュー $v_m = \mathcal{T}(v; \xi_m)$ を生成します。著者らは、高レベルのセマンティック内容を変更したり、元の入力のローカルな近傍からサンプルを外に出したりすることなく、局所的な視覚的バリエーションを誘発するために、固定された小さな標準偏差（$\sigma=20$）を持つガウスノイズを使用しています。
• 根拠: これにより、視覚的な不確実性を分離します。テキストの変化を避けることで、パラフレーザによる「プロンプト感度」の問題（パラフレーズが多様性を支配してしまう問題）を防ぎます。

B. 回答サンプリング

VLMは、$M$ 個の摂動された画像ビューに対応する $M$ 個の回答サンプル $\{a_m\}$ を生成します。このプロセスは、視覚的埋め込みが過度に自信を持っている場合に、確率的デコーディングだけでは見逃される可能性のある、視覚的証拠の代替的な解釈を引き出します。

C. プロトタイプ意味集約 (ProtoSem)

言語的なバリエーションが不確実性を膨張させるのを防ぐため、VSEは回答を生のトークンとして扱うのではなく、意味レベルで集約します。

1. クラスタリング: 回答のバリエーションは、事前学習済みの意味類似モデル（DeBERTaなどの）を用いた意味的距離に基づいて、$K$ 個のグループ $\{c_k\}$ にクラスタリングされます。
2. プロトタイプ選択: 各クラスター $c_k$ について、同じクラスター内の他のメンバーへの平均距離を最小化するプロトタイプ回答 $p_k$ が選択されます。
3. 不確実性の計算: 不確実性は、これらプロトタイプ間の質量重み付きペアワイズ分散として計算されます。
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   ここで、$w_k = |c_k|/M$ はクラスター $k$ の経験的確率（質量）です。この指標は、異なる意味間の不一致を捉える一方で、クラスター内の言い回しのバリエーションを無視します。

3. 主な貢献

1. 失敗モードの分析: 本論文は、現在のVLM不確実性推定器における3つの具体的な限界を特定する体系的な分析を提供しています：(1) 出力の多様性を抑制する過信された視覚的埋め込み、(2) 距離ベースの指標を膨張させる言い回しのバリエーション、(3) 共同摂動スキームにおいて出力の変動を支配するテキストの摂動。
2. Visual Semantic Entropy (VSE): 著者らは、視覚的な曖昧さを探るために画像のみを摂動させ、視覚的な不確実性を定量化するためにプロトタイプベースの意味集約を使用する新しいUE手法であるVSEを導入しました。この設計は、プロンプト感度と言語的ノイズという混同要因を明示的に回避しています。
3. 包括的なベンチマーク: 本研究は、5つの最新のVLM（Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL）と5つの多様なベンチマーク（OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased）にわたってVSEを評価し、VQA不確実性推定における新たな最先端（SOTA）を確立しました。

4. 実験結果

評価には、不確実性スコアが正解と不正解の予測をどの程度うまく区別できるかを測定するために、ROC曲線の下端面積（AUC）を使用します。

• 全般的な性能: VSEは、テストされたすべてのモデルとデータセットにおいて、既存の手法（Verbalized, Logit-based, Consistency-based, Entropy-based）を一貫して上回っています。例えば、AOKVQAデータセットにおいて、VSEは異なるモデル間で0.724から0.798の範囲のAUCスコアを達成し、次に優れたエントロピーベースの手法（VL-Uncertainty）を、いくつかのケースで最大9.2%上回りました。
• 視覚的曖昧さへの焦点: 視覚的バイアスを露呈させるために設計された敵対的データセット（VILPおよびVLM-are-biased）において、VSEは最も顕著な改善を示しました。例えば、Qwen2.5-VLを用いたVILPにおいて、VSEはAUC 0.650を達成し、ベースラインであるSE (0.535) や VL-Uncertainty (0.489) を大幅に上回りました。これは、視覚的な曖昧さから生じる不確実性を捉えるVSEの能力を裏付けています。
• アブレーション研究:
  • 既存のエントロピー手法（SEおよびSNNE）に視覚的摂動を加えることで、一貫して性能が向上し、視覚的入力空間を探索する必要性が検証されました。
  • 生の回答サンプリングをプロトタイプ意味集約（ProtoSem）に置き換えることで、結果がさらに向上し、意味的に等価な回答をクラスタリングすることで言語的バリエーションによるノイズが減少することが確認されました。

5. 意義と主張

本論文は、曖昧さの源泉である視覚的入力に直接対処することで、VQAにおける不確実性推定の新たな最先端を確立すると主張しています。著者らは、信頼できる不確実性推定には以下が必要であると述べています：

• デコーディングの確率性にのみ頼るのではなく、視覚的入力空間を探索すること。
• プロンプト感度を導入するテキストの摂動を避けること。
• 言語的ノイズを軽減するために、予測を意味的プロトタイプレベルで集約すること。

著者らは、VSEを、特に視覚的証拠が曖昧なシナリオにおいて、より信頼できるVLM展開への一歩として位置づけています。彼らは、摂動を用いたサンプリングに伴う追加の計算コストや、クラスタリングに使用される意味的距離関数の感性といった限界も認めていますが、彼らのアプローチが現在の代替手法よりも視覚的不確実性をより忠実に反映していることを強調しています。