Witness Evidence Portfolios: Single-Prefill Risk Detection for Closed Multimodal Answers

技術要約：Witness Evidence Portfolios (WEP)

問題提起
マルチモーダル大規模言語モデル（MLLM）の信頼できる展開には、自信のある視覚的な回答を「信頼すべきか」「レビューすべきか」、あるいは「より強力なシステムへルーティングすべきか」を判断するメカニズムが必要です。標準的な信頼度スコア（候補間のマージンに基づくもの）は、予測された回答が競合する回答からどの程度離れているかを示しますが、その決定の「根拠（ソース）」までは明らかにしません。モデルは、例えば「この画像に人参は写っていますか？」という問いに対し、高い信頼度で「いいえ」と回答したとしても、その決定を支持する内部的な視覚的読み出しが、実際の視覚的証拠（人参）ではなく、無関係な領域（図表のタイトルや背景など）に集中している場合があります。既存のハルシネーション検出やリスク評価手法の多くは、一般的な内部状態に依存したり、画像の摂動、追加のデコーディング・パス、あるいは外部検証器を必要としたりするため、元の推論パスのみを用いて「根拠のない決定」を検出するという点において空白領域が存在します。

手法：Witness Evidence Portfolios (WEP)
WEPは、クローズド回答型MLLMのために設計されたホワイトボックス型のリスク検出フレームワークです。これは、バックプロパゲーション、画像の摂動、または外部モデルを必要とせず、回答を生成するのと同じフォワードパスを利用して、単一のプリフィル・パス中に動作します。

1. 質問に拘束されたウィットネス・マップ (Question-Bound Witness Maps):
   本手法は、まず質問に紐付けられた視覚空間内の「ウィットネス（目撃者）」を特定します。質問トークン $j$ に対して、視覚トークン $v$ 上の結合分布 $B_j(v)$ を計算します。これらは、最終決定に対するトークンの重要度によって重み付けされ、質問ウィットネス・マップ $P_Q(v)$ として集約されます。これにより、質問に関連する領域と、一般的な顕著領域を区別します。また、一般的な視覚的重複を制御するために、一様視覚リファレンス $U(v)$ も定義されます。

2. 推定された符号付き決定証拠 (Estimated Signed Decision Evidence):
   WEPは、予測された候補マージンに対する内部視覚トークンの寄与を推定します。候補 $y$ について、アンエンベディング行列と競合するロジットに基づく読み出し方向 $d_y$ を定義します。レイヤー $\ell$ におけるソーストークン $s$ の寄与 $C_{\ell,y}(s)$ は、内部のバリューベクトルをこの方向に投影することで計算されます。これらの寄与は視覚空間へと転送され、符号付き証拠マップ $E_{\ell,y}(v)$ を形成します。ここで、正の値は予測を支持し、負の値は予測に矛盾することを示します。

3. ルート・ファミリー (Route Families):
   WEPは、これらの証拠マップを、解釈可能な2つのルート・ファミリーに要約します。

• プロベナンス・ルート (Provenance Routes): 符号付き証拠と、質問に拘束されたウィットネス ($P_Q$) との一致度、および一様リファレンス ($U$) との一致度を測定します。これらは、証拠が要求された特定のエンティティ（例：「人参」）に沿っているのか、それとも一般的な画像領域に沿っているのかを具体的に追跡します。残差スコアは、質問固有のウィットネスとの過剰な一致を捉えます。
• コンセントレーション・ルート (Concentration Routes): 符号付き証拠の空間的な分布を測定します。正規化されたエントロピーを計算することで、支持的な証拠が狭い範囲に集中しているか（ショートカットに依存している可能性）、あるいは矛盾する証拠が拡散しているかを判断します。

4. 入れ子状の検証とポートフォリオ融合 (Nested Validation and Portfolio Fusion):
   過学習を避け、最も信頼できる信号を選択するために、WEPは入れ子状のグループ化検証プロセスを採用しています。内側のフォールドでは、外側のフォールドのラベルにアクセスすることなく、エラー・ランキング性能に基づいて優れたルート・ファミリー（プロベナンスまたはコンセントレーション）を選択します。その後、選択されたファミリーから、疎なトップ-$k$ ポートフォリオのルートがキャリブレーション・セットに対して適合されます。最終的に、これらの選択されたルート・スコアは標準化され、ベースラインの候補マージン信頼度と融合されて、最終的なリスク・スコアが生成されます。

主な貢献

• 符号付き決定証拠の視点: 本論文は、単純な信頼度指標を超えて、内部の視覚的寄与が現在の候補マージンを支持しているか、あるいは矛盾しているかを評価するという、リスク・ランキングに関する新しい視点を導入しています。
• 相補的な分解: 符号付き視覚証拠の、相補的な2つの分解（プロベナンス：質問固有の一致度、およびコンセントレーション：空間分布）を提案し、最適なファミリーを選択するための低容量のセレクターを組み合わせています。
• 効率的なホワイトボックス検出: WEPは、画像の摂動、バックプロパゲーション、または外部検証器を必要とせず、疎な行再計算を伴う単一のインストルメンテーションされたプリフィル・パスのみを使用して、リスク検出を実現します。

結果
本手法は、3つのMLLMバックボーン（Qwen3-VL-8B, LLaVA-1.5-7B, InternVL3.5-8B）と4つの二値回答ベンチマーク（AMBER-D, Causal-HalBench, VSR, HallusionBench）にわたって評価されました。

• 性能: WEPは、全12組のモデル・データセット・ペアにおいて、平均誤差平均精度（AP）を 0.134 向上させました。すべての12組が正の改善を示し、12組のうち10組の画像クラスター・ブートストラップ区間が厳密に正でした。
• トリアージの有用性: 低いレビュー予算（1%, 5%, 10%）において、WEPは信頼度ベースラインと比較してエラー検出の精度を大幅に向上させ、エラーをレビュー・キューの最上位に効果的に集中させました。
• アブレーション研究:
  • 符号なしの証拠および一様ルート平均では、最小限の利得しか得られませんでした。
  • プロベナンスおよびコンセントレーションの各ファミリーは単独でも良好な性能を示しましたが、文脈に応じて最適なファミリーを適応的に選択する入れ子状の選択戦略には及びませんでした。
  • 追加のパス（例：Visual Contrastive Decoding）を用いたコントロールは、厳密な同一予測サブセットにおいてWEPよりも劣る性能を示し、WEPの効率性を際立たせました。
  • 証拠シャッフルによるコントロール実験により、得られた利得がスコア分布の変化ではなく、一致した内部証拠に依存していることが確認されました。

意義と主張
本論文は、WEPが、どのクローズドなマルチモーダル回答をレビューまたはルーティングすべきかを判断するための実用的かつ効果的な信号として、「質問に関連した視覚的プロベナンス（由来）」を確立したと主張しています。候補の信頼度に符号付き証拠のプロベナンスとコンセントレーションを付加することで、WEPは、既存の推論パスから直接導出される、解釈可能でオーバーヘッドの少ない、信頼性の高いMLLM展開のためのメカニズムを提供します。著者らは、この手法は選択的ルーティングのリスク制御層を置き換えるものではなく、それを補完するものであることを強調しています。結果は、内部の視覚的証拠のソースと分布を分析することが、サポートされていない、あるいはハルシネーションを起こした回答を検出するための、信頼度スコアに対する相補的な視点を提供することを示唆しています。