VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation

以下は、論文「VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation」の詳細な技術的サマリーです。

1. 問題提起

ビジョン・ランゲージモデル（VLM）は、チャート推論、画像キャプション生成、視覚的 QA など多様なタスクにわたるマルチモーダル AI システムを評価する自動化されたジャッジ（"VLM-as-a-Judge"）として、ますます展開されています。しかし、重大な限界が存在します：VLM ジャッジは、信頼性の指標を伴わずに、単一の点数（例：4/5）のみを提供します。

• 信頼性のギャップ: 4/5 というスコアは、高い確信度を示す場合も、大きな不確実性を示す場合もあります。ユーザーは両者を区別できません。
• マルチモーダルな複雑性: VLM の誤りは、視覚的知覚と言語的推論の両方に起因し、不確実性を増幅させます。
• 指標の失敗: 相関や精度などの標準的な指標は、インスタンスごとの信頼性を捉えられません。例えば、ジャッジが回答の正しい順序付け（高いランキング相関）を達成していても、絶対スコアは著しく不正確に割り当てられる可能性があります。
• 現状: 最先端の VLM ジャッジは、5 段階スケールにおいて人間の評価との完全一致率が約 32〜34% にとどまり、大きな乖離が見られます。

2. 手法

著者は、点スコアを較正された予測区間に変換するために、分布フリーのフレームワークである**コンフォルマル予測（Conformal Prediction: CP）**の使用を提案します。

• 中核メカニズム:
  • 入力: モデルの再学習ではなく、VLM の出力から**スコア・トークンの対数確率（log-probabilities）**を抽出します。1〜5 のリッカートスケールの場合、これは 5 次元の特徴ベクトル $x = [\log P(1), \dots, \log P(5)]$ を形成します。
  • フレームワーク: 人間が注釈したスコアの較正セットを用いて、非適合スコア（nonconformity score）を計算し、予測区間 $C(x) = [\hat{y} - \hat{q}, \hat{y} + \hat{q}]$ を決定します。
  • 保証: 誤差分布に関する仮定なしに、この区間は少なくとも $1-\alpha$（例：90%）の確率で真の人間のスコアを含むことが保証されます。
• 主要な適応:
  • 境界調整: 真値は離散的（整数）ですが、CP は連続的な区間を生成するため、著者は区間を有効な評価ラベル（$\lceil l \rceil, \lfloor u \rfloor$）にマッピングする境界調整を適用し、カバレッジを大幅に改善しました。
  • タスク条件付き CP（モンドリアン CP）: タスクの不均質性に対処するため、データを初期区間の幅に基づいて（易、中、難）グループに分割します。各グループごとに個別の分位数を計算し、易しいタスクでは狭い区間を、難しいタスクではより広く安全な区間を生成します。
  • ランキング・スコアリングの乖離（RSG）: 相関 $\rho$ と区間の幅 $w$ を用いて定義された新しい指標 $RSG = |\rho| - (1 - \frac{w}{K-1})$ です。これは、ランキング能力とスコアリングの信頼性との間の分離を定量化します。

3. 実験設定

• ジャッジ: 異なるアーキテクチャと規模を持つ 3 つの VLM:
  1. LLaVA-Critic-7B: オープンソースで、評価に特化。
  2. Phi-4-reasoning-vision-15B: 大規模推論モデル。
  3. Gemini 2.5 Flash: 閉鎖的 API。高いランキング能力と過剰な確信度で知られる。
• データセット:
  1. MLLM-as-a-Judge: 単一注釈者の真値を持つ、14 の視覚タスクカテゴリ（ChartQA、MathVista、AesBench など）にわたる 5,717 インスタンス。
  2. Polaris: 複数注釈者の平均化された真値を持つ 8,726 件の画像・キャプションペア（よりクリーンで明確に定義されたタスク）。
• プロトコル: 50/50 の較正/テスト分割、10 のランダムシード、90% のカバレッジ（$\alpha=0.10$）を目標。

4. 主要な結果と知見

A. タスク依存の不確実性

不確実性は均一ではなく、タスクの種類に強く依存します。

• 狭い区間（高い信頼性）: 美学や自然画像のタスク（例：AesBench）は、スコア範囲の約 40% をカバーする区間（幅 $\approx$ 2.08）をもたらします。
• 広い区間（低い信頼性）: 複雑な推論を必要とする視覚中心のタスク（例：InfographicsVQA、MathVista）は、範囲の約 70% をカバーする区間（幅 $\approx$ 3.50）をもたらします。
• 一貫性: タスクの難易度の順序は、3 つのジャッジすべてで一貫しており（スピアマン $\rho \approx 0.82–0.93$）、不確実性を駆動するのはモデルの正体ではなく、タスクの難易度であることを示しています。

B. ランキング・スコアリングの分離

標準的な指標が誤解を招く重要な失敗モードが特定されました:

• 現象: ジャッジは高いランキング相関（回答の正しい順序付け）を達成しながらも、広大で情報量の少ない区間（信頼できる絶対スコアの割り当てに失敗）を生成する可能性があります。
• 例: ChartQAにおいて、あるジャッジは最も高いピアソン相関（$\rho=0.507$）を達成しましたが、最も広い区間の一つ（3.08）を生成しました。
• 含意: 高い相関は、絶対スコアが信頼できることを意味しません。RSG が高いタスクでは、絶対スコアリングよりもペアワイズ比較が推奨されます。

C. データ品質の影響

• クリーンなデータ vs ノイズのあるデータ: 同じジャッジ（LLaVA-Critic）と手法をPolarisデータセット（クリーン、複数注釈者のキャプション）に適用したところ、区間の幅は（MLLM-Judge での）3.05から0.68に低下しました。
• 結果: これは区間の幅が4.5 倍減少したことを示しており、不確実性は主にコンフォルマル法そのものではなく、注釈ノイズとタスクの曖昧さに起因することを示しています。

D. モデル性能のパラドックス

• 過剰な確信度 vs 区間の幅: Gemini 2.5 Flashは非常に過剰な確信度を示していました（予測の 83% で softmax 最大値が 0.99 超）が、最も狭い区間を生成しました。これは、区間の品質が softmax 分布の較正ではなく、対数確率内の識別信号に依存することを証明しています。
• 特化 > スケール: 特化された Polaris タスクにおいて、評価用にトレーニングされた 7B のLLaVA-Criticは、汎用的な推論を行う 15B のPhi-4を大きく凌駕し、相関が 7.1 倍高く、区間の幅が 5.3 倍狭くなりました。

E. 手法比較

• **R2CCP（回帰としての分類）**が最高性能を発揮し、最も狭い情報的区間でほぼ完璧な 90% のカバレッジを達成しました。
• **CQR（コンフォルマル化分位数回帰）**は失敗し、この離散的な設定ではスコア・トークンの対数確率が分位数の弱い予測変数であるため、全範囲の区間（$\approx$ 4.0）に収束しました。
• 特徴融合: 複数のジャッジからの対数確率特徴を組み合わせると、性能が低下しました。これは、特徴の量よりも特徴の質（単一の強力なジャッジ）が重要であることを示唆しています。

5. 意義と貢献

1. 定量的信頼性マップ: 14 の視覚タスクにわたる評価の信頼性の最初の体系的なマッピングを提供し、「VLM-as-a-Judge」は一部のタスク（美学）では信頼できるが、他のタスク（複雑な推論）では非常に不確実であることを示しています。
2. 新しい失敗モード: 標準的な指標（相関）が、ジャッジの絶対スコアの信頼性の欠如を隠蔽する現象であるランキング・スコアリングの分離を暴露しました。
3. 実用的フレームワーク: 既存の VLM パイプラインに再学習なしでコンフォルマル予測を適用し、対数確率のみを使用して実行可能な不確実性推定を生成できることを実証しました。
4. 運用ガイドライン: 著者は経験則を提案します：狭い区間は評価が絶対スコアリングに適していることを示し、広い区間は曖昧さを示唆するため、相対的ランキングまたはペアワイズ比較が適切な評価戦略であることを示しています。
5. データ品質の洞察: モデルパラメータを単純にスケーリングするよりも、注釈品質の向上（複数注釈者の合意）が信頼性の向上をもたらすことを強調しています。

結論

この論文は、VLM ジャッジが普遍的に信頼できるわけではないと結論付けています。その不確実性は構造的にタスクとデータ品質に依存します。コンフォルマル予測を使用することで、実践者は点スコアへの盲目的な信頼から、いつジャッジのスコアを信頼でき、いつそれをノイズの多いランキング信号として扱うべきかという、ニュアンスのある理解へと移行できます。