技術的概要：VCap - 弱から強への視覚的キャプション生成のための超幾何分布に基づく報酬

1. 問題定義

視覚的キャプション生成は、視覚知覚を自然言語に変換し、重要な事実（物体、属性、関係、出来事）を忠実に捉えつつ、欠落や幻覚を最小化することを目的としています。キャプションの品質は、正しさ（述べられたすべての事実に視覚信号が裏付けられていること）と完全性（すべての重要な視覚情報が十分に網羅されていること）という 2 つの相補的な次元によって規定されます。

キャプション品質の向上に向けた既存のアプローチは、以下の重大な限界に直面しています：

• スケーリングとデータキュレーション： モデルを単純にスケーリングしたり、高品質な参照データをキュレーションしたりするだけでは、既存の欠落や幻覚がモデル内に伝播し、性能の天井を生み出します。
• 強化学習（RL）の限界： 現在のキャプション生成における RL 報酬設計（VQA ベース、VLM を審判とする、または CIDEr/DPO のような模倣スタイルの報酬など）は、事実検証のための微細で信頼性の高い信号を提供できません。これらは通常、参照信号を単一の役割（例えば、模倣すべきターゲットや限定的な質問プール）に制約しており、事実レベルで正しさと完全性を同時に監督することを困難にしています。核心的な障壁は、完全な視覚事実の集合が実際には利用できないという点にあります。それを列挙する参照も、それを完全に回復する報酬代理も存在しません。

2. 手法：証人 - 審判者フレームワーク

著者は、テキスト参照と視覚信号の役割を分離し、これらを「証人 - 審判者」フレームワークにおける異なる構成要素として扱う、新しい報酬メカニズムVCapを提案します。

2.1 中核概念

• 証人（参照キャプション）： 参照キャプションは、模倣すべきゴールドスタンダードのターゲットとして扱われません。代わりに、視覚事実のサブセットを露呈させる確率的な証人と見なされます。これは、方策が言及された事実を網羅することを要求する「リコールのアンカー」として、および潜在的な幻覚を警告する「エラー検出器」として機能します。
• 審判者（視覚信号）： 画像または動画は審判者として機能します。これは、証人によって活性化された特定の「スロット」において、一致と不一致を検証します。重要なのは、視覚信号がすべての事実を列挙する神託として機能するのではなく、証人と方策の交差点においてのみ事実を解決または確認する点です。

2.2 報酬計算

固定化された報酬モデル（MLLM）が、視覚入力 $x$、参照 $y_{ref}$、方策生成キャプション $y$ の 3 項組 $(x, y_{ref}, y)$ を処理します。モデルは単一パス評価を行い、以下の処理を行います：

1. 候補となる欠落の特定： $y_{ref}$ には存在するが $y$ に欠けている事実を特定します。
2. 候補となる幻覚の特定： $y_{ref}$ と矛盾する $y$ 内の事実を特定します。
3. $x$ に対する検証：
   • 欠落は、$x$ が欠けている事実の存在を確認した場合にのみ罰則を受けます。
   • 幻覚は、$x$ が方策の主張が偽であることを確認した場合にのみ罰則を受けます（$x$ が $y_{ref}$ と矛盾する場合、視覚信号が参照を上書きし、参照の誤りが方策に罰則を与えるのを防ぎます）。

モデルは 3 つの整数スコア（0-10）を出力します：

• $s_{corr}$：正しさ（$x$ との矛盾を罰則化）。
• $s_{comp}$：完全性（$y_{ref}$ の事実の確認された欠落を罰則化）。
• $s_{txt}$：テキスト品質（流暢性、一貫性、メタテキストの不在）。

これらは固定された重みを用いてスカラー報酬に集約されます。動画の場合、ランダムな時間セグメントに対してローカルビュー報酬を計算し、微細な時間的事実とセグメント間イベントの両方を捉えるためにグローバルビュー報酬と組み合わせます。

2.3 理論的基盤：超幾何分布分析

本論文は、視覚的キャプション生成を、サイズ $N$ の潜在的事実集合 $F$ 上での事実レベルの抽出問題として形式化します。

• $R$ を参照事実の部分集合（$|R|=m$）とします。
• 方策の事実集合を $\Phi(y) = C \cup E$ とします。ここで、$C$ は正しい事実（$|C|=c$）、$E$ は幻覚された事実です。

$R$ が $F$ の一様ランダムな部分集合であるという仮定の下で、完全性と正しさのテストを通過する確率は超幾何分布に従います：

• 完全性の確率（$P_{comp}$）： すべての $m$ 個の参照事実が $c$ 個の正しい事実の中に含まれる確率。これは $c \to N$ となるにつれて厳密に増加します。
• 正しさの確率（$P_{corr}$）： $n-c$ 個の幻覚された事実が $m$ 個の参照スロットを回避する確率。これは幻覚が増加するにつれて厳密に減少します。

重要な洞察（2 軸の弱から強へ）： 最適な方策の状態は、$c \to N$（最大限の正しい事実）かつ $n-c \to 0$（ゼロの幻覚）です。重要なのは、この最適値の位置が参照サイズ $m$ に依存しないことです。参照サイズ $m$ は、監督勾配の急峻さのみを制御します。これにより、モデルは「弱く」または不完全な参照から学習しても、真の視覚情報の天井に収束することが可能となり、方策がより強力な参照を再生成して勾配を鋭くする自己改善ループが可能になります。

3. 主要な貢献

1. 事実レベルのフレームワーク： 著者は、キャプション生成を正しさと完全性という 2 つの独立した軸に沿って形式化し、既存の報酬がなぜ両方を同時に監督することに苦労するのかを実証しました。
2. 証人 - 審判者報酬（VCap）： 参照を確率的な証人として、視覚信号を審判者として扱う新しい報酬設計です。この分離により、弱から強への汎化を可能にする超幾何分布に基づく報酬信号が得られ、モデルがトレーニング参照の品質を超えて学習することが可能になります。
3. 実証的検証： VCap でトレーニングされた 80 億パラメータのモデルは、複数の画像および動画キャプション生成ベンチマークで最先端の性能を達成し、Qwen3.5-397B、GPT-5.4、Gemini 3.1 Pro などの、はるかに大規模なオープンソースおよびクローズドソースモデルを凌駕しました。

4. 実験結果

著者は、VCap を画像および動画キャプション生成ベンチマーク、ならびに下流の QA タスクで評価しました。

• 画像キャプション生成： CapMAS および DecapBench において、VCap (e2) モデル（80 億パラメータ）はすべての指標で最高スコアを記録しました（CapMAS で平均 83.53、DecapBench で平均 73.67 など）。これは GPT-5.4 や 3970 億パラメータの Qwen3.5 モデルを上回ります。
• 動画キャプション生成： VCap は VDC ベンチマークで最良の性能（平均 36.01）を達成し、VCapsBench でも競合する結果を残しました。バックボーンおよび大規模モデルを上回る性能を示しました。
• 人間による評価： 保持された 500 枚の画像セットにおいて、VCap は画像ごとの事実の正しさで 1 位となりました。VCap 報酬信号は人間のペアワイズ選好と 61.1% の一致率を示し、50% のランダムベースラインを大幅に上回りました。
• 自己改善： 方策自身によって参照が再生成された VCap (e1) から VCap (e2) への移行は、すべてのベンチマークで単調な改善をもたらし、理論的な自己改善ループを検証しました。
• 汎化： キャプション生成のみ（QA データなし）でトレーニングされたモデルは、画像および動画 QA ベンチマーク（Prism、MMVU など）で大幅な改善を示しました。これは、VCap が表面的なキャプション形式だけでなく、基礎的な視覚知覚を向上させていることを示唆しています。
• アブレーション研究：
  • Best-of-N 蒸留： VCap 駆動の RL は、Best-of-N サンプルからの自己蒸留を上回りました。これは、改善が単なるサンプル選択ではなく、報酬信号に由来することを証明しました。
  • モダリティ/次元のアブレーション： 参照（証人）または画像（審判者）のいずれかを除去すると、性能が大幅に低下しました。これは、二重役割設計の必要性を確認しました。正しさまたは完全性の次元を特に除去すると、それぞれの指標が低下しました。

5. 意義と主張

本論文は、VCap が報酬の最適値を参照の品質から分離することで、RL ベースのキャプション生成のパラダイムを根本的に変えることを主張しています。

• 模倣の天井の打破： 方策が参照の品質によって制限される模倣スタイルの報酬とは異なり、VCap は参照をターゲットではなくプローブとして扱うことで、モデルがトレーニング参照を超えて学習することを可能にします。
• 事実の整合性： この手法は、MLLM における「幻覚」問題に対処し、人間の判断と密接に一致する微細な事実検証のメカニズムを提供します。
• 知覚の強化： 結果は、VCap を通じた事実レベルの正しさと完全性の最適化が、モデルの一般的な視覚知覚能力を強化し、特定の微調整なしに QA などの下流タスクに利益をもたらすことを示唆しています。

著者が認める限界：

• 計算制約により、画像および動画の方策は別々にトレーニングされました。
• 人間による評価は、内部アノテーターによる 500 枚の画像セットに限定されました。
• 本研究は GRPO に焦点を当てており、他のオンポリシー RL アルゴリズムは実証的に検証されていません。
• ベンチマーク用の専用キャプション生成専門モデルは希少であり、一般化された MLLM に依存せざるを得ませんでした。