技术摘要：VCap——面向从弱到强视觉描述的超几何奖励

1. 问题陈述

视觉描述旨在将视觉感知转化为自然语言，以忠实捕捉显著事实（物体、属性、关系、事件），同时最大限度地减少遗漏和幻觉。描述的质量由两个互补维度决定：正确性（每个陈述的事实都基于视觉信号）和完整性（所有重要的视觉内容都得到了充分覆盖）。

现有提升描述质量的方法面临显著局限：

• 扩展与数据策展：单纯扩展模型规模或策展高质量参考数据，不可避免地会将现有的遗漏和幻觉传播到模型中，从而形成性能天花板。
• 强化学习（RL）的局限性：当前用于描述任务的 RL 奖励设计（例如基于 VQA 的、以 VLM 为裁判的，或模仿式奖励如 CIDEr/DPO）无法提供细粒度、可靠的事实验证信号。它们通常将参考信号限制为单一角色（例如，作为模仿的目标或有限的问答池），使得在事实层面难以同时监督正确性和完整性。核心障碍在于，实践中完整的视觉事实集合是不可用的；没有参考能枚举它，也没有任何奖励代理能完全恢复它。

2. 方法论：见证者 - 裁决者框架

作者提出了VCap，这是一种新颖的奖励机制，它将文本参考和视觉信号的角色解耦，在“见证者 - 裁决者”框架中将其视为不同的组件。

2.1 核心概念

• 见证者（参考描述）：参考描述不被视为需要模仿的黄金标准目标。相反，它被视为一个随机见证者，揭示视觉事实的一个子集。它充当召回锚点（要求策略覆盖提及的事实）和错误检测器（标记潜在的幻觉）。
• 裁决者（视觉信号）：图像或视频充当裁决者。它在由见证者激活的特定“槽位”上验证匹配和不匹配。关键在于，视觉信号并不充当枚举所有事实的神谕；它仅在见证者与策略的交集处解决冲突或确认事实。

2.2 奖励计算

一个冻结的奖励模型（MLLM）处理三元组 $(x, y_{ref}, y)$，其中 $x$ 是视觉输入，$y_{ref}$ 是参考，$y$ 是策略生成的描述。该模型执行单次评估以：

1. 识别候选遗漏：存在于 $y_{ref}$ 但在 $y$ 中缺失的事实。
2. 识别候选幻觉：$y$ 中与 $y_{ref}$ 矛盾的事实。
3. 针对 $x$ 进行验证：
   • 仅当 $x$ 确认缺失事实存在时，才对遗漏进行惩罚。
   • 仅当 $x$ 确认策略的声称是虚假时，才对幻觉进行惩罚（如果 $x$ 与 $y_{ref}$ 矛盾，视觉信号将覆盖参考，防止参考错误惩罚策略）。

该模型输出三个整数分数（0-10）：

• $s_{corr}$：正确性（惩罚与 $x$ 的冲突）。
• $s_{comp}$：完整性（惩罚对 $y_{ref}$ 事实的已确认遗漏）。
• $s_{txt}$：文本质量（流畅性、连贯性、无元文本）。

这些分数使用固定权重聚合为标量奖励。对于视频，在随机时间片段上计算局部视图奖励，并与全局视图奖励结合，以捕捉细粒度的时间事实和跨片段事件。

2.3 理论基础：超几何分析

本文将视觉描述形式化为在大小为 $N$ 的潜在事实集 $F$ 上的事实级提取问题。

• 设 $R$ 为参考事实子集（$|R|=m$）。
• 设策略事实集为 $\Phi(y) = C \cup E$，其中 $C$ 是正确事实（$|C|=c$），$E$ 是幻觉事实。

在假设 $R$ 是 $F$ 的均匀随机子集的情况下，通过完整性和正确性测试的概率遵循超几何分布：

• 完整性概率（$P_{comp}$）：所有 $m$ 个参考事实都落在 $c$ 个正确事实内的概率。随着 $c \to N$，该概率严格增加。
• 正确性概率（$P_{corr}$）：$n-c$ 个幻觉事实避开 $m$ 个参考槽位的概率。随着幻觉增加，该概率严格下降。

关键洞察（双轴从弱到强）：最优策略状态是 $c \to N$（最大正确事实）且 $n-c \to 0$（零幻觉）。关键在于，该最优值的位置独立于参考大小 $m$。参考大小 $m$ 仅控制监督梯度的陡峭程度。这使得模型能够从“弱”或不完美的参考中学习，并仍能收敛到真实的视觉信息上限，从而形成一个自我改进循环，其中策略再生更强的参考以锐化梯度。

3. 主要贡献

1. 事实级框架：作者将描述沿两个独立轴（正确性和完整性）形式化，并展示了现有奖励为何难以同时监督两者。
2. 见证者 - 裁决者奖励（VCap）：一种新颖的奖励设计，将参考视为随机见证者，将视觉信号视为裁决者。这种分离产生了超几何奖励信号，实现了从弱到强的泛化，使模型能够超越其训练参考的质量。
3. 实证验证：使用 VCap 训练的 80 亿参数模型在多个图像和视频描述基准上实现了最先进的性能，显著优于更大规模的开源和闭源模型（例如 Qwen3.5-397B、GPT-5.4、Gemini 3.1 Pro）。

4. 实验结果

作者在图像和视频描述基准以及下游问答任务上评估了 VCap。

• 图像描述：在CapMAS和DecapBench上，VCap (e2) 模型（80 亿参数）在所有指标上取得了最高分数（例如 CapMAS 上平均 83.53，DecapBench 上平均 73.67），超越了 GPT-5.4 和 3970 亿参数的 Qwen3.5 模型。
• 视频描述：VCap 在VDC基准上取得了最佳性能（平均 36.01），在VCapsBench上取得了具有竞争力的结果，优于骨干网络和更大规模的模型。
• 人工评估：在保留的 500 张图像集上，VCap 在每张图像的事实正确性方面排名第一。VCap 奖励信号与人工成对偏好的一致性达到 61.1%，显著高于 50% 的随机基线。
• 自我改进：从 VCap (e1) 到 VCap (e2) 的过渡（其中参考由策略自身再生）导致所有基准上的单调改进，验证了理论上的自我改进循环。
• 泛化性：仅在描述任务上训练（无问答数据）的模型在图像和视频问答基准（例如 Prism、MMVU）上显示出显著增益，表明 VCap 提升了底层视觉感知能力，而不仅仅是表面描述形式。
• 消融研究：
  • Best-of-N 蒸馏：VCap 驱动的 RL 优于来自 Best-of-N 样本的自蒸馏，证明增益来自奖励信号，而不仅仅是样本选择。
  • 模态/维度消融：移除参考（见证者）或图像（裁决者）中的任一项都会导致性能显著下降，证实了双角色设计的必要性。专门移除正确性或完整性维度会分别降低其对应的指标。

5. 意义与主张

本文主张，VCap 通过将奖励最优值与参考质量解耦，从根本上改变了基于 RL 的描述范式。

• 打破模仿天花板：与将策略限制在参考质量之内的模仿式奖励不同，VCap 通过将参考视为探针而非目标，使模型能够超越其训练参考。
• 事实对齐：该方法提供了一种细粒度事实验证机制，与人类判断高度一致，解决了 MLLM 中的“幻觉”问题。
• 感知增强：结果表明，通过 VCap 优化事实级正确性和完整性可增强模型的通用视觉感知能力，无需特定微调即可惠及问答等下游任务。

作者承认的局限性：

• 由于计算限制，图像和视频策略是分开训练的。
• 人工评估仅限于由内部标注员进行的 500 张图像集。
• 该研究专注于 GRPO；其他在线策略 RL 算法尚未经过实证验证。
• 缺乏专用的描述专家作为基线，迫使依赖通用 MLLM。