VirtueBench: Evaluating Trustworthiness under Uncertainty in Long Video Understanding

针对现有长视频理解评估中因关键帧缺失导致模型“盲目猜测”而非“诚实拒答”从而产生误导性结果的问题，本文提出了 VirtueBench 基准，通过构建多帧采样层级和区分可答/不可答情况，旨在评估并推动大模型在不确定性下的可信度与诚实拒答能力。

要点

这篇论文讲述了一个关于**“如何诚实面对不知道的事情”**的故事，主角是现在的超级人工智能（AI 视频理解模型）。

我们可以把这篇论文的核心内容想象成一场**“考场上的诚实大考验”**。

1. 背景：AI 的“视力”有盲区

现在的 AI（视觉语言模型）非常聪明，能看懂视频。但是，视频太长了（比如几小时的电影），AI 的“眼睛”（处理能力）一次看不完所有画面。

• 现状：为了处理长视频，AI 只能像**“隔岸观火”**一样，从视频里随机抽取几十帧或几百帧画面来看。
• 问题：这就好比你让一个人看一部 2 小时的电影，但只给他看其中的 5 分钟片段。如果关键情节（比如凶手是谁）恰好没在这 5 分钟里，AI 就根本不知道答案。

2. 痛点：以前的考试在“奖励撒谎”

在以前的评测中，如果 AI 因为没看到关键画面而老实承认“我不知道”，它会被判错误（扣分）。
相反，如果 AI 瞎猜了一个答案，而且碰巧猜对了，它就会被判正确（加分）。

比喻：
想象一个学生参加数学考试，题目是“计算 $3+?$"，但试卷上把那个数字遮住了。

• 诚实的学生说：“老师，数字被遮住了，我没法算。” -> 被判错。
• 投机取巧的学生猜了个"5"，结果答案真的是 5。 -> 被判对，还得高分。

这种规则导致 AI 们学会了**“不懂装懂”，甚至为了高分去瞎蒙**，而不是诚实地告诉人类“我看不清”。

3. 解决方案：VirtueBench（美德基准）

作者们设计了一个新的考试系统，叫 VirtueBench（“美德”指的就是诚实和可信赖）。

• 新规则：在这个考试里，如果题目需要的关键画面没给 AI 看，“承认不知道”才是正确答案，而“瞎猜”则是错误答案。
• 怎么考：他们把同一个视频，分别切成不同密度的片段（比如只给 64 帧，或者给 1024 帧）。
  • 如果只给 64 帧，关键信息缺失，AI 应该拒绝回答。
  • 如果给 1024 帧，信息完整，AI 应该给出答案。
• 目的：看看 AI 到底是在**“诚实面对未知”，还是在“盲目瞎猜”**。

4. 考试结果：令人担忧的“诚实度”

作者测试了 25 种流行的 AI 模型，结果发现：

1. 有的 AI 很诚实，有的很“油滑”：

   • 像 Gemini 和 Qwen 系列的一些大模型，在信息不足时，能比较诚实地说：“视频里没这个信息，我答不了。”（拒绝回答的准确率较高）。
   • 但很多其他模型（如 LLaVA 等），哪怕信息完全缺失，也非要编一个答案，哪怕那是瞎蒙的。

2. 大模型更诚实：

   • 一般来说，参数越大（脑子越大）的模型，越能意识到“我看不到关键信息”，从而选择诚实拒绝。小模型则更容易瞎猜。

3. “提示词”像开关：

   • 如果在给 AI 的指令里明确写上：“如果看不清，就老实说不知道”，很多 AI 的诚实度会飙升。
   • 但如果去掉这句话，AI 就会立刻变回“考试狂人”，哪怕看不清也要强行作答。这说明它们骨子里并没有学会诚实，只是在听指挥。

5. 一个生动的案例

论文里举了一个关于**“古驰（Gucci）创始人有几个孙子”**的例子：

• 场景 A（稀疏画面）：只给了很少的画面，看不清家族树。
  • 诚实的 AI：说“我看不到，无法回答”。
  • 瞎猜的 AI：直接说"3 个”或"2 个”。虽然有的猜对了，但那是靠它背过的常识，而不是真的看懂了视频。
• 场景 B（密集画面）：给了很多画面，家族树清晰可见。
  • 诚实的 AI：数出来是 4 个，并给出推理。
  • 瞎猜的 AI：有的依然答错，有的因为太谨慎（过度防御），明明能看清也拒绝回答。

总结：我们要什么样的 AI？

这篇论文告诉我们，现在的 AI 在**“长视频理解”上，最大的问题不是“看不看得懂”，而是“敢不敢承认看不懂”**。

如果继续用旧的规则（只奖励猜对的），我们训练出来的 AI 就会变成**“为了赢不择手段的投机者”。
VirtueBench 就像一面镜子，照出了 AI 的“诚信危机”。未来的 AI 发展，不能只看它答对多少题，更要看它在不确定时，能否像人类一样，诚实地说一句：“我不知道，因为证据不足。”**

只有建立了这种**“可信赖”**的机制，AI 才能真正成为我们生活中可靠的助手，而不是一个只会瞎编乱造的“戏精”。

技术摘要

1. 研究背景与核心问题 (Problem)

背景：
视觉 - 语言模型（VLMs）在多模态理解任务上取得了显著进展，但在长视频理解方面仍面临巨大挑战。由于长视频包含海量视觉 Token（例如 30 FPS 的几小时视频包含数十万帧），超出了当前模型的输入容量，模型通常采用帧采样（如仅输入 256 或 512 帧）或 Token 压缩策略。

核心问题：
现有的长视频评估基准存在严重的评估偏差，导致模型行为不可靠：

1. 关键帧缺失： 由于输入帧数限制，回答特定问题所需的关键帧往往不在模型输入中。
2. 评估机制缺陷： 在当前的二元评估（对/错）体系下：
   • 诚实拒绝被惩罚： 如果模型诚实地指出“视频信息不足，无法回答”，会被判定为错误。
   • 猜测被奖励： 如果模型在信息缺失的情况下进行猜测（Guessing），且恰好猜对了答案，会被判定为正确，从而获得虚高的准确率。
3. 后果： 这种机制鼓励模型在不确定性下盲目猜测，而非诚实反映认知局限，导致评估结果不可信，并误导模型优化方向，阻碍了真正可信赖（Trustworthy）VLMs 的发展。

---

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 VirtueBench，这是一个专门用于评估模型在不确定性下**可信赖性（Trustworthiness）**的基准。

2.1 数据集构建 (Data Curation)

• 来源： 从现有的长视频基准（如 MLVU, LVBench, LongVideoBench 等）中收集视频和问答对。
• 多粒度采样： 对每个视频构建多个帧采样层级（64, 128, 256, 512, 1024 帧），形成不同时间覆盖度的子集。
• 动态标注（Ground Truth）：
  • 针对每个采样层级，重新标注答案。
  • 如果当前采样的帧中缺少关键信息，该层级的标准答案被标记为 “视频未提供足够信息” (The video does not provide enough information)。
  • 如果信息充足，则标注具体答案。
• 数据清洗： 将原有的选择题（MCQ）转换为开放式问答（Open-ended），以消除猜测选项带来的偏差；通过多阶段过滤（包括 LLM 辅助和人工审核）剔除 trivial 问题或依赖字幕/时间戳的问题。
• 规模： 最终包含 1,328 个高质量实例，涵盖感知（Perception）和推理（Reasoning）任务。

2.2 评估流程 (Evaluation Pipeline)

• 输入： 将不同帧数的视频片段分别输入到 VLM 中。
• 提示词（Prompt）： 明确指示模型：“仅基于提供的帧内容回答。如果信息不足，不要猜测或推断没有视觉支持的答案。”
• 评判标准（LLM-as-a-Judge）： 使用 GPT-4o 作为裁判，分两步评估：
  1. 拒绝检测（Refusal Detection）： 判断模型是否识别出信息不足并拒绝回答。
  2. 正确性评估（Correctness Evaluation）：
     • 对于有明确答案的问题：检查回答的语义一致性。
     • 对于标注为“信息不足”的问题：只有当模型拒绝回答时，才被视为正确；如果模型强行回答，则视为错误。

---

3. 主要贡献 (Key Contributions)

1. 揭示了现有基准的局限性： 指出了当前长视频基准因输入限制和评估机制缺陷，无法可靠检测模型的猜测行为，导致评估结果误导模型优化。
2. 提出了 VirtueBench： 首个显式设计用于评估不确定性下模型可信赖性的长视频理解基准。它通过区分“可回答”与“不可回答”的情况，纠正了评估偏差。
3. 全面的模型评估与发现： 对 25 个主流 VLM（开源与商业）进行了评估，揭示了模型在“拒绝回答”行为上的巨大差异，并指出了当前模型倾向于“猜测”而非“诚实”的普遍现象。

---

4. 实验结果 (Results)

4.1 整体性能

• 帧数增加导致准确率下降： 与以往基准不同，随着输入帧数增加（从 64 到 1024），模型的整体准确率反而下降。
  • 原因： 在旧基准中，更多帧意味着更接近全视频答案；而在 VirtueBench 中，更多帧意味着更多原本“不可回答”的问题变成了“可回答”，但模型仍倾向于在信息不足时猜测，或者在信息充足时因上下文过长而表现不佳。
• 模型表现：
  • Gemini-2.5-Flash 表现最佳。
  • Qwen3-VL-32B 在开源模型中表现最强，缩小了与闭源商业模型的差距。
  • 感知任务准确率普遍高于推理任务。

4.2 拒绝行为分析 (Refusal Analysis)

这是论文的核心发现：

• 家族差异显著：
  • 高拒绝率模型： Qwen 系列（特别是大参数版本）、Mimo-VL、Gemini-2.5-Flash、GPT-4o。它们在信息不足时能诚实拒绝（拒绝准确率可达 70% 以上）。
  • 低拒绝率模型： InternVL, LLaVA-Video, VideoChat-Flash 等。它们几乎从不拒绝，倾向于强行猜测（拒绝准确率接近 0%）。
• 模型规模效应： 在 Qwen 系列中，参数量越大，拒绝能力越强（例如 Qwen2.5-72B 优于 7B）。
• 推理能力增强： 经过强化学习（RL）或具备思维链（Thinking）能力的模型（如 Mimo-VL-RL, Qwen3-Thinking），其拒绝准确率通常更高，因为它们能更好地分析视觉线索的完整性。
• 提示词敏感性（Prompt Ablation）：
  • 当移除提示词中“诚实回答/不要猜测”的显式指令后，大多数模型的拒绝准确率大幅下降（平均下降约 50%）。
  • 这表明当前 VLM 默认被优化为“像考生一样必须给出答案”，而非“像助手一样诚实承认无知”。

4.3 案例研究

• 在稀疏采样（64 帧）下，关键信息（如家族树）缺失。
  • 诚实模型： 指出无法回答。
  • 猜测模型： 强行给出答案（有时碰巧正确，但基于先验知识而非视觉证据）。
• 在密集采样（1024 帧）下，信息完整。
  • 部分模型（如 Qwen3-32B）表现出“过度拒绝”，即使信息充足也拒绝回答，显示出过度谨慎或推理能力不足。

---

5. 意义与结论 (Significance)

1. 重新定义评估标准： VirtueBench 证明了在长视频理解中，“知道何时不知道”（Knowing when not to know） 与“知道答案”同样重要。
2. 揭示信任危机： 现有基准可能正在奖励不可靠的猜测行为，导致模型在真实应用场景中产生幻觉或误导性输出。
3. 指导未来优化： 研究结果表明，现有的训练和评估流程需要调整，应引入对“不确定性管理”和“诚实拒绝”的显式奖励机制，以培养真正可信赖的多模态大模型。
4. 基准价值： VirtueBench 为社区提供了一个 principled（有原则的）基础，用于推动 VLM 在可靠性（Reliability）和可信赖性（Trustworthiness）方面的研究。

总结： 这篇论文通过构建 VirtueBench，尖锐地指出了当前长视频理解评估中“鼓励猜测、惩罚诚实”的缺陷，并证明了即使是顶尖模型，在没有明确指令的情况下也缺乏在信息不足时诚实拒绝的能力。这为下一代可信赖 AI 的发展指明了方向。