🤖 AI

Confidence-Aware Tool Orchestration for Robust Video Understanding

该论文介绍了 Robust-TO，这是一个智能体视频理解框架，它通过将逐帧可靠性评分集成到统一的工具编排系统中，缓解了“盲目信任问题”，从而在面对视觉损坏时，相比于现有最先进的模型，显著提高了准确性和鲁棒性。

原作者： Yangfan He, Yujin Choi, Jaehong Yoon

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yangfan He, Yujin Choi, Jaehong Yoon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正试图根据监控录像破解犯罪案的侦探。但问题在于，这段视频非常糟糕。由于摄像机抖动，有些部分变得模糊不清；由于阳光强烈，有些部分被过度曝光；还有些部分因为一辆卡车经过镜头前而被遮挡。

问题：“盲目信任”
大多数当前的 AI 视频侦探都患有作者所说的**“盲目信任问题”**。它们观察视频中的每一帧，并假设：“这张图片是完美的，我可以完全信任它。”它们意识不到一个模糊的帧其实是一个糟糕的线索。因为它们对坏线索的信任程度与好线索一样高，所以它们经常得出错误的答案，却依然对自己的错误保持 100% 的信心。这就像一名侦探试图透过脏污的挡风玻璃去辨认车牌，却坚持说：“我看得很清楚！”

解决方案：Robust-TO
该论文介绍了一种全新的 AI 观看视频的方式：Robust-TO。它不像那样盲目信任每一帧，而是像一个知道如何处理混乱视频的聪明且持怀疑态度的编辑。它通过三个步骤进行工作：

1. “质量检查员”（帧选择）

在尝试破解谜团之前，Robust-TO 会扫描整个视频并为每一帧进行评分。

类比： 想象一位电影编辑正在查看胶片。他们会将那些模糊、太暗或被物体遮挡的帧标记为“垃圾”。他们只保留“黄金”帧——即那些清晰且确实展示了问题所问内容的帧。
结果： 如果问题是“哪辆车闯了红灯？”，AI 会忽略掉卡车遮挡视线或雨刷器导致画面模糊的帧。它只使用那些清晰的瞬间。

2. “专家团队”（置信度引导的工具路由）

一旦拥有了好的帧，AI 就不会仅仅靠猜测。它会将大问题分解为小的、具体的任务，并将它们发送给不同的“工具”（专门的 AI 程序）。

类比： 想象一支医疗团队。如果病人腿骨折了，你会把他送去骨科，而不是眼科。
运作方式： 如果视频很模糊，Robust-TO 知道“检测工具”（寻找锐利边缘的工具）可能会失效。因此，它会将任务路由给“描述工具”（更擅长在模糊状态下推测发生了什么）。
置信度评分： 每个工具都会给出一个答案以及一个置信度评分。但诀窍在于：这个评分会根据视频的脏乱程度进行调整。如果一个工具是基于模糊的帧给出答案，其置信度评分会自动降低，就像贴上了一个警告标签，上面写着：“请谨慎对待此结论。”

3. “首席侦探”（分层证据综合）

最后，主 AI 会收集所有工具的答案。它将它们分为三个等级：

高等级： 来自清晰帧的清晰证据。这是“真相”。
中等级： 还算可以的证据。只有当它们与高等级证据相匹配时才会被使用。
低等级： 来自糟糕帧的垃圾证据。除非实在无计可施，否则会被丢弃。
结果： AI 仅利用“高等级”的事实来构建最终答案。如果证据不稳固，它会承认不确定性，而不是胡乱猜测。

为什么这很重要（结果）
作者在经过故意处理（加入模糊、眩光和遮挡，例如汽车在雨中行驶）的真实世界视频上测试了这个系统。

旧方法： 当视频变得混乱时，标准 AI 模型会崩溃。它们的准确率下降了 15–30%，但它们并不知道自己失败了。
Robust-TO 方法： 即便面对混乱的视频，Robust-TO 依然保持了极高的准确率。在这些高难度测试中，它的表现实际上优于一些最昂贵、最著名的 AI 模型（如 Gemini-2.5-Pro）。
效率： 因为它忽略了糟糕的帧，它不需要处理那么多数据。它解决问题的速度更快，消耗的计算资源更少，同时得到的正确答案也更多。

简而言之
Robust-TO 教会 AI 停止做一个“盲目乐观主义者”，转而成为一名“批判性思考者”。它学会了说：“我无法信任这部分视频，所以我将忽略它并专注于清晰的部分”，从而确保当它给出答案时，该答案确实是基于可靠证据的。

技术摘要：面向置信度感知工具编排的 Robust-TO

1. 问题定义：盲目信任问题

本文指出当前视频大语言模型（Video-LLM）存在一个关键缺陷：盲目信任问题（Blind Trust Problem）。目前的模型隐含地假设每一个输入帧都是同样可靠且信息丰富的。在涉及运动模糊、眩光、低光噪声或遮挡等扰动的现实场景中，这种假设会导致性能显著下降。在这些条件下，前沿模型的表现可能会在具身智能基准测试中下降 15–30 个百分点，然而它们的自我报告置信度却几乎保持不变。这种“无声失败（silent failure）”在法医学分析、监控和自动驾驶等安全至上的领域中尤其危险，因为模型会在视觉证据退化的情况下依然以高置信度进行推理。

现有方法通常依赖于均匀采样或基于查询相似度的帧采样，而无法评估视觉信号本身的内在质量。因此，受损的帧会被视为有效的证据，从而扭曲最终的预测结果。

2. 方法论：Robust-TO 框架

为了解决这一问题，作者提出了 Robust-TO，这是一个代理式视频理解框架，它将逐帧的可信度显式地整合到每个推理阶段中。该系统通过一个由经过组相对策略优化（GRPO）训练的主视频语言模型（VLM）引导的三阶段流水线运行。

A. 通过质量剖析进行帧选择

在推理之前，系统会对视频流 $\tilde{V}$ 进行质量评估。

质量剖析（Quality Profiling）： 一个无参数工具（assess_quality）通过分析每一帧来估计扰动剖面 $d(f_i)$ ，基于三种主要的损坏类型：模糊、亮度偏差和遮挡。这些是通过信号级统计量（例如，用于模糊的逆拉普拉斯方差，用于遮挡的 Sobel 梯度幅值）计算得出的，无需训练数据。
可靠性-相关性评分（Reliability-Relevance Scoring）： 帧的分数使用复合指标 $s(f_i) = (1 - d(f_i)) \cdot \text{sim}(\phi(f_i), \psi(q))$ 进行计算，平衡了视觉可靠性与查询相关性。
选择： 为下游处理选择前 $K$ 个最可靠的帧，从而过滤掉那些可能因具有高查询相似度而被选中的受损帧。

B. 置信度引导的工具路由

主 VLM 将原始查询分解为原子子查询，并将其路由到专门的感知工具。

自适应路由（Adaptive Routing）： 路由决策会考虑所选帧中的主要损坏类型。例如，如果模糊是主要问题，系统会倾向于选择对空间退化具有鲁棒性的工具（如描述生成），而非需要清晰边界的工具（如目标检测）。
校准置信度输出： 每个工具返回一个元组 $(r_j, c_j)$ $(r_{j}, c_{j})$ ，其中 $r_j$ $r_{j}$ 是结果， $c_j$ $c_{j}$ 是校准后的置信度分数。
- $c_j = c_j^{\text{intrinsic}} \times \rho(F_j)$
- $c_j^{\text{intrinsic}}$ 是工具的自我评估（例如，检测得分）。
- $\rho(F_j)$ 是输入可靠性，计算为用于该工具调用的表现最差的帧子集的平均可靠性。这可以防止少数清晰帧掩盖了存在严重受损输入的实际情况。

C. 可靠性感知的证据合成

最终答案通过将证据分为三个层级进行合成：高（High）、中（Medium）和低（Low）。

高层级： 驱动主要结论。
中层级： 仅当与高层级结论一致时保留；否则被丢弃。
低层级： 仅在没有更强证据时作为后备使用，并进行显式的确定性报告。
这种分层方法确保了最终预测是基于可用的最可靠视觉证据。

D. 训练目标：置信度-成本 GRPO

主 VLM 使用 GRPO 进行端到端训练，其复合奖励函数 $R_{\text{total}}$ 平衡了四个信号：

正确性 ( $R_{\text{acc}}$ )： 最终答案的准确性。
置信度-成本 ( $R_{\text{cc}}$ )： 鼓励高置信度输出，同时惩罚在退化帧上进行昂贵的工具调用（ $c_j - \lambda \cdot \text{cost}(T_j)$ ）。
子查询效率 ( $R_{\text{subq}}$ )： 同时惩罚过度分解（浪费调用）和分解不足（信息缺失），其锚点是一个由冻结 VLM 估计的目标计数。
格式奖励 ( $R_{\text{fmt}}$ )： 确保遵循结构化输出格式。

3. 核心贡献

形式化了盲目信任问题： 本文明确定义并量化了模型置信度与现实世界损坏下的视觉证据可靠性之间的脱节。
Robust-TO 框架： 一个新型的代理式流水线，将逐帧质量剖析与自适应工具路由及分层证据合成相结合。
统一的置信度接口： 一种通过将工具确定性与输入帧可靠性相乘来输出校准置信度分数的机制，允许推理模型动态权衡证据。
置信度-成本优化： 一种 GRPO 训练策略，共同优化准确性、证据可靠性和推理效率，防止模型过度依赖于受损数据的昂贵工具。

4. 实验结果

该框架在 UrbanVideo-Bench 和 VSI-Bench 上进行了评估，涵盖了八项任务（如地标位置、路径规划、动作生成），涵盖了清洁和受损两种条件（通过 RoVA 生成）。

清洁数据表现： 使用 Qwen3-VL-7B 作为骨干网络的 Robust-TO 实现了 56.4% 的平均准确率，超过了最强的开源基准（Video-R1）10.6%，并优于专有模型 Gemini-2.5-Pro（46.2%）。
受损数据表现： 在五种现实的损坏类型（运动模糊、高斯噪声、眩光、遮挡、低光）下，Robust-TO 保持了 54.3% 的平均准确率。这比最强的开源基准（Video-R1）提高了 5.8%，比 Gemini-2.5-Pro 提高了 16.2%。
鲁棒性： 在所有对比方法中，Robust-TO 在从清洁到受损条件下的准确率下降幅度最小。
效率： 自适应关键帧选择器减少了 35% 的平均处理帧数（从 32 降至 20.7），并将单样本推理时间降低了超过 35%，同时提高了准确率。

5. 意义与主张

本文声称 Robust-TO 从根本上将视频推理从“盲目信任”范式转变为“置信度感知”范式。通过显式建模视觉证据的可靠性，该系统在面对现实世界视频损坏时实现了**优雅降级（graceful degradation）**而非无声失败。

作者强调，他们的方法不仅仅是扩展参数或数据，而是引入了如何获取和合成证据的结构性变化。结果表明，由逐帧可靠性估计引导的自适应视觉工具使用，不仅有利于受损视频，也有利于清洁视频，为通往更鲁棒、更可信的多模态推理系统（适用于安全至上的应用）提供了一条路径。该工作已发布代码和检查点，以支持未来的开放世界视频推理扩展。