💻 computer science

VTO: Visual Tool Orchestration for Video Anomaly Detection

该论文提出了 VTO，这是一个过程监督的强化学习框架，它利用基础模型驱动的认知评估器和细粒度的逐步监督，使多模态智能体能够动态地编排专门的视觉工具以改进视频异常检测，并通过一个新的基准测试和工具集 VAD-Tool 进行了验证。

原作者： Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Rui Wang, Yeteng Wu, Xianling Zhang, Mengshi Qi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图在繁忙、混乱的城市中破解谜题的侦探。你带着笔记本和一支笔，但城市里到处是行驶的汽车、掉落的物体和正在打斗的人群。为了破案，你不能只是观察整个场景并进行猜测；你需要使用特定的工具。也许你需要一个放大镜来追踪特定的人，或者一个速度计来检查车辆是否超速，亦或是火灾探测器来发现烟雾。在计算机的世界里，这被称为视频异常检测（Video Anomaly Detection）。它的任务是教会机器从视频画面中识别出异常或危险的事物，比如一场斗殴的爆发或某人的摔倒。

长期以来，计算机尝试通过记忆模式来进行这项工作，就像一个为了考试而临时抱佛脚的学生。它们会观察一段视频并说：“这看起来像是一场打斗！”但如果这场打斗发生在新的地点，或者看起来略有不同，计算机就会感到困惑并失败。最近，科学家们尝试给计算机一个可以交谈和思考的“大脑”（大语言模型）。他们希望计算机能够弄清楚何时该使用哪种工具。但问题在于：这些聪明的计算机往往在看到一个微小的异常后，就会停止思考并直接给出答案。它们忽略了更宏大的全局，比如一场小规模的冲突是如何演变成一场踩踏事件的。它们需要一种学习如何持续调查、循序渐进的方法，而不是过早放弃。

这正是这篇新论文所要解决的问题。由北京邮电大学的王睿（Rui Wang）和齐孟实（Mengshi Qi）领导的研究团队构建了一个名为 VTO（视觉工具编排，Visual Tool Orchestration）的新系统。把 VTO 想象成一个针对侦探机器人的严厉而卓越的教练。它不再只是让机器人去猜测，而是观察机器人采取的每一个步骤。如果机器人选错了工具，或者在还没确定之前就停止了调查，教练会立即给它一个“差评”。如果机器人遵循了一套完美的逻辑链，一个接一个地检查线索，教练则会给它一个“好评”。

团队创建了一个特殊的训练场，名为 VAD-Tool，它就像一个拥有 12 种不同“魔法工具”的大型游乐场，供机器人学习。这些工具可以执行诸如统计人群、识别面部、发现武器或检测火灾等任务。研究人员使用一种称为“过程监督强化学习”的方法来训练他们的机器人。简单来说，这意味着他们不仅根据最终答案给机器人评分，还根据其过程进行评分。他们确保机器人明白，过早停止也是一种错误。他们甚至使用了一个超级智能的 AI（一个拥有 720 亿参数的模型）来充当裁判，检查机器人在每一步中的推理是否合理。

结果令人印象深刻。当他们测试这个新的 VTO 系统时，它在解决这些复杂的、多步骤的谜题方面比旧方法表现得更好。其他系统通常在发现一个线索后就会放弃，而 VTO 则会继续深入，将点与点连接起来，直到发现整个故事的全貌。在测试中，与之前的最优方法相比，新系统在选择正确工具和正确顺序方面的准确率提升了高达 10.2%。它甚至击败了一些最强大、最先进的 AI 模型，证明了教计算机如何进行“分步思考”比单纯扩大其规模更为重要。论文指出，通过迫使 AI 遵循严格的逻辑路径并奖励它不轻易放弃，我们可以构建出更安全、更智能的系统来守护我们的城市。

技术摘要：VTO – 用于视频异常检测的视觉工具编排

1. 问题定义

视频异常检测（VAD）是包括公共安全到城市监控在内的多种应用中的关键任务。然而，现实世界的异常很少是孤立的；它们是复杂的、多样化的，并且依赖于特定的物理上下文（例如，局部冲突升级为持械袭击）。传统的深度学习方法将 VAD 视为闭集分类或评分任务，这导致其在开放世界场景中的泛化能力较差。

近期尝试利用大语言模型（LLM）和视觉语言模型（VLM）来实现可解释 VAD 的研究引入了多模态智能体。然而，这些系统面临两个主要局限性：

静态编排： 依赖于监督微调（SFT）或启发式行为克隆的系统将工具视为孤立的容器。它们难以动态地编排不同的视觉专家模型来解析复杂的因果依赖关系。
过早终止： 标准的强化学习（RL）方法依赖于粗粒度的、基于结果的奖励，往往会导致智能体在检测到主要异常后立即停止执行。由于缺乏细粒度的监督，智能体无法完成识别级联次生危害所需的必要的多步因果链。

2. 方法论：VTO 框架

作者提出了 VTO（Visual Tool Orchestration，视觉工具编排），这是一个过程监督的强化学习框架，旨在将 VAD 转变为一个复杂的、多步的认知工具编排问题。

2.1 VAD-Tool 基准测试

为了支持该框架，作者构建了 VAD-Tool，这是一个层级化的视觉工具集及基准测试，包含：

12 个专业化视觉工具： 分为三个功能类别：
- 实体身份与追踪： 人员重识别（Person Re-ID）、步态识别、车牌识别、车辆重识别（Car Re-ID）。
- 行为与场景理解： 姿态估计、人体跌倒检测、人群计数、场景识别。
- 安全事件与危险检测： 暴力检测、武器检测、烟火检测，以及通用的异常检测专家。
数据集： 一个大规模训练数据集（约 15.48M token）和一个严谨的测试集（1,841 个样本），其特征是具有相互关联的异常查询（例如，基于姿态的暴力检测），这些查询需要多步推理。数据通过人类在环流水线进行构建，利用强大的 VLM（Qwen2.5-VL）进行初始轨迹生成，并由专家进行逻辑正确性审查。

2.2 训练流水线

VTO 框架在两个截然不同的阶段运行：

第一阶段：监督微调 (SFT)
对基础模型进行微调，以建立 VAD-Tool 数据集上的基础能力：

语法工具调用： 遵循有效的 ReAct 格式（Thought, Action, Action Input, Observation）。
异常事件建模： 调整内部表示以适应高风险安全事件。
观测集成： 学习如何将视觉专家的特定输出（如追踪 ID、空间坐标）进行上下文关联。

第二阶段：过程监督的认知对齐
为了克服静态行为克隆和基于结果的 RL 的局限性，作者引入了通过 群体相对策略优化（GRPO） 进行优化的动态学习环路。该阶段采用双重奖励系统来提供密集的、逐步的监督：

基于规则的目标奖励 ( $R_{rule}$ )：
- 任务完成度 ( $R_{comp}$ )： 对成功完成给予正分，对错误给予负惩罚。
- 工具/参数匹配 ( $R_{tool}, R_{param}$ )： 强制执行工具名称和参数的精确匹配。
- 效率惩罚 ( $R_{eff}$ )： 抑制冗余的工具调用。
LLM-as-a-Judge 奖励 ( $R_{LLM}$ )：
- 利用一个 72B 参数的模型（Qwen2.5-VL）作为专家评估器，对轨迹进行以下维度的评分：
  - 逻辑性 ( $R_{logic}$ )： 逐步的因果推理。
  - 相关性 ( $R_{rel}$ )： 动作与用户查询的一致性。
  - 完整性 ( $R_{complete}$ )： 确保覆盖所有必要的逻辑步骤，明确惩罚过早终止。

智能体通过最大化群体相对优势来优化其策略，从而有效地学习构建目标驱动的因果链，而不会发生过早终止。

3. 核心贡献

VTO 框架： 一个由过程监督强化学习驱动的动态多模态智能体框架。它通过从基于结果的奖励转向细粒度的、逐步的认知对齐，显式地解决了 VAD 中的过早终止问题。
VAD-Tool 基准测试： 一个集成了 12 个专业化视觉模型的综合评估平台。它专门设计用于测试单步和多步相互关联的异常推理，填补了现有数据集主要关注结果驱动指标的空白。
性能突破： 该框架证明了动态策略优化可以显著优于静态 SFT 基线，甚至在复杂的工具编排任务中超越大规模 72B 参数模型的表现。

4. 实验结果

在 VAD-Tool 基准测试上，使用各种基础模型（Vicuna-7B, Llama-3-8B, Qwen3-VL-8B）以及一个强大的 72B 基线模型（Qwen2.5-VL-72B）进行了广泛实验。

基线局限性： Zero-shot 和 Few-shot 基线以及仅 SFT 的模型在“相互关联工具”任务上表现出灾难性的退化。例如，Vicuna-7B 在相互关联的全响应任务上准确率降至 0%，而 Qwen2.5-VL-72B 则停滞在约 67.40%。
VTO 性能： VTO 显著优于所有基线。
- 在 Qwen3-VL-8B 骨干网络上，VTO 在相互关联工具的“整体（Whole）”指标上达到了 95.14% 的准确率，而 SFT 基线为 89.74%。
- 在 Llama-3-8B 骨干网络上，VTO 将相互关联性能从 65.93%（SFT 基线）提升至 72.16%。
- VTO 在 Qwen3-VL-8B 变体的决策（Decis）和工具选择（Tool）指标上达到了满分（100%）。
消融实验： 移除过程监督组件（特别是任务完成奖励或 LLM 评审奖励）会导致性能大幅下降，这证实了确定性的基于规则的锚点和定性的逻辑监督对于防止过早终止和幻觉的必要性。

5. 重要性与主张

本文声称 VTO 将视频异常检测重新定义为一个复杂的、多步的认知工具编排问题，而非静态的分类任务。通过引入过程监督的认知对齐，作者证明了智能体可以经过训练，动态地探索环境，构建可观察的多步因果链，并在严格遵守安全约束的同时避免过早终止。

这项工作弥合了物理安全领域中静态模仿学习与动态强化学习之间的鸿沟。它提供了一个严谨的基础设施（VAD-Tool）和一个可扩展的框架（VTO），使智能体能够处理不可预测的级联危险，超越了当前依赖训练或无需训练范式的局限性。作者强调，其方法允许较小的模型（8B 参数）在特定的复杂推理任务中达到甚至超过更大模型（72B 参数）的性能水平。