💬 NLP

PaSBench-Video: A Streaming Video Benchmark for Proactive Safety Warning

本文介绍了 PaSBench-Video，这是一个流式视频基准测试，它表明当前的视觉语言大模型无法提供及时且准确的主动安全警告，因为它们难以在不触发过度误报的情况下，将新兴风险与安全场景区分开来。

原作者： Yusong Zhao, Yuejin Xie, Youliang Yuan, Junjie Hu, Jitian Guo, Yujiu Yang, Pinjia He

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yusong Zhao, Yuejin Xie, Youliang Yuan, Junjie Hu, Jitian Guo, Yujiu Yang, Pinjia He

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名繁忙游乐场里的安全管理员。你的职责不仅仅是在孩子从滑梯上摔下来后大喊“停！”，而是要在摔倒发生前的那个“摇晃”瞬间就察觉到异样，发出警告，并给家长留出足够的反应时间去接住孩子。

这篇论文介绍了一种全新的 AI 摄像头“测试”，旨在观察它们是否能做到这一点。研究人员将其称为 PaSBench-Video。

以下是他们做了什么、发现了什么以及为什么这很重要，我们使用简单的类比来进行说明。

1. 问题所在：AI 是一个“事后诸葛亮”侦探

目前的 AI 安全系统就像是只在犯罪发生后才出现的侦探。它们看着视频说：“噢，车祸了！”或者“噢，有人摔倒了！”

但为了实现真正的安全，AI 需要成为一个主动的闹钟。它需要看到危险正在积聚的过程（比如汽车紧急刹车或幼儿攀爬婴儿床栏杆），并在还有时间进行补救时就发出警报。

研究人员发现，现有的 AI 安全测试存在缺陷。这些测试就像是让一名司机针对昨天发生的一场车祸参加笔试，而不是观察他们实时驾驶的过程。旧的测试并不关心 AI 何时喊出“危险！”，只关心它最终是否做到了。

2. 新的测试：一场“实战演习”

团队创建了 PaSBench-Video，这是一个包含 740 个视频片段的海量集合。你可以把它看作是 AI 安全领域的“驾驶模拟器”。

481 个片段展示了事情变糟的过程（一辆车即将撞上骑自行车的人、一个人即将滑倒、一个宝宝正在爬栏杆）。
259 个片段展示了正常的安全场景（汽车平稳行驶、人们在公园散步）。

测试规则：

仅限实时： AI 只能看到到目前为止已经发生的内容。它不能偷看未来。
“金发姑娘”区间（恰到好处）： AI 必须在完美的时机发出“警告！”。
- 如果喊得太早（在危险显现之前），那就是误报（就像烟雾报警器因为你烤焦了一片吐司而响起来一样）。
- 如果喊得太晚（在碰撞发生之后），那就是毫无用处。
- 它还必须解释什么是危险的（例如：“那辆车正在刹车”，而不只是说“出事了”）。
静默测试： 如果视频内容是安全的，AI 必须保持沉默。

3. 测试结果：AI 在“狼来了”

研究人员测试了目前最智能的 13 个 AI 模型。结果令人清醒。

“狼来了”问题：
这些 AI 模型在时机把握方面表现得很糟糕。它们就像是一个神经质的保安，每当有人走过门口时就会尖叫“着火了！”。

权衡取舍： 当研究人员告诉 AI 要提高灵敏度（以捕捉更多真实的危险）时，它就开始对安全场景频繁乱叫。
数学逻辑： 捕捉真实危险与产生误报之间存在紧密的联系。为了捕捉 100% 的真实危险，AI 必须在 60%–80% 的安全视频中大喊“危险！”。这会让系统变得毫无用处，因为人们会不再听从它的警告（这种现象被称为“报警疲劳”）。

“盲区”问题：
AI 在驾驶场景中最容易出错。

日常生活： 在家里，危险往往看起来很“怪异”（比如宝宝在爬墙）。AI 能很容易识别出这种“怪异感”。
驾驶： 在交通中，一辆正在安全并线的车看起来与一辆即将撞车的车几乎一模一样。AI 无法分辨两者的区别。它看到“车辆在移动”就会陷入恐慌，对着正常的交通流大声发出警告。

“理由错误”问题：
即使 AI 在正确的时间发出了警告，它也经常找错原因。

真实的危险： “一辆棕色的车正要驶出。”
AI 的警告： “一辆蓝色的巴士正在过来！”
它看到了危险，却产生了幻觉，搞错了细节。这就像一名保安大喊“有入侵者！”，却指错了人。

计分板：
在最严格的测试（正确时机 + 正确原因 + 无误报）下，没有任何一个 AI 模型得分超过 20%。这意味着在 10 次尝试中，有 8 次 AI 要么漏掉了危险，要么喊得太早，要么喊得太晚，或者喊错了对象。

4. 现实检验：它还没准备好进入现实世界

论文还探讨了实际应用层面。即便 AI 足够聪明，它目前也还不够快，也不够便宜，无法投入使用。

速度： 为了实现实时工作，AI 需要每 0.3 秒做出一次决策。而最快的 AI 需要思考 3.5 秒。这就像一名保安在孩子摔倒后还要反应 10 秒钟一样慢。
成本： 如果想在单个摄像头上全天候运行这样的系统，使用最好的模型每天将耗费数千美元。

总结

这篇论文是对 AI 安全的一次“现实检验”。它表明，虽然 AI 在理解视频方面正在进步，但它还不足以成为一名主动的安全管理员。

目前，这些模型就像是一个能在事故发生后完美描述车祸过程的学生，但却无法在车祸发生前预判它。它们依赖于表层的“怪异感”，而不是真正理解危险是如何积聚的。在它们能够区分“正常行驶的汽车”和“即将撞车的汽车”且不乱叫之前，它们还没有准备好保护我们的道路或家庭安全。

技术摘要：PaSBench-Video

问题陈述

当前的多模态大语言模型（MLLMs）虽然具备视频理解能力，但缺乏作为主动安全监控器的功能。由于事故通常由视觉可识别的预警信号前兆引起，现有的基准测试未能评估从第一个可见危险迹象到伤害发生之间的关键窗口期。目前的安全性基准测试存在三个主要局限性：

静态输入： 它们依赖于静态图像或图像序列，而非连续的流式视频。
缺乏时间校准： 它们无法区分过早警告（在风险可见之前发出）与延迟警告（在伤害发生之后发出）。
缺乏假阳性测量： 它们忽略了对良性场景的评估，忽视了频繁的误报会降低用户信任并导致报警疲劳这一关键问题。

因此，目前缺乏一个受控的测试平台来确定 MLLMs 是否能够因果地观察视频流、识别风险变得可操作的精确时刻、发出及时的警告，并在安全场景中保持沉默。

方法论

数据集构建：PaSBench-Video

作者引入了 PaSBench-Video，这是一个包含四个领域（驾驶、医疗、日常生活/智能家居、工业生产）共 740 个视频的基准测试。

风险集 (481 个视频)： 手动验证的包含演变中安全风险的剪辑。每个视频都带有帧级边界标注：
- 风险开始 ( $r$ )： 支持可操作警告的最早视觉证据帧。
- 事故 ( $a$ )： 不利事件开始发生的帧。
- 风险源与规避动作： 特定的危险主体和建议的干预措施。
无风险集 (259 个视频)： 来自正常驾驶、监控和家庭监测的良性剪辑，专门用于衡量假阳性率。
数据来源： 包括真实世界数据集（如 DADA-2000, Nexar, OOPS）以及通过 Kling v3 Omni 生成的合成数据，用于医疗和工业场景，因为这些场景难以获得具有特定标注粒度的真实数据。
过滤机制： 经过严格的两阶段过滤（首先使用 Qwen3.5 和 Gemini-3.1-Pro 进行模型化过滤，随后进行人工裁定），确保剪辑是可预测的（风险可从过去/当前帧推断）、可规避的（干预措施可行）、非蓄意的（非摆拍表演）且具有视觉依据的。

评估协议

该基准测试采用流式评估协议：

因果观察： 模型仅接收滑动窗口（3 秒窗口，0.3 秒步长）内的过去和当前帧。
任务： 模型必须决定是发出结构化警告（识别风险源和动作）还是保持沉默。
指标： 一套由干预提前量 $\tau$ $τ$ （默认 1.0s）参数化的、层层递进的严格指标：
1. Any-Det@ $\tau$ ： 在事故发生前检测到任何警告。
2. Any-Hit@ $\tau$ ： 在有效风险窗口 $[r, a-\tau]$ 内检测到警告。
3. First-Hit@ $\tau$ ： 视频中的第一个警告落在 $[r, a-\tau]$ 内。
4. First-Act@ $\tau$ ： 第一个警告不仅时间控制准确，而且正确识别了风险源和内容。
假阳性率： 通过计算触发 $\ge K$ 次警告的无风险视频比例来衡量。

实验设置

作者对 13 个 MLLMs 进行了基准测试，包括开源模型（Qwen3.5, Gemma）和闭源模型（Gemini, Claude, GPT）。所有模型均使用相同的提示词、温度 0 以及帧采样方式进行评估。

关键结果

1. 低性能与定性失败

没有任何模型在最严格的指标（First-Act@1）上超过 20.0%。这表明只有不到五分之一的视频得到了既有时效性又正确识别风险源的警告。检测（Any-Det）与可操作警告（First-Act）之间的差距巨大；例如，Gemini 3.1 Pro 在 93.6% 的视频中检测到了风险，但在 First-Act 指标上仅为 20.0%。

2. 召回率与假阳性的紧密耦合

模型的召回率与假阳性率之间存在强正相关性（Pearson $\rho=0.64$ ）。模型无法在不按比例增加误报的情况下提高检测率。这表明当前的模型更像是灵敏度阈值检测器，而非执行真正风险推理的系统。提高灵敏度会将警告从“漏报”转变为“过早触发”，但并不能增加“有效”警告的比例。

3. 领域依赖性表现

性能随领域视觉辨识度的不同而剧烈变化：

日常生活： 模型在低假阳性率下能获得中等的召回率，因为风险通常具有内在的异常性（如人员跌倒、明火）。
驾驶： 模型表现较差，会盲目触发。常规场景（并线、交叉路口）与碰撞前场景在视觉上非常相似，导致模型在风险实际可见之前就触发了警告（高灵敏度模型 90% 的失败原因是“过早”）。

4. 失败模式

即使在时间点正确的情况下，模型也经常无法识别风险源：

错误风险对象 (36.9%)： 识别了正确的实体类别，但错误的具体实例（例如，预测为巴士而非轿车）。
实体类型混淆 (33.9%)： 幻觉出一个不同的代理类别（例如，将危险源预测为行人，而实际危险源是车辆）。
这些错误表明模型依赖于场景级活动线索，而非对是否会演变为伤害进行因果推理。

5. 部署约束

除了能力差距外，工程约束也阻碍了立即部署：

延迟： 即便是最快的模型（GPT-5.4 mini）其中值延迟（~3.5s）也比 0.3s 的窗口步长高出一个数量级。
成本： 顶级闭源模型进行持续监控的成本每天超过每台摄像头 2,000 美元，而开源模型则面临着难以承受的延迟问题。

重要性与主张

论文声称，PaSBench-Video 提供了第一个用于评估主动视频安全警告的受控测试平台，它将算法进步与基础设施改进隔离开来。通过移除速度压力并限制模型的因果观察，该基准测试揭示了当前的 MLLMs 依赖于表层活动线索，而非对新兴伤害进行推理。

作者强调，由于工程约束（延迟、成本）以及能力不足（低召回率、高假阳性），主动警告任务尚不具备部署条件。然而，他们认为现在进行此类基准测试是“及时且必要”的，旨在引导算法向真正的时序风险推理迈进，从而超越简单的活动检测，实现风险预判。该数据集已发布以促进此类研究，其明确目标是开发能够区分常规活动与迫在眉睫之危险的模型。