Passive Construction Site Safety Monitoring via Persona-Scaffolded Adversarial Chain-of-Thought VLM Verification
本文介绍了一种被动式班次结束施工安全监控系统，该系统集成了微调后的 YOLO11 检测、SAM 3 分割以及一种基于 Qwen3-VL-8B 的新型角色支架式对抗思维链协议，旨在显著提升合规性验证精度并减少幻觉，同时从工人视角和固定摄像头画面生成符合 OSHA 映射的安全报告。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，将建筑工地比作一个繁忙、混乱的厨房。通常，为了确保每个人的安全，你需要一位主厨全天候（24/7）站在那儿，监视每一个人，确保他们穿着围裙（安全帽）、戴着隔热手套（手套），并且没有站得离明火（机器）太近。但是，为每个班次雇佣一位厨师成本高昂，而且他们无法同时出现在所有地方。
本文提出了一种运营厨房的新方法：“下班后”安全审计。
该系统不再实时监视厨房，而是通过两种类型的摄像头记录一切：
- 墙面摄像头：如同天花板上的监控摄像头，监视整个房间。
- 体戴摄像头：如同绑在工人胸前的 GoPro，精确展示他们看到了什么以及双手在做什么。
在一天结束时，系统会审查视频 footage，为每位工人撰写一份安全报告。其运作方式分为三个简单步骤：
步骤 1：“鹰眼”（YOLO）
首先，一个快速计算机程序（称为 YOLO11）扫描视频。它就像一个非常迅速、热心的实习生，能发现事物但并不完美。
- 它指向人员并说：“那是工人！”
- 它指向装备并说：“那是安全帽！”或“那是背心！”
- 诀窍：这位实习生被要求过于敏感。宁可标记 100 个可能出错的地方，也不愿漏掉一个真正的危险。因此，它会标记一切，即使那只是一个看起来像手套的阴影。它会生成一份长长的“疑似违规”清单。
步骤 2：“放大”专家（SAM 3）
接下来，第二个工具（SAM 3）会查看实习生的清单并进行放大。
- 剔除杂乱：如果两名工人站得很近，实习生可能会混淆谁戴着安全帽。这个工具会裁剪出每个人的确切轮廓，将他们与背景以及彼此分离开来。
- 装备与人员匹配：它确保安全帽属于正下方的人，而不是旁边的人。
- 结果：它生成了一张清晰、隔离的每位工人及其装备的图片，供最终裁决者使用。
步骤 3：“三人陪审团”（对抗性 VLM）
这是本文最大的创新。系统不再要求单一的人工智能做出最终决定（这有时会“产生幻觉”或编造它未看到的内容），而是使用由一个先进人工智能（Qwen3-VL）扮演三种不同角色组成的三人陪审团。
这就像一场法庭剧，同一个演员扮演三个不同的角色，直到最终裁决前他们互不交流：
- 现场检查员（第一轮）：这个角色在不带任何计算机笔记的情况下查看原始视频。他们用自己的眼睛写下所见，就像人类安全官员在现场巡视一样。他们可能会说：“我看到有人奔跑，”或“我认为那只手套不见了。”
- 高级警官（第二轮）：这个角色在带有计算机笔记（边界框和置信度分数）的情况下查看视频。他们检查计算机的工作。“计算机说缺少背心。视频是否证实了这一点？”
- 法官（第三轮）：这个角色阅读现场检查员和高级警官的笔记。他们不再查看视频，只查看另外两人写下的证据。他们必须决定：“违规行为是否真的发生了？”
为什么要这样做？
论文发现，如果只让人工智能查看一次，它会变得过于自信并编造违规行为（产生幻觉）。通过迫使人工智能从三个不同角度与自己辩论，它会变得更加谨慎。
- 如果现场检查员说“没有手套”，但高级警官（查看计算机数据）说“不，计算机确定它在那里”，法官在做出裁决前必须深思熟虑。
- 系统使用特殊规则：如果计算机非常不确定，法官会等待类人观察者的确认。如果观察者看到了危险情况（如有人奔跑），即使计算机错过了，法官也会信任他们。
最终报告
一旦“法官”做出决定，系统就会为每位工人撰写一份报告。
- 安全评分：它检查他们是否过度弯腰（使用一种称为 REBA 的方法，就像物理治疗师检查你的姿势一样）。
- OSHA 法规：它将每个错误与具体的政府安全法规（如“防坠落保护”）联系起来。
- 证据：它包含时间戳和视频中的特定帧，确切显示发生了什么，以便工人可以看到证据。
核心结论
作者在一组建筑视频上测试了该方法。他们发现，使用这种“三人陪审团”方法，系统的准确率比仅让人工智能查看一次提高了12%。它捕捉到了更多真正的危险，并阻止了人工智能编造虚假的危险。
重要提示：论文承认这仍然是一个“测试版”。他们尚未在数千小时的视频上测试它，而且“陪审团”是由构建它的人（而非独立专家）进行评判的。但结果表明，等到班次结束时运行这种复杂的多步骤检查，是一种明智且经济的方法，可以在不需要人类全天候监视屏幕的情况下，让建筑工地更安全。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。