CoRE: Weakly Supervised Coarse-to-Fine Risk Evidence Learning in Driving Videos
该论文介绍了 CoRE，这是一个弱监督的由粗到精的框架，它通过将结构化干预对粗粒度视频级预测器产生的梯度效应进行蒸馏，学习识别支持驾驶视频中风险预测的具体时间片段和场景实体，从而在不需要高昂的细粒度标注的情况下实现细粒度的证据定位。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
每天，数以百万计的驾驶者在移动的车辆、行人以及不断变化的天气中穿行，不断做出关乎安全的瞬时判断。对于外部观察者而言，一段驾驶视频可能看起来只是一串简单的图像流，但对于试图理解风险的计算机来说，它是一个复杂的谜题。核心挑战在于，虽然我们可以轻松地将整个视频标记为“危险”或“安全”，但要解释其确切原因却要困难得多。我们知道某种情况很危险，但我们往往无法精准定位危险出现的精确时刻，也无法准确识别是哪辆车或哪个人导致了这种危险。这种从整体风险感与支持该感的具体证据之间的鸿沟，长期以来限制了计算机学习安全驾驶的能力。研究人员一直难以教会机器去观察一段视频，并不仅是说“这很危险”，而是说“正是这个特定的时刻、这个特定的物体使得情况变得危险”，尤其是在他们最初只有概括性标签的情况下。
一个研究团队开发了一种名为 CoRE 的新方法，旨在无需昂贵且详细的指令的情况下弥补这一差距。CoRE 并非要求人类在成千上万个视频中为每个危险时刻画框，或为每个危险物体进行标注，而是通过观察计算机的判断在视频部分被改变时如何变化，从而学会自主寻找这些细节。该过程始于训练一台计算机对整个视频片段给出一个单一的风险评分，仅使用人类提供的宽泛标签。一旦这台计算机训练完成，它的参数就会被冻结，这意味着它的“大脑”被固定了下来。随后，研究人员通过系统地测试这台冻结的计算机，即逐一暂时隐藏或模糊视频中的微小区域或特定移动物体。他们密切观察：当移除某个特定部分后，计算机的风险评分下降了多少。如果隐藏某辆特定的汽车导致风险评分骤降，那么这辆车就是危险的主要驱动因素。如果隐藏一段时间片段没有产生影响，那么该时刻可能并不相关。
这些测得的变化成为了第二台更聪明的计算机的“老师”。这第二台计算机（学生）会被展示原始的、未经修改的视频，并被要求根据完全基于第一台计算机反应所学到的教训，精确预测哪些时刻和物体是造成风险的原因。学生通过模仿在测试阶段观察到的影响模式，有效地将复杂的“假设”实验提炼为直接识别证据的能力。结果显示，该系统可以观察原始视频，并立即高亮显示支持风险预测的具体秒数和具体车辆，而无需展示过任何一个由人工绘制的风险区间示例。
研究人员在三种不同类型的视频数据上测试了这种方法，以观察其在各种情况下的表现。首先，他们使用了一个驾驶片段数据集，其中人类仅提供了场景感觉如何危险的总体感受，而没有关于时间或物体的细节。在这种设定下，该系统成功学会了识别驱动风险感知的特定时刻，其表现优于依赖于较不直接线索的以往方法。接着，他们将该技术应用于一个包含人类精确标注的交通异常时间戳的驾驶视频数据集，而系统在训练期间从未见过这些标注。在这里，尽管 CoRE 仅在粗粒度的视频级标签上进行训练，但它通过精准定位这些危险事件，证明了其准确性，并达到了与独立人工标签相匹配的程度。最后，团队在一种完全不同类型的视频上测试了该系统：犯罪监控录像，这与驾驶毫无关系。该方法同样有效，能够找到拥挤街道和空旷走廊中异常行为的具体时刻。
研究结果表明，计算机最初的宽泛判断中包含了一张支持其证据的隐藏地图。通过测量当输入被微调时判断如何发生偏移，系统可以重建场景的细粒度细节。这种方法并不要求计算机理解碰撞的物理学或驾驶员的意图；它只是学习哪些视觉输入部分对于预测的成立是必要的。这项研究证明，曾经被认为过于模糊而无法用于详细分析的粗粒度监督，实际上可以被用来恢复精确的时间和物体级支撑。这意味着在未来，安全系统可能会从海量的未标记或标签松散的视频数据中学习，在无需高昂的人工详细标注成本的情况下，识别出风险的确切原因。这项工作证实了，理解复杂视觉事件的路径并不总是需要更多的数据，而是需要一种更聪明的方式来询问计算机它究竟在看什么。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。