Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

监控摄像头时刻注视着我们的城市、商店和街道，捕捉着人类活动的连续流。几十年来，目标一直是建造能够与我们一同观看这些影像、并在麻烦发生的瞬间将其识别出来的计算机。然而，挑战在于，教计算机识别打斗、盗窃或火灾是非常困难的。这需要向机器展示成千上万个此类事件的示例，并且每一个危险时刻都必须由人类专家进行标注。这种人工标注过程缓慢、昂贵，且对于每天产生的海量视频数据来说往往是不可能完成的任务。如果没有这些详细的标签，标准的计算机程序很难学习什么是正常的，什么是异常的，经常会被日常生活的多样性所迷惑。

为了解决这个问题，设拉子大学（Shiraz University）的研究人员开发出了一种新的方法，让计算机无需人类对每一秒视频进行标注，就能学会识别异常情况。该系统并非依赖昂贵的人工注释，而是通过三个不同的视角来构建对视频内容的理解。首先，它寻找运动，识别屏幕中像素发生变化的任何部分。其次，它尝试在这些运动区域内识别特定物体，例如人或车辆。最后，它在这些物体周围绘制精确的轮廓，以观察它们占据了多少空间。通过结合这三种观察结果，系统生成了关于视频哪些部分是正常、哪些是异常的“猜测”。这些被称为“伪标签”的猜测并不完美，但研究人员设计了一种特殊的方法来权衡系统对每个猜测的置信度，从而忽略不确定的信号，专注于清晰的信号。

这种新方法的核心是一个轻量级的计算机模型，它通过这些自动生成的猜测进行学习。研究人员使用了一个预训练的视觉系统，这个系统就像一双已经从数百万张图像中学会了识别形状和物体的眼睛，并冻结了其设置，使其在训练期间不会发生变化。这节省了大量的计算能力，将系统中可调节的部分减少了近百分之九十四。随后，该模型利用一个记忆组件来记住事件序列，通过连接帧与帧之间的点，来理解场景随时间演变的过程。为了确保系统不会在将场景标记为正常与异常之间发生剧烈跳变，他们增加了一条规则，鼓励预测在前后时刻保持平滑且一致。

在包含十三种不同犯罪类型的海量监控视频集上进行测试时，该系统表现出了高度的可靠性。它在约百分之八十的测试案例中正确识别了异常事件，并在区分正常与异常活动方面达到了百分之七十八的平衡得分。研究人员进行了五次实验，采用了不同的随机起点以确保结果的一致性，而性能在所有试验中均保持稳定。至关重要的是，该系统在没有任何人类手动标记训练视频中危险时刻的情况下实现了这一目标。通过检测运动、识别物体并对其进行轮廓描绘的自动化过程，被证明是人工标注的一种可行替代方案，使得将视频监控扩展到更大规模数据集成为可能。

研究还表明，自动化流水线中的每个部分都是必不可少的。当研究人员移除运动检测、物体识别或精确轮廓描绘时，系统的异常检测能力都会显著下降。这证实了这三种视觉线索的结合比任何单一方法都能提供更丰富、更可靠的信息。虽然该系统目前尚不完美，在极度拥挤的场景或光照不足的环境下仍可能遇到困难，但它代表了使自动化监控变得实用的重要一步。通过消除人工标注的瓶颈并大幅降低计算成本，这种方法为在现实世界中部署智能监控系统提供了一条切实可行的路径，使其能够以人类无法维持的专注度，守护公共空间。