Clean-Reference Streaming Detection of Lens Occlusion and Photometric Transitions for Camera Tamper Monitoring

镜头前的沉默守护者

想象你是一个庞大数字城市的保安。你的工作是监视成千上万个视频监控画面，寻找麻烦。但如果摄像头本身出了问题呢？在计算机视觉的世界里，监控摄像头不过是一个由玻璃和硅片组成的精致眼睛。如果有人在眼睛上贴了一块胶带，或者如果摄像头被撞了一下，导致视野突然从阳光明媚的公园变成了阴暗的小巷，安全系统的“大脑”并不知道这究竟是真实的紧急情况还是摄像头损坏了。它可能会对着一场并未发生的犯罪大声尖叫，或者更糟的是，在摄像头完全失明时保持沉默。这就是**传感器完整性（sensor integrity）**的问题：确保摄像头看到的确实是它认为自己看到的。

为了解决这个问题，工程师们通常会构建复杂的系统，试图随着时间的推移学习什么是“正常”的场景。他们将当前的图像与过去图像的记忆库进行对比。但这些系统可能很棘手；如果摄像头慢慢变脏，系统可能会自动更新其记忆以包含污垢，认为污垢现在也是正常的。本文采用了一种更简单、更严谨的方法。它并不试图成为一个聪明的学习型人工智能，而是扮演一个严格、遵守规则的裁判。它提出两个非常具体的问题：“图像纹理是否突然坍塌（例如镜头被遮挡）？”以及“整个场景的亮度是否跳变得太快（例如开关灯）？”其目标不是捕捉每一种可能的犯罪，而是确保当摄像头确实报告异常时，摄像头本身是健康的，且警报是真实的，而非故障。

---

“洁净参考”侦探

本文的作者马博、颜维其和吴金松构建了一个居住在摄像头软件内部的数字侦探。你可以把这个侦探想象成一位严厉的图书管理员，只信任那些品相完美的书籍。侦探的主要任务是识别两种特定类型的“摄像头篡改”：镜头遮挡（lens occlusion）（即有物体遮住了镜头，如手或布料）和光度转换（photometric transition）（即光照发生剧烈变化，如有人打开了泛光灯，或摄像头从白昼切换到黑夜）。

以下是这位侦探如何利用“洁净参考”策略工作的。想象侦探保留着过去几秒钟视频的一个滑动窗口，但有一个黄金法则：只有洁净、完美的帧才被允许进入该窗口。 如果侦探发现某一帧看起来很可疑，它会立即将该帧从记忆库中锁定排除。它绝不会让“脏”的或“被篡改”的帧去更新参考基准。这防止了系统意外地将遮挡的镜头学习为新的常态。

侦探使用两个主要工具来检查视频流：

1. 纹理坍塌检测： 当镜头被遮挡时，图像会失去精细的细节（边缘和纹理）。侦探会测量图像的“颗粒感”。如果颗粒感突然消失，这就是一个红旗信号。
2. 亮度跳变检测： 如果整个场景突然变得非常亮或非常暗，侦探会测量平均光照水平。如果跳变过快，这就是一个红旗信号。

但最巧妙的部分在于：侦探也是一位**干扰剔除（nuisance rejection）**大师。它知道摄像头经常要应对一些烦人的情况，比如门打开引入了一阵阳光，或者摄像头从夜模式切换到日模式。为了避免误报，侦探设有“闸门”。如果亮度的突然变化恰好发生在摄像头的内部“昼/夜”标志翻转时，侦探会忽略它。如果亮度变化过快（如闪光灯），它会被抑制。它还会检查网格模式；如果变化看起来像是一种结构化光模式（如投影仪的光束）而非真实的场景变化，它就会将其剔除。

该系统被设计为基于事件（episode-based）。它不会在每一帧看起来异常时都大喊“警报！”，而是等待观察到一种模式，然后针对整个事件发出一次单一通知。这防止了系统频繁发送警报，并降低了计算成本，使其非常适合内置功能有限、没有超级计算机的廉价小型摄像头。

侦探发现了什么（以及没发现什么）

作者在 320 个模拟篡改的受控视频序列上测试了这位侦探。结果令人鼓舞但也具有局限性。侦探实现了 0.800 的 F1 分数（一种平衡了发现真实问题与避免误报的准确度衡量标准）和 0.822 的平衡准确率。这在正确识别真实事件方面明显优于最强的“基准”方法（如简单的帧差检查），尽管在整体得分上的差距在统计学上并不算巨大。

至关重要的是，这位侦探在“不乱报警”方面表现得极其出色。在对 9.09 个摄像头小时的“经核实的负样本”视频（即没有任何异常发生的视频）进行的长期测试中，系统记录了零次误报。对于一个安全系统来说，这是一个巨大的胜利，因为如果一个系统总是对着影子乱叫，它往往就失去了意义。

然而，论文非常明确地说明了这位侦探不能做什么。它明确排除了检测以下内容的能力：

• 纯粹的摄像头移动： 如果摄像头只是旋转或轻微移动，而没有改变整体亮度和纹理，侦探不会察觉。它承认它需要另一种不同类型的“几何”工具来捕捉这类情况。
• 微妙的模糊： 如果镜头稍微失焦但亮度保持不变，侦探可能会漏掉。
• 视频伪造： 它无法辨别是否有人伪造了视频文件本身。

当作者在带有真实世界视频的公开数据集（如 UHCTD 数据集）上测试该系统时，结果证实了其局限性。该系统仅检测到了其中一小部分篡改事件（对于符合其规则的遮挡事件，召回率约为 0.667，但对于规则之外的事件，召回率仅为 0.016）。这证明了该系统并不是一个“通用的”摄像头篡改分类器。它是一个专门的工具，一个“可审计的传感器健康子系统”。

结论

本文提出的方法最适合被描述为一种可靠、低成本的健康监测器，而非万能灵药。它通过牺牲捕捉所有可能类型的摄像头篡改的能力，换取了以极高置信度和零误报率（在受控设置下）捕捉特定常见类型（遮挡镜头和突发光照变化）的能力。

作者建议，该系统非常适合那些需要可预测行为以及能够审计“为何触发警报”的嵌入式流水线。如果你需要捕捉摄像头被物理移动或旋转的情况，你需要将此系统与另一种技术（如几何配准）结合使用。但对于确保摄像头没有被遮挡或被突然的开关灯致盲，这位“洁净参考”侦探提供了一个简单、透明且高效的解决方案。它并不试图成为一个学习一切的人工智能；它试图成为一个严格、诚实的守卫，清楚地知道自己在看什么，并且拒绝被欺骗。