People Analytics Framework

技术摘要：人员分析框架 (People Analytics Framework, PAF)

问题陈述
自动化监控系统在识别面部特征被遮挡、遮蔽或不在摄像头画面内（例如，当人背对镜头时）的人员时，面临着显著的挑战。现有的系统通常难以处理长距离或室内监控中常见的低分辨率图像、大气湍流以及变化的照明条件。此外，现有文献表明，在面部不可见的情况下处理图像存在空白，因此需要一种能够仅凭外表识别个人的稳健解决方案。本研究的主要目标是开发一个全面的人员分析框架 (PAF)，能够在封闭环境（如大学、医院和学校）中，无论面部是否可见，都能对个人进行检测、跟踪和验证。

方法论
所提出的 PAF 是一个端到端的深度学习流水线，旨在处理来自多个摄像头的视频流。该系统通过四个集成阶段运行：

1. 检测与跟踪模块 (DTM)：

   • 视频帧以 30 fps 的速率捕获并调整为 1000x600 大小。
   • 系统采用目标检测和跟踪算法来提取单个个体。
   • “清洗”过程会过滤提取的图像，移除人像比例小于 2:1 或包含多个人的帧。
   • 提取的图像根据跟踪器 ID 被组织到文件夹中，从而创建个人轨迹数据库。
   • 模型选择： 作者比较了 YOLOv5 和 YOLOv8 与 DeepSort 及 ByteTrack 的组合。YOLOv5 结合 ByteTrack 被选为最优配置，在提供高检测精度（检测到 160 个框）的同时，保持了可接受的处理时间（2分52.7秒）。

2. 人脸检测与识别模块 (FDRM)：

   • 人脸检测： 对各种检测器（Haar Cascade, SSD, MTCNN, RetinaFace）进行了评估。MTCNN 被选为主要检测器，因为它在处理低分辨率图像时，在准确性和计算效率之间取得了平衡，而其他模型在这些情况下要么失败，要么产生过多的误报。
   • 人脸聚类与验证： 系统利用深度学习模型（VGG16, FaceNet, DeepID, SFace, ArcFace）提取特征向量。
   • 损失函数： 该框架采用三元组损失 (Triplet Loss) 和聚类损失 (Cluster Loss) 来对相似面部进行分组并将不相似的面部分离。对于验证，使用了 ArcFace 损失函数以增加类间差异并减少类内差异。
   • 模型选择： 在识别模型中，SFace 展示了最高的效率和准确性（使用欧氏距离时成功率为 99.80%，平均时间为 0.47 秒），其次是 ArcFace 和 VGG-Face。

3. 行人重识别模块 (PRM)：

   • 该模块旨在解决面部不可见的场景，通过分析全身外表（服装、体型、步态）来进行识别。
   • 它利用深度度量学习 (DML) 方法，具体为 全尺度特征学习 (OsNet)。
   • 模型选择： 结合三元组损失的 OsNet 被选中，在测试数据集上实现了 99.97% 的 Rank-1 准确率和 99.92% 的平均精度均值 (mAP)。

4. 系统集成：

   • 各模块被集成到一个统一的流水线中。当用户查询特定人员（通过图像或姓名）时，系统会在数据库中进行搜索。
   • 如果面部可见，则使用人脸验证；如果面部不可见，则采用行人重识别 (ReID)。
   • 系统通过跟踪器 ID 合并来自不同摄像头和时间段的数据，以提供个人的完整轨迹。

核心贡献

• 混合框架： 本文提出了一个统一的框架，将基于面部的识别与基于外表的行人重识别 (ReID) 无缝结合，确保即使在面部特征被遮挡时也能进行识别。
• 操作流水线： 建立了一个完整的、经过测试的封闭区域监控流水线，涵盖从原始视频捕获到数据库注册及用户查询响应的全过程。
• 实证模型选择： 研究针对此类监控场景对前沿模型（YOLO 变体、DeepSort/ByteTrack、MTCNN、ArcFace、SFace、OsNet）进行了对比分析，确定了在准确性和速度方面最有效的组合。
• 数据库架构： 创建了一个结构化数据库，将人员 ID、时间戳、摄像头位置和轨迹数据相链接，用以回答“谁、在哪里、何时”的查询。

结果
系统使用作者校园环境中的四台摄像头采集的数据进行了测试。

• 总体准确率： 集成系统实现了 98.7% 的总体成功率。
• 人脸验证： 系统在人脸验证方面达到了 97.6% 的成功率。
• ReID 性能： 所选的 ReID 模型（结合三元组损失的 OsNet）表现出极高的效能，Rank-1 准确率为 99.97%，mAP 为 99.92%。
• 遮挡处理： 框架成功识别了图像帧中面部不可见的人员，其 ReID 模块的匹配准确率高达 97.6%。

意义与声明
本文声称，PAF 成功解决了当前监控系统在面部不可见时失效的局限性。通过将检测、跟踪、人脸识别和 ReID 集成到一个单一的操作框架中，该系统为校园和医院等封闭区域的监控提供了稳健的解决方案。作者强调，该系统可以独立运行以执行监控和告警任务。

作者谦虚地承认，数据集的收集和标注仍然是重大挑战，特别是涉及摄像头距离、分辨率和角度的变化。他们指出，虽然目前的系统在其特定数据集上表现良好，但未来的工作可能涉及无监督领域自适应或半监督学习，以在减少人工标注的情况下提高对未知环境的泛化能力。本文并未声称具有对所有室外或长距离场景的普遍适用性，而是侧重于其在受控的私有网络环境中的有效性。