💻 computer science

Feature Calibration for Camera Bias Elimination inUnsupervised Person Re-Identification

本文提出了用于消除摄像头偏差的特征校准（FCBE）框架，该框架通过风格感知度量校准和分布感知中值校准来减轻无监督行人重识别中的摄像头诱导偏差，从而增强聚类可靠性，并在 Market-1501 和 MSMT17 数据集上实现了最先进的性能。

原作者： Yueyi Xue, Shuxian Liu

发布于 2026-08-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Yueyi Xue, Shuxian Liu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代监控那拥挤且混乱的世界中，安全摄像头无处不在，但它们往往无法完成一项简单的任务：识别出穿过不同门口的同一个人。这一挑战被称为“行人重识别”（person re-identification），它关心的不是知道某人是谁，而仅仅是将一个人的图像从一个摄像头匹配到另一个摄像头，跨越整个城市。其难点在于，没有两个摄像头的视角是完全相同的。一个镜头可能会捕捉到烈日下的刺眼场景，而另一个则会看到同一人在深邃阴影中的样子；一个可能拥有蓝调背景，而另一个则笼罩在街灯的暖光之中。这些在光照、角度和色彩上的差异造成了“相机偏差”（camera bias），从而干扰了计算机算法。当计算机尝试在没有人类帮助的情况下学习辨别身份时，它经常会将这些视觉差异误认为是身份的变化，导致将陌生人归为一类，或者将同一个人拆分为多个群体。这种错误产生了一个嘈ей（noisy）、不可靠的训练过程，限制了安全系统在现实世界中的表现。

为了解决这个问题，来自新疆大学的研究员薛悦一（Yueyi Xue）和刘淑娴（Shuxian Liu）开发了一种名为“特征校准以消除相机偏差”（Feature Calibration for Camera Bias Elimination，简称 FCBE）的新方法。他们的方法通过教计算机忽略摄像头本身带来的干扰性视觉噪声，从而专注于人的身份本身。该系统并非在计算机已经犯错后才试图修复其判断，而是通过在计算机开始学习之前就对原始数据进行修正。研究人员构建了一个由两部分组成的系统，充当过滤器和稳定器的角色。首先，一个旨在感知视觉风格的模块会剥离由摄像头引起的表象差异，例如特定的色彩平衡或背景纹理。这确保了计算机看到的是人的轮廓和衣着，而非摄像头的特性。其次，一个感知分布的模块充当了裁判的角色，它检查每个摄像头的数据在计算机内存中的位置，并将它们轻轻地向一个共同的中心推移。至关重要的是，该模块使用一种稳健的统计方法来寻找每组数据的中心，同时忽略那些可能被误认为是新人的极端异常值，从而防止系统被少数几张糟糕的图像所误导。

研究人员在包含数千张由多个摄像头在不同环境下拍摄的图像的两个主要数据集上测试了这种方法。在包含六个摄像头图像的 Market-1501 数据集上，该方法实现了 87.1% 的平均精度均值（mAP）和 94.7% 的首选匹配准确率。在更复杂的 MSMT17 数据集上（该数据集包含来自 15 个摄像头、具有复杂光照和背景的超过 126,000 张图像），该系统的平均精度均值达到了 44.8%，首选匹配准确率达到了 71.5%。这些结果代表了对以往方法的显著改进，包括一种被称为“相机偏差消除学习”（Camera Deviation Elimination Learning）的领先技术，新方法在两个数据集上的表现都优于后者几个百分点。这项研究表明，通过在学习过程的最开始阶段处理偏差——即在利用数据训练模型之前对其进行清洗——系统在将同一人归为一组方面会变得更加可靠，无论是由哪个摄像头捕捉到的。

对结果的视觉分析证实了该系统正按预期工作。当研究人员比较不同人的计算机内部视图时，新方法产生了更清晰的区别。在以往的尝试中，即使是不同的个体，如果看起来相似或处于相似的光照条件下，计算机也经常会将他们混淆。通过这种新的校准，计算机成功地将同一个人的所有图像聚集在一起，无论是由哪个摄像头拍摄的，同时保持了不同人之间的清晰界限。研究人员发现，这种修正的强度需要经过仔细调节；修正过少会导致相机偏差依然存在，而修正过度则有抹除使人具有独特性的细微特征的风险。通过找到这种平衡点，系统成功地移除了摄像头的干扰，同时没有丢失人的身份特征。

这项工作凸显了人工智能处理现实世界数据方式的一种转变。研究人员并没有假设所有摄像头都提供统一的视图，而是承认每个摄像头都会引入其特定的失真。通过构建一个能够主动测量并纠正这些特定失真的系统，他们创造了一种让机器从无标签数据中学习的更稳健的方式。该研究并未声称解决了监控领域的所有问题，并指出该方法仍然依赖于已知哪些图片是由哪个摄像头拍摄的，且修正强度必须针对不同环境进行调整。然而，结果表明，在源头清洗特征数据是减少误差的一种强有力手段。随着安全网络变得越来越庞大和复杂，忽略摄像头并清晰观察人的能力变得愈发重要，而这项研究为实现这一目标提供了坚实的进展。

技术摘要：用于消除相机偏差的特征校准技术，应用于无监督行人重识别

问题陈述

无监督行人重识别（Re-ID）旨在无需人工标注即可学习具有判别性的身份表示，通常依赖于基于聚类的自训练范式来生成伪标签。然而，在现实世界的多摄像头场景中，显著的光照、视角、背景和成像风格的变化引入了相机诱导的分布偏移。这些偏移导致同一身份的特征分布在不同相机之间发生分歧，同时导致具有相似视觉特征的不同身份趋于合并。这导致聚类过程中的身份碎片化和错误合并，从而产生噪声伪标签。当模型使用这些噪声标签进行迭代优化时，误差会被强化，最终导致检索性能下降。

现有方法通常通过伪标签精炼或高层语义建模来解决此类问题，但往往忽略了底层相机风格线索（如颜色、纹理），或者依赖于对异常值和无监督聚类中固有的噪声伪标签敏感的基于均值的分布中心估计。

方法论：FCBE 框架

作者提出了特征校准以消除相机偏差（Feature Calibration for Camera Bias Elimination, FCBE）框架，该框架从特征提取和特征分布两个不同的层面缓解相机偏差。该框架通过在无监督聚类与网络优化之间交替进行的迭代训练策略运行。

1. 风格感知度量校准 (SMC)

SMC 模块在特征提取层面运行，旨在抑制底层风格差异并稳定度量空间。

IBN-a 主干网络： 网络在浅层利用实例批归一化（Instance-Batch Normalization, IBN）架构。中间特征通道被拆分：一半进行实例归一化（IN）以抑制图像级风格信息（光照、颜色、纹理），另一半进行批归一化（BN）以保留批级统计量和身份内容。
度量空间校准： 在特征提取和广义平均池化（GeM pooling）之后，应用 BNNeck（批归一化颈部）。它校准全局特征的尺度和分布，确保聚类所需的稳定距离测量（欧氏距离或余弦距离）。
输出： 该模块生成对底层风格变化具有鲁棒性的 L2 归一化特征 ( $f_{ij}$ )。

2. 分布感知中位数校准 (DMC)

DMC 模块在特征分布层面运行，以纠正高层跨相机偏移。

鲁棒中心估计： DMC 不使用对异常值敏感的均值，而是使用来自该相机的特征的维度中位数来估计特征分布中心 ( $m_c$ )。
全局参考与偏移： 全局参考中心 ( $g$ ) 被计算为所有相机特定中心的平均值。每个相机的偏移量 ( $\Delta_c$ ) 计算为其中位数中心与全局中心之间的差异。
缩放校准： 通过减去一个缩放版本的相机偏移量来对特征进行修正： $f'_{ij} = f_{ij} - \lambda \Delta_j$ 。超参数 $\lambda$ 控制校准强度，以防止过度校准（过度校准可能会抹除细粒度的身份信息）。
结果： 该过程在对齐跨相机特征分布的同时，保持了对无监督设置中常见的异常值和噪声伪标签的鲁棒性。

3. 伪标签引导的对比学习

校准后的特征 ( $f'_{ij}$ ) 通过 DBSCAN（基于密度的带噪声空间聚类应用）生成伪标签。识别出的异常样本将被排除以减少噪声。剩余的可靠样本形成聚类中心，这些中心作为聚类对比学习的记忆库。网络使用对比损失进行优化，该损失将相同伪身份的特征拉向其聚类中心，同时将不同身份的特征推开。

核心贡献

双层校准： 本文引入了一个框架，该框架同时在特征提取层面（抑制风格干扰）和分布层面（纠正分布偏移）解决相机偏差。
风格感知度量校准 (SMC)： 一个结合了 IBN-a 和 BNNeck 的模块，用于抑制底层相机风格差异并稳定特征度量空间，从而实现可靠的聚类。
分布感知中位数校准 (DMC)： 一种使用中位数（而非均值）来估计相机特定分布中心，并结合缩放偏移校正的新颖方法。这降低了异常值和噪声伪标签对特征对齐的影响。
性能提升： 大量实验表明，FCBE 有效增强了跨相机特征表示并减少了伪标签噪声。

实验结果

该方法在两个标准基准数据集上进行了评估：Market-1501 和 MSMT17。

Market-1501： FCBE 实现了 87.1% mAP 和 94.7% Rank-1 准确率。相比于代表性的相机感知方法 CDE-Learning (84.7%)，其 mAP 提升了 2.4 个百分点。
MSMT17： FCBE 实现了 44.8% mAP 和 71.5% Rank-1 准确率。相比于 CDE-Learning (38.3%)，其 mAP 提升了 6.5 个百分点；相比于近期的全无监督方法 BMW (44.6%)，提升了 0.2 个百分点。

消融研究：

模块有效性： 移除 SMC（特别是 IBN）会导致性能显著下降，尤其是在更复杂的 MSMT17 数据集上。移除 DMC 或使用基于均值的中心估计而非中位数也会导致较低的 mAP，证实了鲁棒中心估计的必要性。
参数敏感性： 对缩放系数 $\lambda$ 进行了分析。在 Market-1501 上， $\lambda=0.8$ 效果最佳；而在 MSMT17 上， $\lambda=0.6$ 或 $0.7 $为最优。过度校准（在 MSMT17 上$ \lambda > 0.7$）会降低性能，表明在消除偏差与保留身份信息之间存在权衡。
可视化： 相似性矩阵显示，与 ISE 和 CDE-Learning 相比，FCBE 在处理跨相机同身份样本时产生了更紧凑的高相似度块，这表明改进了身份内一致性并减少了身份间混淆。

重要性与主张

本文声称 FCBE 有效解决了无监督 Re-ID 的核心局限：由于相机诱导的偏差导致的聚类可靠性下降。通过显式地将风格抑制与分布对齐解耦，并采用鲁棒统计估计量（中位数）而非敏感估计量（均值），该方法为伪标签生成提供了更稳定的基础。

作者将 FCBE 定位为无监督学习领域的重要进展，证明了同时处理底层风格干扰和高层分布偏移比仅关注聚类策略或高层语义的方法能获得更优的结果。这项工作强调，虽然在校准步骤中目前需要相机标签，但该框架提供了一种处理多相机变化且无需人工身份标注的鲁棒机制。未来的工作建议探索基于伪标签可靠性的动态校准强度调整，以进一步增强适应性。