🤖 AI

SynCo: Synthetic Hard Negatives for Contrastive Visual Representation Learning

SynCo 引入了一种通过在表示空间上生成多样化的合成硬负样本，来增强自监督对比视觉表示学习的新型框架，其在 ImageNet 分类和下游检测任务上的表现优于 MoCo-v2 和 MoCHI 等最先进的方法。

原作者： Nikos Giakoumoglou, Tania Stathaki

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikos Giakoumoglou, Tania Stathaki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别猫。你没有老师指着照片说：“那是猫。”相反，你必须让机器人学会自主学习，科学家称之为“自监督学习”。机器人被给予数百万张未标记的照片和一个简单的规则：“如果两张图片看起来像是来自同一个源头，它们在你的大脑中应该靠得很近。如果它们看起来不同，就把它们推开。”这就是“对比学习”（contrastive learning）的核心，这种方法已成为教计算机视觉的明星技术。

但棘手之处在于：机器人通过“受挫”能学得最好。如果你给它看一张猫的照片和一张烤面包机的照片，区分它们很容易。但如果给它看一只猫和一只长得极其像猫的毛茸茸的狗，机器人就必须非常努力地思考才能分辨差异。这些令人困惑、长相相似的例子被称为“硬负样本”（hard negatives）。问题在于，寻找这些棘手的例子对计算机来说是一项艰苦的工作，而且有时机器人会对那些简单的例子感到厌倦并停止学习。这篇论文提出了一个简单的问题：如果我们能在机器人需要的时候，即时发明出属于我们自己的“难题”呢？

论文的作者，来自伦敦帝国理工学院的 Nikolaos Giakoumoglou 和 Tania Stathaki，引入了一种名为 SynCo（代表 Synthetic Contrastive learning，即合成对比学习）的新方法。把机器人的记忆想象成一个巨大的“非猫”图书馆（负面示例），里面存放着它见过的所有东西。通常，机器人只是从这个图书馆中随机挑选书籍来与新图片进行对比。SynCo 则改变了游戏规则，它扮演着一位创意厨师的角色。它不再仅仅是挑选一本书，而是从图书馆中选取最令人困惑的书籍，并将它们混合在一起，创造出一本全新的、甚至更加令人困惑的“假书”。

他们并不只是随机混合，而是使用了六种不同的“食谱”来创造这些合成的硬负样本：

插值法 (Interpolation)： 将一张“猫”的照片与一张“令人困惑的狗”的照片进行融合，创造出一个位于两者中间的新奇怪异的混合体。
外推法 (Extrapolation)： 将上述融合过程进一步向“令人困惑的狗”的方向延伸，从而推向机器人认为“非猫”定义的边界。
混合法 (Mixup)： 将两只不同的“令人困惑的狗”揉捏在一起，看看机器人是否仍能分辨出它们不是猫。
噪声注入 (Noise Injection)： 在那张“令人困惑的狗”的照片中加入一些静电或“雪花”噪声，使其看起来模糊不清，增加难度。
扰动法 (Perturbation)： 微调那张“令人困淆的狗”的照片，使其向更像猫的方向移动一点点，以此测试机器人的极限。
对抗法 (Adversarial)： 对那张“令人困惑的狗”进行一次非常具体且经过计算的微调，使其看起来尽可能像猫，但实际上又不是猫。

通过向机器人喂养这些定制的、极具挑战性的例子，SynCo 让机器人比以前更快地磨练了感官。论文显示，这种方法效果显著。在著名的 ImageNet 数据集（一个包含 120 万张图像的海量集合）上进行测试时，经过 SynCo 训练的机器人识别物体的能力优于之前的顶尖方法。在 200 轮标准训练后，它的准确率达到了 67.9%，超过了之前的最佳方法 (MoCo-v2) 0.4%，也超过了另一种硬负样本方法 (MoCHI) 1.0%。

神奇之处不仅止于识别图片。作者还检查了这些更聪明的机器人是否能帮助处理更难的任务，比如在杂乱的场景中寻找物体（检测）。在 PASCAL VOC 数据集上，SynCo 达到了 57.2% 的准确率；而在更难的 COCO 数据集上，它将定位边界框的能力提升了 1.0%，将分割物体的能力提升了 0.8%。

研究人员谨慎地指出，虽然这是一个显著的进步，但它并不是解决一切问题的“魔杖”。他们发现，如果你训练时间过长（800 轮），这种优势会缩小，这表明任务的“难度”需要恰到好处——既不能太容易，也不能变得无法完成。他们还指出，虽然他们使用了一个特定的框架 (MoCo) 来进行测试，但这种混合并创造合成挑战的思想可以应用于许多其他的学习方法。

简而言之，SynCo 表明，通过发挥一点创造力并制造我们自己的“困惑”示例，我们可以让计算机更清晰、更快速、更高效地看清世界。这提醒我们，有时为了学习真相，你需要用最好的“伪造品”来进行练习。

技术摘要：SynCo —— 用于对比视觉表示学习的合成硬负样本

1. 问题陈述

对比学习已成为自监督视觉表示学习的主导范式，其依赖于对相似（正样本）和不相似（负样本）数据对的判别。然而，一个关键的瓶颈仍然存在：如何高效地利用硬负样本（hard negatives）。硬负样本是指与锚点（anchor，即正样本实例）非常相似、位于决策边界附近的样本。虽然这些样本对于提升模型的判别能力至关重要，但现有方法面临着显著挑战：

计算成本： 诸如 SimCLR 之类的方法需要极大的批次大小（batch sizes）以确保有足够的负样本，这极大地消耗了计算资源。
内存开销： 基于队列（queue-based）的方法（如 MoCo）维护着庞大的内存库（memory banks），但保持这些内存库更新以包含高质量、具有挑战性的负样本在计算上是非常昂贵的。
静态难度： 现有方法往往难以动态调节代理任务（proxy task）的难度。随着训练的进行，模型可能会迅速学会区分大多数负样本，导致只剩下极少数真正具有挑战性的样本，从而可能导致表示质量进入平台期。

近期的趋势转向了大模型（foundation models），尽管观察到自监督学习构成了 AI 进步的“主体”，但针对硬负样本策略的具体优化在自监督学习领域仍相对缺乏探索。

2. 方法论：SynCo

作者提出了 SynCo（Synthetic negatives in Contrastive learning，对比学习中的合成负样本），这是一个在表示空间内即时生成合成硬负样本的框架。SynCo 基于 MoCo-v2 框架构建，通过在训练期间动态创建多样化且具挑战性的负样本，避免了对大规模批次大小或复杂内存更新的需求。

2.1 核心机制

SynCo 的运作方式是从现有的内存队列（ $\hat{Q}_N$ ）中选择前 $N$ 个最难的负样本，并使用六种不同的策略生成新的合成样本（ $S$ ）。这些合成样本与原始基于内存的负样本拼接在一起，用于计算 InfoNCE 损失。

六种生成策略如下：

插值负样本（类型 1）： 通过在查询 $q$ 和随机选择的一个硬负样本 $n_i$ 之间进行线性插值来创建合成特征。公式为 $s_k = \alpha_k \cdot q + (1 - \alpha_k) \cdot n_i$ ，其中 $\alpha_k \in (0, 0.5)$ 。这使得合成样本处于查询与负样本之间的有意义区域。
外推负样本（类型 2）： 在特征空间中探索查询的反方向，即向最难负样本的方向进行外推： $s_k = n_i + \beta_k \cdot (n_i - q)$ ，其中 $\beta_k \in (1, 1.5)$ 。
Mixup 负样本（类型 3）： 结合成对的最难现有负样本特征（ $n_i, n_j$ ）来创建一个混合体： $s_k = \gamma_k \cdot n_i + (1 - \gamma_k) \cdot n_j$ ，其中 $\gamma_k \in (0, 1)$ 。
噪声注入负样本（类型 4）： 向最难的负样本添加受控的高斯噪声，以防止对特定模式的过拟合： $s_k = n_i + \mathcal{N}(0, \sigma^2 \cdot I)$ 。
扰动负样本（类型 5）： 使用基于梯度的扰动作用于最难的负样本，以增加它们与查询的相似度： $s_k = n_i + \delta \cdot \nabla_{n_i} \text{sim}(q, n_i)$ 。
对抗性负样本（类型 6）： 应用单位幅度的对抗性扰动，以最大化与查询的相似度： $s_k = n_i + \eta \cdot \text{sign}(\nabla_{n_i} \text{sim}(q, n_i))$ 。

2.2 损失集成

修改后的 InfoNCE 损失函数同时包含了原始的基于内存的负样本（ $Q$ ）和合成负样本集（ $S$ ）：
$L(q, k, Q, S) = -\log \frac{\exp(q^T \cdot k / \tau)}{\exp(q^T \cdot k / \tau) + \sum_{n \in Q} \exp(q^T \cdot n / \tau) + \sum_{s \in S} \exp(q^T \cdot s / \tau)}$
这种方法在不显著增加计算开销的情况下增加了负样本池的多样性，因为生成合成样本的成本相对于增加队列规模而言可以忽略不计。

3. 主要贡献

论文概述了三个主要贡献：

SynCo 框架： 一种新型对比学习方法，利用从内存队列中即时生成的合成硬负样本。它在不显著增加计算成本的前提下，增强了模型的判别能力。
经验性改进： 通过引入这些合成负样本，在 ImageNet ILSVRC-2012 的下游性能（具体为线性评估和半监督学习任务）上展示了改进。
迁移学习能力： 证据表明 SynCo 学习到了更强、更具迁移性的表示，在 PASCAL VOC 和 COCO 的目标检测任务中优于监督基线和基于 MoCo 的方法。

4. 实验结果

4.1 ImageNet 线性评估

200 Epochs： SynCo 达到了 67.9% 的 Top-1 准确率，超过了 MoCo-v2 (+0.4%) 和 MoCHI (+1.0%)。它也优于 PCL-v2 和 DCL。
800 Epochs： SynCo 达到了 70.7% 的 Top-1 准确率。虽然在如此长的训练时长下并未超越 MoCo-v2 (71.1%)，但它显著优于 MoCHI (68.7%)。作者指出，在 800 epoch 时，代理任务可能会变得过于困难，这也是 MoCHI 观察到的现象。

4.2 半监督学习

使用 1% 和 10% 的有标签 ImageNet 数据：

1% 标签： SynCo 达到了 50.8% 的 Top-1 准确率，比 MoCo-v2 高出 +2.6%，比 SimCLR 高出 +2.5%。
10% 标签： Syn%，达到 66.6% 的 Top-1 准确率，优于 MoCo-v2 (+0.5%) 和 SimCLR (+1.0%)。

4.3 迁移至目标检测

PASCAL VOC： SynCo 达到了 57.2% AP，与 MoCHI (57.5%) 相当，并显著优于监督基线 (+3.7 AP)。
COCO： SynCo 在目标检测方面表现出相对于监督基线和 MoCo-v2 的持续改进。具体而言，它使 MoCo-v2 的边界框检测提高了 +1.0% AP，实例分割提高了 +0.8% AP。它达到了与检测专用方法（如 DetCo 和 InsLoc）相竞争的结果。

4.4 表示空间分析

代理任务难度： 与 MoCo-v2 相比，SynCo 展示了一个更具挑战性的代理任务，这体现在较低的代理任务准确率（即 key 的排名高于所有 negative 的 query 百分比）以及更高的下游性能。
均匀性与对齐性： 与 MoCo-v2 和 MoCHI 相比，SynCo 显著增强了表示的均匀性（uniformity），表明其对表示空间的利用率更高。
类别集中度： 在 800 epoch 后，SynCo 实现了 1.384 的类间/类内距离比值，显著高于 MoCo-v2 (1.146)，反映了改进的线性可分性。

5. 重要性与主张

论文认为，通过创新的硬负样本策略来重新审视并现代化自监督方法，对于推进 AI 系统至关重要。作者声称 SynCo：

增强了效率： 它在不增加大量批次大小或内存队列的情况下，提高了训练速度和表示质量。
调节任务难度： 通过生成合成硬负样本，SynCo 动态地调节了自监督代理任务的难度，迫使模型学习更鲁棒、更通用的特征。
广泛适用性： 虽然由于其较低的批次需求而实现在 MoCo 框架内，但作者表示，合成硬负样本生成策略是通用的，适用于任何使用 InfoNCE 损失的对比学习方法（如 SimCLR, CPC, PIRL）。
未来潜力： 论文建议，通过在训练后期动态调整或停止硬负样本生成，可以进一步提高性能，并指出其在 NLP 和音频处理领域之外的潜在适用性。

作者保持了谦逊的态度，承认虽然 SynCo 改进了现有方法，但如何平衡硬负样本生成（例如何时停止或调整）仍是一个有待进一步研究的领域。