💻 computer science

Unsupervised Incremental Learning Using Confidence-Based Pseudo-Labels

本文提出了 ICPL，一种利用基于置信度的伪标签使模型能够从无标签数据中学习新类别的无监督类增量学习方法，在实现优于最先进的类增量持续学习（class-iNCD）方法性能的同时，展示了其在细粒度数据集和资源受限环境下的实用性。

原作者： Lucas Rakotoarivony

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Lucas Rakotoarivony

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，机器在识别模式方面已变得异常出色，从识别照片中的猫到诊断疾病。然而，这些数字大脑通常是在受控环境中训练的，其需要了解的事物清单是固定且完整的。在现实世界中，情况要流变得多。新的物体、动物或情境不断出现，而一个无法在不经过重新训练的情况下学习新事物的系统，其用途是有限的。这一挑战被称为增量学习（incremental learning）。其目标是教导模型随着时间的推移学习新类别，同时记住它之前学到的一切，而这一任务因“灾难性遗忘”（catastrophic forgetting）现象而变得复杂——即学习新信息会导致系统丢失旧知识。传统上，解决这一问题需要人类费力地为每一张新图像标注其正确的名称，这一过程缓慢、昂贵，且在面对自然界或工业界中源源不断的各种数据时，往往无法实现规模化。

一位来自泰雷兹（Thales）的研究人员提出了另一种前进方向，这种方法无需在这些学习阶段完全移除对人工标签的需求。他们开发了一种名为 ICPL 的方法，该方法允许人工智能仅利用原始的、未标记的图像来学习关于新类别物体的知识。系统不再等待人类说：“这是一只新种类的鸟”，而是根据视觉特征将相似的图像组合在一起，为这些组创建自己的临时名称。随后，研究人员引入了一种安全机制，以确保系统仅在其非常确信自己判断正确时才信任自己的猜测。通过将这种自标注技术集成到现有的学习框架中，他们展示了机器如何在长期的过程中持续学习新事物，并在没有人工干预的情况下保留对过去的记忆。

这项工作的核心解决了我们测试和构建这些系统时的一个特定差距。以往处理未标记数据的研究方法通常将该问题视为一个简单的聚类任务，即计算机只是将事物分组，而不关心这些组是否符合现实。研究人员认为，这种方法对于现实世界的应用是有缺陷的，因为它允许系统即使在混淆了旧类别与新类别的情况下仍然是“正确”的。例如，一个系统可能会错误地将一种新类型的汽车标记为旧类型的汽车，反之亦然，但在旧的测试规则下，它仍能获得完美的分数。为了修复这个问题，研究人员创建了一种新的评估协议，将计算机自建的组与其在现实世界中的实际类别锁定在一起。这确保了在测试系统时，衡量的是它区分不同事物的能力，而不仅仅是将其分类到不同堆栈中的能力。

为了生成这些自建标签，研究人员使用了一种标准的组合算法，该算法根据图像在计算机内部表示中的相似程度来组织图像。想象一下，计算机观察着一堆未标记的照片，并将它们排列成簇，使得相似的项靠在一起。研究人员随后计算了每张图像的置信度得分，测量其与分配组的契合紧密程度。如果一张图像位于簇的中心，系统对其标签的置信度就很高；如果它位于边缘，系统则表示不确定。该方法随后会丢弃这些不确定的图像，仅使用高置信度的图像来训练模型。这种选择性的过程至关重要，因为使用所有的自生成标签（包括那些带有噪声和错误的标签）会导致模型性能下降。

该方法的测试结果基于两个主要的图像数据集：一个包含 100 个日常物品类别，另一个包含 100 个自然图像类别。研究人员将他们的无监督方法与标准的监督方法（即由人类提供所有标签）进行了对比。他们发现，虽然这种自教导方法导致准确率较人工标注版本略有下降，但差距小得令人惊讶。在许多场景中，性能损失不到 10%，研究人员认为，与标注数据所需的巨大时间和劳动力相比，这种权衡是非常值得的。更重要的是，当他们将该方法与其他旨在发现新类别且无需标签的现有技术进行比较时，其表现显著优于后者。在涉及许多增量步骤的长期学习场景中，该方法的最终准确率比表现最好的以往无监督技术高出 5% 以上。

研究还探讨了该方法在更复杂的现实场景中（如区分不同品种的狗或不同型号的汽车等细微差别明显的场景）的表现如何。他们在细粒度数据集上进行了测试，发现该方法依然有效，尽管他们注意到，在开始增量学习之前，在海量通用数据集上对模型进行预训练实际上会损害性能。这表明，对于高度专业化的任务，模型最好从零开始使用新数据进行学习，而不是依赖广泛的、预先存在的知识。此外，研究人员分析了该方法的计算成本，并发现其不仅训练速度更快，而且所需的计算能力也低于全监督方法。通过过滤掉不确定的数据，系统处理的图像更少，与标准方法相比，将训练所需的能量和时间减少了约四分之一。

这项工作证明，人工智能可以被设计为从现实世界的原始数据中持续学习，而无需不断的监督。通过结合简单的聚类技术、严格的置信度过滤器以及一种更严谨的结果测试方式，研究人员展示了一条通往让机器能够随着新情况出现而不断适应的切实可行之路。研究结果表明，创造一个像人类一样学习——通过观察、分组并精炼对新事物的理解，而无需针对每个例子都有老师指导——的 AI 之梦正在成为一个现实，尤其是在资源有限且数据丰富但缺乏标签的环境中。

技术摘要：基于置信度伪标签的无监督增量学习 (ICPL)

问题定义

深度学习模型通常在训练期间需要固定的类别集，无法识别现实世界流式数据中出现的各种新类别。虽然类增量学习 (Class-Incremental Learning, CIL) 方法通过学习新类同时保留旧知识来解决这一问题，但它们依赖于一个不切实际的假设，即每个增量数据集都由人类进行完整标注。相反，类增量新类别发现 (Class-Incremental Novel Category Discovery, class-iNCD) 方法试图从无标签数据中学习，但在处理长期的大规模增量任务序列时往往表现不佳。

本文确定了无监督增量学习中的一个空白点，即模型必须在没有任何人工标注的情况下，从原始无标签图像中学习新类别并保留先验知识。由于存在灾难性遗忘和引入噪声伪标签的双重风险，这项任务极具挑战性。

方法论：ICPL

作者提出了 ICPL（基于置信度伪标签的增量学习），这是一个旨在利用从无标签数据中生成的高质量伪标签来取代人工标注的框架。

1. 伪标签生成

ICPL 的核心涉及一种基于聚类的方案，用于为新的增量任务 ( $k \ge 2$ ) 生成标签：

特征提取： 使用在先前任务上训练好的特征提取器 $m_{k-1}$ 为当前任务的无标签数据生成嵌入（embeddings）。
聚类： 对这些嵌入应用 KMeans 算法，假设属于同一类别的图像在嵌入空间中距离较近。
置信度评分： 为了减轻无监督聚类固有的噪声问题，作者引入了置信度选择机制。他们计算样本与聚类中心之间的距离矩阵。通过对距离的倒数应用 softmax 变换来得出置信度分数。
选择： 仅选择置信度分数高于阈值 $\alpha$ （实验中设为 0.85）的样本，以构成用于训练的伪标签数据集 $\hat{D}_k$ 。

2. 与 CIL 的集成

ICPL 并非一种用于防止遗忘的独立算法，而是一个包装器，使现有的监督式 CIL 方法能够在无监督设置下运行。伪标签 $\hat{y}$ 直接取代了流行 CIL 算法中的真实标签 $y$ ，包括：

以数据为中心的方法： 重放（Replay，使用重放缓冲区）。
以算法为中心的方法： iCaRL（使用知识蒸馏）和 WA（权重调整）。
以模型为中心的方法： FOSTER（使用特征增强和压缩）。

该框架还结合了数据增强（如 AutoAugment、MixUp），并且每 $\tau$ 个 epoch（例如 $\tau=10$ ）重新计算一次伪标签，以随着模型的改进来优化标签。

3. 评估协议

作者认为，标准的“聚类准确率”（使用匈牙利分配将聚类与类别匹配）对于增量学习是不充分的，因为这允许模型通过混淆旧类和新类（例如，将所有新类预测为旧类，反之亦然）来获得 100% 的准确率。

静态编码： 作者提出了一个静态编码评估协议。伪聚类与真实类别之间的映射关系一旦建立便固定下来。只有在引入新类别时才会添加新的关联。这确保了任务间的误分类会被惩罚，从而为无监督增量学习提供了一个更严格、更真实的指标。

核心贡献

ICPL 框架： 一种简单且有效的方案，通过生成基于置信度的伪标签来实现无监督增量学习，消除了对人工标注的需求。
集成与分析： 该方法被集成到最先进的 CIL 方法（Replay, iCaRL, WA, FOSTER）中，并对与全监督基准相比的性能下降进行了详细分析。
优于 Class-iNCD： 该工作证明，在长期增量学习场景中，ICPL 的表现显著优于现有的 class-iNCD 和广义类别发现 (GCD) 方法。
高效性与鲁棒性： 该方法被证明在各种数据集（包括细粒度数据集）上具有计算效率和鲁棒性，并能适应不同的聚类算法。

实验结果

作者在 CIFAR100、ImageNet100 以及细粒度数据集（Stanford Cars、FGVC-Aircraft、Oxford-IIIT Pet）上评估了 ICPL。

与监督学习的比较： 虽然无监督学习自然会导致相对于全监督 CIL 的性能下降，但 ICPL 限制了这种退化。平均而言，最终的准确率下降约为 10.27%。在特定配置下（例如 CIFAR100 上的 Base50 Inc10），FOSTER + ICPL 实现了 65.68% 的平均准确率，超过了监督式的 WA 方法（62.96%）。
与 Class-iNCD 的比较： 在各种设置下，ICPL 的最终准确率比最先进的 class-iNCD 方法（FRoST, GM）和 GCD 方法（DCCL, CMS）高出 5% 以上。值得注意的是，class-iNCD 方法在长期增量设置（例如 Base0 Inc5）中表现非常吃力，而 ICPL 则保持了较高的准确率。
细粒度数据集： 该方法在细粒度数据集上也被证明是有效的，展示了实际应用价值。有趣的是，在 ImageNet 上进行预训练略微降低了其在这些特定数据集上的表现，这表明通用特征可能会掩盖细粒度分类所需的微妙差异。
计算复杂度： 与直觉相反，无监督方法降低了计算成本。通过仅选择高置信度样本（约 70% 的数据）并使用高效的聚类，ICPL 比监督基准减少了 24% 的 TFLOPs 和训练时间。

意义与主张

本文将 ICPL 定位为在需要从无标签数据进行持续学习的现实应用中的实用解决方案。作者主张：

实用性： 通过消除对每个增量任务进行人工标注的依赖，ICPL 使增量学习在资源受限和大规模环境中变得可行。
评估严谨性： 提出的静态编码协议解决了以往评估方法中的关键缺陷，确保模型是在真正学习不同的类别，而不仅仅是在对数据进行聚类。
基准建立： 作者希望 ICPL 能作为一个新的无监督增量学习基准，证明简单的聚类结合置信度选择可以在长期场景中胜过复杂的专门类别发现方法。

研究结论认为，尽管无监督增量学习在标签噪声方面面临挑战，但 ICPL 方法有效地平衡了性能、计算效率以及消除人工标注需求之间的关系。