🤖 machine learning

When Classes Evolve: A Benchmark and Framework for Stage-Aware Class-Incremental Learning

本文引入了阶段感知类增量学习（Stage-Aware Class-Incremental Learning, Stage-CIL）来应对学习随时间发生形态演变的类别的挑战，提出了 Stage-Bench 基准和 STAGE 框架，以有效缓解类间遗忘和类内阶段级退化问题。

原作者： Zheng Zhang, Tao Hu, Xueheng Li, Yang Wang, Rui Li, Jie Zhang, Chengjun Xie

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zheng Zhang, Tao Hu, Xueheng Li, Yang Wang, Rui Li, Jie Zhang, Chengjun Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人识别动物。在人工智能的世界里，有一个著名的挑战叫做“类增量学习”（Class-Incremental Learning）。这就像是一个学生正在参加一系列长期的考试。首先，他学习识别狗；然后，他学习识别猫；接着，是鸟类。棘手的部分在于，机器人的记忆非常有限。每当它学习一种新动物时，它往往会“忘记”旧的动物，这种故障被称为“灾难性遗忘”。通常情况下，科学家们假设一旦机器人学会了什么是“狗”，那么狗永远就是狗。他们假设动物的外形或外观不会随时间发生变化。

但在现实世界中，事情并非如此静止。毛虫不会一直保持毛虫的样子，它会变成蝴蝶。一辆婴儿车在多年后看起来也不会像一辆锈迹斑斑、凹痕累累的老旧汽车那样。如果机器人被教导说“毛虫”和“蝴蝶”是两个完全不同的东西，它就会错过它们是同一生物在不同阶段这一事实。如果它被教导它们是同一种东西，但又不知道如何处理外观上的剧烈变化，它就会感到困惑。这篇论文解决的就是这个问题的特定领域：当你正在学习识别的事物本身在进化时，会发生什么？

由郑张（Zheng Zhang）和胡涛（Tao Hu）领导的研究团队意识到，标准的 AI 训练方法在处理这类特定任务时表现不佳。他们认为，现有的方法将变化中的物体视为静态物体，这导致 AI 在物体变形时会丢失其真实的身份。为了解决这个问题，他们创建了一个新的 AI “游戏”，叫做阶段感知类增量学习（Stage-Aware Class-Incremental Learning，简称 Stage-CIL）。不再仅仅是问“这是一只狗吗？”，这个新游戏还会问：“这是一只狗，它是幼犬还是成年犬？”同时还要确保 AI 不会忘记几周前见过的那些幼犬。

为了证明这是一个真实存在的问题，该团队构建了一个庞大的测试套件，称为 Stage-Bench。想象一本巨大的相册，里面有 10 个不同的章节（比如动物、植物和物体）。在每个章节中，都有 20 种不同的项目，并且对于每一项，都有两张照片：一张是它在“早期阶段”的照片（如幼苗或幼虫），另一张是它在“后期阶段”的照片（如树木或蝴蝶）。总计，他们创建了一个包含近 19,000 张图像的数据集。他们利用这个数据集来测试不同的 AI 模型在学习新项目时，能否在不遗忘旧项目的同时，且关键在于，不遗忘“早期版本”和“后期版本”实际上是同一个东西。

当他们运行测试时，结果令人震惊。他们测试了所有通常被认为是学习新事物“冠军”的顶尖 AI 方法。然而，面对这些进化的物体时，即使是最优秀的现有方法也显得力不从心。它们遭受了作者所说的“类内遗忘”（intra-class forgetting）。这是一种形象的说法，指 AI 能够学会识别蝴蝶，但随后却完全忘记了毛虫长什么样，尽管它们是同一种物种。标准方法试图将毛虫和蝴蝶强行塞进一个单一的、静态的框框里，导致 AI 被巨大的外观差异搞糊涂了。

为了解决这个问题，作者引入了一种名为 STAGE 的新方法。把 STAGE 想成一个聪明的侦探，它保留着物体早期形态的“证件照”（身份锚点）。当物体以进化的新形态出现时，STAGE 不仅仅是进行猜测；它利用一个特殊的“变换模式记忆池”来预测基于旧版本的新版本应该长什么样。这就像是拥有一个心理地图，告诉它：“如果我看到一只毛虫，我就知道它变成蝴蝶后会是什么样子。”

实验表明，STAGE 的表现显著优于竞争对手。在主要测试中，STAGE 达到了 75.11% 的平均准确率，而排名第二的方法仅达到了 59.74%。更重要的是，STAGE 几乎没有遗忘物体的早期阶段，其“类内遗忘”得分仅为 7.48%，而其他方法的分数高达 58.61%。这表明，通过明确教导 AI 理解物体可以随时间变化，而不是假装它们保持不变，我们可以构建出更聪明、更具适应性的系统。论文的结论是，虽然现有的方法在学习新类别方面表现良好，但它们需要一次重大的升级，才能应对我们所生活的这个复杂且不断进化的现实世界。

技术摘要：当类别演化时：一个针对阶段感知类增量学习的基准与框架

问题定义：阶段感知类增量学习 (Stage-CIL)
传统的类增量学习 (CIL) 在其运行逻辑中隐含了一个假设，即语义类别在形态上是静态的；其主要挑战在于如何减轻随着新类别引入而产生的灾难性遗忘。然而，在许多现实场景中，同一语义类别的实例会随着时间的推移经历显著的形态演化（例如，幼虫转化为蝴蝶，或车辆累积损伤）。

本文指出，将标准 CIL 应用于此类场景时存在一个根本性的困境：

将所有阶段归为单一标签会抹平演化结构，从而导致严重的类内特征干扰。
将不同阶段拆分为独立的伪类别则会切断底层的身份联系，无法保持语义一致性。

这导致了一种新形式的类内遗忘 (intra-class forgetting)，即模型即使能够成功区分不同类别，也无法在同一语义类别的不同形态阶段之间维持识别的一致性。标准的领域偏移协议并未明确评估这种在不断扩张的标签空间中的“类别条件身份保持”能力。

方法论：STAGE 框架
为了解决 Stage-CIL 问题，作者提出了 STAGE，这是一个演化感知的参考基准，旨在将稳定的语义身份与阶段特定的动态变化解耦。该框架基于“先预测后分类”的流水线运行：

身份锚点构建 (阶段 0)：
- 模型冻结骨干网络（使用预训练模型，具体为 CLIP ViT-B/16），并学习特定任务的图像与文本投影头。
- 对于每个新类别，它基于初始形态阶段（阶段 0）构建一个稳定的身份原型 ( $p^y_0$ )。该原型被存储为一个固定向量，并作为语义锚点。
通过记忆池进行预测演化 (阶段 1)：
- STAGE 并不使用混合阶段的特征来替换锚点，而是利用阶段 0 的锚点来预测后续阶段（阶段 1）的演化类别原型 ( $\hat{p}^y_1$ )。
- 这是通过演化感知记忆池 (Evolution-aware Memory Pool) 实现的，该记忆池是一个包含可重用转换模式的固定大小的可训练记忆体。
- 模型使用注意力机制从记忆池中选择与当前类别锚点最匹配的前 $k$ 个模式。
- 演化网络 ( $E$ ) 根据被关注的上下文对锚点进行残差更新，从而预测阶段 1 的原型： $\hat{p}^y_1 = p^y_0 + E(p^y_0, c^y)$ 。
分类与训练目标：
- 阶段无关分类： 在推理阶段，阶段标签是不可用的。模型通过计算输入与所有可用阶段（原始锚点或预测的演化原型）中最匹配原型的逻辑值 (logits) 来进行分类。
- 损失函数： 训练目标结合了标准交叉熵与特定项：
  - 演化损失 ( $L_{evo}$ )：最小化预测的阶段 1 原型与实际阶段 1 原型之间的距离，使预测的位移方向与真实值对齐。
  - 模式重演 ( $L_{pattern}$ )：确保演化预测器在记忆池中的既有模式上保持一致性，防止转换算子发生任意变化。
  - 原型重演 ( $L_{proto}$ )：保持与固定锚点空间的对齐，以维持类间判别力。

基准测试：Stage-Bench
作者引入了 Stage-Bench，这是第一个专为 Stage-CIL 定制的跨领域基准。

范围： 涵盖 10 个不同的语义领域（动物、植物、人工制品），每个领域包含 20 个类别，总计 400 个形态阶段。
协议： 采用两阶段机制（阶段 0：初始形态；阶段 1：演化形态）以及受控的渐进式学习协议。
指标： 除了标准的平均准确率外，该基准还引入了两个诊断性指标：
- 类间遗忘 (Inter-class Forgetting, Inter-F)：衡量已学习类别的准确率下降情况。
- 类内遗忘 (Intra-class Forgetting, Intra-F)：专门衡量在模型使用后期阶段数据进行更新后，该类别最早形态阶段的性能下降情况。这隔离了跨阶段身份一致性的退化问题。

关键结果
在 Stage-Bench 上的广泛实验表明：

现有方法的局限性： 最先进的 CIL 和领域增量学习 (DIL) 方法（如 iCaRL, L2P, DualPrompt, MOS, SimpleCIL）在 Stage-CIL 下表现显著变差。它们表现出极高的 Intra-F 分数，表明它们无法保持演化形态间的身份一致性。
STAGE 的表现： STAGE 持续优于所有竞争对手。在主要的二阶段基准测试中，它实现了 75.11% 的平均准确率和 56.44% 的最终准确率，显著超过了表现次优的 MOS 方法（其平均准确率为 59.74%）。
遗忘减少： STAGE 大幅降低了遗忘，其 Intra-F 为 7.48%，而其他方法在 24.44%–58.61% 之间。
泛化能力： 当在重构的三阶段设置（物体领域）下进行测试时，STAGE 保持了明显的领先地位，其 Intra-F 仅为 0.31%，这表明该方法可以扩展到更复杂的演化机制中。

意义与主张
本文提出了三个主要贡献：

形式化 Stage-CIL：它建立了一种新的持续学习设定，明确解决了在类内形态演化过程中保持语义身份的挑战，将其与标准的 CIL 和 DIL 区分开来。
基准测试：提供了 Stage-Bench 及相关的诊断指标（Inter-F 和 Intra-F），用于严格评估并隔离类内遗忘，而之前的基准测试未能捕捉到这一点。
概念验证：通过 STAGE，作者证明了显式建模阶段转换是解决类内遗忘问题的一个可行且充满前景的方向。通过将稳定的身份锚点与动态的转换模式分离，该框架能够从早期表示中预测后期的形态形式，从而有效地缓解了“类内遗忘”问题。

作者总结道，传统的 CIL 简化处理（忽略阶段结构）不足以应对演化的类别，未来的持续学习系统必须考虑语义类别内部随时间变化的阶段特定演化。

技术摘要：当类别演化时：一个针对阶段感知类增量学习的基准与框架

类似论文