🤖 AI

ACIL: Active Class Incremental Learning for Image Classification

本文提出了 ACIL，一种用于类增量学习的新型主动学习框架，该框架利用不确定性和多样性标准来选择具有信息量的样本进行标注，从而在显著降低标注成本的同时，有效地缓解灾难性遗忘。

原作者： Aditya R. Bhattacharya, Debanjan Goswami, Shayok Chakraborty

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Aditya R. Bhattacharya, Debanjan Goswami, Shayok Chakraborty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个非常聪明的机器人来识别不同类型的动物。在现实世界中，你不能一次性把包含每种动物的一百万张带标签的照片全部塞进机器人的大脑里。相反，机器人是分**阶段（episodes）**学习的：首先，它看几张猫的照片；然后，看几张狗的照片；接着是鸟类，以此类推。

问题在于，当机器人学习鸟类时，它往往会“忘记”猫长什么样。这被称为灾难性遗忘（catastrophic forgetting）。

此外，这个学习过程还有一个巨大的成本：人工标注（human annotation）。为了让机器人学习，必须由人类观察每一张照片并说：“是的，这是一只猫。”如果你有一百万张照片，那就是一百万小时的人力工作。现有的多数方法都假设你在每个阶段都要为每一张照片进行标注，这不仅极其昂贵，而且非常浪费，因为机器人以后并不会再次看到这些特定的照片。

解决方案：ACIL（“智能策展人”）

该论文的作者提出了一种名为 ACIL（主动类增量学习）的新系统。你可以把 ACIL 想象成一位博物馆的智能策展人。

它是这样运作的，这里使用简单的类比：

1. “部分标注”规则

在传统方法中，策展人被迫为到达的每一个新展品进行标注。
而在 ACIL 中，策展人被分配了一个很小的“预算”时间。他们并不标注所有内容。相反，他们看着一大堆未标记的照片，只挑选出最重要的一些来进行标注。

类比： 想象你在为长途旅行打包行李，但空间只能容纳 10 件物品。你不会只是随机抓取一些袜子，而是会仔细挑选出对整个旅程最有用的 10 件物品。ACIL 挑选的就是“最有用的”照片来进行标注。

2. “记忆库”（Exemplars/典型样本）

当机器人完成关于猫的学习后，它并不会扔掉那些照片。它会在一个“记忆库”中保留一小部分精选的、最好的猫的照片。

转折点： 当机器人开始学习狗的时候，它不仅仅是看新的狗的照片。它还会查看它关于猫的“记忆库”。
创新之处： 大多数系统只从当前的堆栈中挑选新照片。ACIL 则足够聪明，它意识到：“等等，我也需要让旧的猫的照片在我的记忆中保持新鲜感！”因此，它会将它的标注预算进行拆分：一部分用于挑选最好的新狗照片，另一部分则用于挑选最好的旧猫照片来进行重新验证。

3. 选择策略（不确定性与多样性）

ACIL 如何决定挑选哪些照片？它使用了两条规则：

不确定性（Uncertainty）： 它寻找那些机器人感到困惑的照片。“这是猫还是狗？”如果机器人不确定，就需要人类来标注，以便机器人学习。
多样性（Diversity）： 它确保所选的照片彼此之间都是不同的。它不会挑选 10 张完全相同的猫在同一个姿势下坐着的照片。它会挑选一只睡觉的猫、一只奔跑的猫和一只进食的猫。这能给机器人提供一个更全面的视角。

结果：在不损失智能的前提下节省时间

论文在六个不同的图像数据集（如 MNIST、CIFAR 和 Tiny ImageNet）上测试了该系统。以下是他们的发现：

巨大的节省： 由于 ACIL 只标注极少比例的照片（即“典型样本”），而不是全部照片，它大幅减少了人工成本（标注成本）。例如，在某个数据集上，它比标注所有内容的标准方法节省了大约 4 倍的工作量。
没有遗忘： 尽管标注的照片如此之少，机器人并没有忘记旧的类别。它的表现与那些标注了所有内容的昂贵方法一样出色。
优于“随机”挑选： 与其他仅仅进行随机或简单抽样的“主动学习”方法相比，ACIL 要聪明得多，也准确得多。

简而言之

ACIL 是一种教机器人随着时间推移学习新事物的方法，而无需人类去做所有枯燥的标注每一张图片的工作。它就像一位睿智的图书管理员，知道该在书架上保留哪几本书才能记住整个图书馆，从而确保机器人在学习新事物的同时，依然能对旧事物保持聪慧，同时还节省了大量的精力和金钱。

技术摘要：ACIL – 用于图像分类的主动类增量学习

1. 问题陈述

本文探讨了计算机视觉中类增量学习 (Class Incremental Learning, CIL) 的挑战，即深度神经网络 (DNN) 必须从情节式数据（episodic data）中顺序学习新类，同时保留对先前已学类的知识。CIL 中的一个主要障碍是灾难性遗忘 (catastrophic forgetting)，即针对新类优化网络的过程会抹除旧类的知识。

现有的 CIL 研究主要侧重于减轻遗忘，但通常假设每一情节中的所有训练样本都经过了完整标注。作者认为这一假设是不切实际且低效的，原因有二：

标注成本高昂： 手动标注在时间、劳动力和专业知识方面都非常昂贵。
标注浪费： 在情节式设置中，当前情节的大部分数据在未来的情节中是无法获取的。因此，对当前情节中的所有样本进行标注是一种精力的浪费，因为只有这些样本的一个子集（典型样本/exemplars）才会被用于在后续步骤中防止遗忘。

本文提出了一个新的设定：在每个情节中，仅对一小部分数据进行标注，而大部分数据保持未标注状态。目标是开发一个框架，用以选择最小的一组典型样本 (exemplar samples) 进行标注并传播到未来的情节中，从而在有效防止灾难性遗忘的同时，降低标注成本。

2. 方法论：ACIL 框架

作者提出了 ACIL (Active Class Incremental Learning) 框架，该框架将主动学习 (Active Learning, AL) 策略集成到 CIL 流水线中。其核心机制是在每个情节中选择一个固定大小 $k$ 的典型集，对其进行人工标注，并将其附加到下一个情节的数据中。

2.1 问题设置

数据流： 训练数据以 $N$ 个连续情节的形式到达。每个情节 $n$ 包含一个小的有标签集 ( $X^L_n$ )、一个大的无标签集 ( $X^U_n$ ) 以及来自前一个情节的典型集 ( $E_{n-1}$ )。
约束条件： 模型在 $X^L_n$ 和 $E_{n-1}$ 上进行训练。系统必须从当前情节中选择一个新的规模为 $k$ 的典型集 $E_n$ 进行标注。
选择来源： $E_n$ 通过从 $X^U_n$ （当前无标签数据）、 $E_{n-1}$ （前一典型集）以及潜在的 $X^L_n$ （尽管作者指出由于规模原因优先考虑 $X^U_n$ ）中进行选择来构建。

2.2 预算分配策略 (Budget Splitting Strategy)

为了平衡学习新类和保留旧知识，ACIL 将标注预算 $k$ 分配给当前的无标签集 ( $X^U_n$ ) 和之前的典型集 ( $E_{n-1}$ )。

分配比例取决于每个集合中存在的类别数量（ $|C_{episode}|$ 对比 $|C_{exemplar}|$ ）。
公式：
$k_{unlabeled} = \left( \frac{|C_{episode}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$
$k_{exemplar} = \left( \frac{|C_{exemplar}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$
这确保了典型集 $E_n$ 能够维持对迄今为止所见所有类别的表示，从而减轻遗忘。

2.3 主动采样策略

在分配的预算内选择特定样本是由结合了不确定性 (uncertainty) 和多样性 (diversity) 的准则驱动的。

不确定性： 使用模型预测的香农熵 (Shannon's entropy) 来衡量。
多样性： 通过将候选集划分为 $B$ 个簇（其中 $B$ 是预算）来实现，使得每个簇内的方差最小化。
优化： 作者将问题表述为一个加权集合划分问题，旨在最小化各划分内的加权方差，其中权重为预测的不确定性。
$\text{argmin}_P \sum_{b=1}^{B} \sum_{x \in X_b} I(x) ||F(x) - c_b||^2$
其中 $I(x)$ 是不确定性（熵）， $F(x)$ 是特征嵌入。
算法： 该问题是一个 NP-hard 问题，通过加权 K-Means (Weighted K-Means) 进行近似处理。在每个划分中，选择距离加权质心最近的样本进行标注。

2.4 损失函数

使用以下组合训练 DNN：

加权交叉熵损失 ( $L_{WCE}$ )： 应用于有标签数据 ( $X^L_n \cup E_{n-1}$ ) 以处理类别不平衡问题，其权重与类别频率成反比。
知识蒸馏损失 ( $L_D$ )： 应用于典型集 $E_{n-1}$ ，旨在将知识从前一模型 ( $M_{n-1}$ ) 转移到当前模型 ( $M_n$ )，以防止遗忘。
$L = L_{WCE} + \lambda L_D$

3. 核心贡献

新颖的学习范式： 引入了一种 CIL 设置，其中不再假设情节数据的完整标注，解决了当前 CIL 基准测试中标注成本高和效率低的问题。
ACIL 框架： 一种特定的算法，它根据不确定性和多样性的双重准则选择典型样本，并利用预算分配策略来确保对新类和旧类的覆盖。
效率与性能： 证明了 ACIL 可以实现与假设全量标注的 SOTA CIL 方法相当（在某些情况下甚至更好）的性能，同时大幅减少了需要人工标注的样本数量。

4. 实验结果

该框架在六个视觉数据集上进行了评估：MNIST, SVHN, CIFAR-10, CIFAR-100, COIL 和 Tiny ImageNet。

准确率： ACIL 的表现显著优于主动学习基准方法（如 Random, Coreset, BADGE），因为这些方法由于仅从当前无标签集中采样，无法保留来自先前情节的知识。ACIL 达到了与全量标注 CIL 基准（如 iCaRL, GDumb, Rainbow Memory）相当、甚至在某些情况下略高的准确率。
标注工作量： ACIL 在所有方法中实现了最低的标注工作量。例如，在 CIFAR-10 上，ACIL 每情节所需的标注次数约为 CIL 基准方法的 4.13 倍之少，同时保持了相似的准确率。
保留能力： ACIL 展示了强大的第一情节知识保留能力，与基于重放（replay-based）的 CIL 方法相当，验证了其缓解灾难性遗忘的能力。
鲁棒性： 改变典型集大小（预算）的实验表明，ACIL 在不同的内存约束下均能保持与 CIL 基准一致的性能趋势。

5. 意义与主张

论文声称 ACIL 为现实世界的增量学习应用提供了切实可行的解决方案，特别是在以下场景中：

内存受限： 典型集的大小是固定的，模拟了有限的存储空间。
标注昂贵： 该框架大幅减少了随着时间推移训练模型所需的人力劳动。
数据瞬时性： 从每个情节中有限的已标注数据中学习的能力，符合隐私和存储约束（即过去的数据无法被完全保留）。

作者总结道，通过智能地选择一小部分具有信息量的样本进行传播，ACIL 成功平衡了标注成本与模型性能之间的权衡，使持续学习在资源受限的环境中变得更加可行。作者也提到，未来的工作可能会将该框架扩展到回归任务。