💻 computer science

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning

该论文提出了 Miles，这是一种利用预训练模型进行类增量学习的方法，它通过解耦可学习模块并利用带有度量学习的可扩展子空间，在有效平衡性能与计算成本的同时，缓解灾难性遗忘。

原作者： Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人识别新事物，比如一种新的鸟类或一种稀有的花朵，同时又不让它忘记已经掌握的关于狗和猫的知识。这就是**类增量学习（Class Incremental Learning, CIL）**的世界。在过去，如果你想教机器人一个新概念，通常需要从头开始重新训练它的整个大脑，这既缓慢又容易导致“灾难性遗忘”——即机器人仅仅因为学习了一种新花朵，就突然忘记了如何识别狗。

为了解决这个问题，科学家们开始使用预训练模型（Pre-Trained Models, PTMs）。把这些模型想象成已经读遍了图书馆里每一本书、看遍了每一部自然纪录片的机器人。它们已经掌握了世界的常识。现在的挑战在于，如何教这些“专家级”机器人新的、特定的技能，而不破坏它们现有的知识，或者让它们变得过于臃肿和运行缓慢。核心问题是：我们如何在不需要回顾海量旧照片库的情况下，高效地为专家的脑中添加新技能，既保持旧技能的敏锐，又学习好新技能？

于是，由研究员蒋凯及其团队提出的 MILES（基于可扩展子空间的度量学习）登场了。他们注意到，尽管这些预训练机器人很聪明，但在尝试学习新类别时，有时会感到困惑，因为存储想法的“精神空间”变得拥挤不堪。旧的想法和新的想法开始重叠，就像试图把一辆新车停进一个已经停满了旧车的车库一样。

为了解决这个问题，MILES 使用了一个巧妙的两部分策略。首先，它创建了一个子空间原型投影（Subspace Prototype Projection, SPP）。想象一下，机器人有一个巨大的、杂乱的车库（特征空间）。MILES 为每个新任务构建了一系列微小的、专门的“微型车库”或子空间。当一个新类别到来时，机器人将其特征投影到这个新的微型车库中，使其能够整齐地组织在新项目的“原型”（一个完美的范例）旁边，从而与旧的、不相关的项目保持距离。这就像为你新的集邮收藏准备了一个专门的架子，这样它们就不会和你旧的钱币收藏混在一起。

然而，仅仅搭建一个架子是不够的，如果机器人的眼睛（预训练模型）看新任务的细节不够清晰。因此，MILES 增加了子空间表示扩展（Subspace Representation Extension, SRE）。这就像为机器人每项新任务配上了一副专门的、轻便的眼镜。这些眼镜并不会取代机器人的主视觉，它们只是在视觉的中间步骤中增加了额外的缩放和清晰度，使机器人能更好地学习新任务，而无需重建整个大脑。

最后，研究人员注意到一个问题：有时机器人对新任务过于专注，以至于开始忽略旧的任务，或者不同项目之间的“距离”变得异常不一致。为了阻止这种情况，他们引入了距离正则化（Distance Regularization, DR）。把这想象成一位严格的图书管理员，他确保无论你在图书馆的哪个区域，任何两本书之间的距离始终是公平且一致的。这能防止机器人过度痴迷于新事物，从而破坏整个图书馆的平衡。

该团队在包括简单的 CIFAR-100 到复杂的现实世界照片 ImageNet-R 在内的六个不同数据集上测试了 MILES。结果令人印象深刻：MILES 在大多数设置下都取得了最高的准确率，击败了其他顶尖方法。例如，在 10 个任务的 CIFAR-100 数据集上，它达到了 93.93% 的准确率，比排名第二的方法高出近 1%，同时几乎没有遗忘之前学到的知识。该方法还证明了其高效性，与其它方法相比，使用的额外计算资源和内存都非常少。

简而言之，MILES 表明，通过将预训练知识的力量与智能、轻量级的补充手段相结合——即将新信息组织到专门的空间中并保持整体平衡——我们可以教 AI 持续学习而不产生遗忘。这是朝着创造能够像人类一样不断成长和适应、每天学习新事物而不丢失过去记忆的 AI 迈出的重要一步。

技术摘要：MILES（具有可扩展子空间的度量学习）

问题陈述
类增量学习（Class-Incremental Learning, CIL）旨在从数据流中顺序学习新概念，而不遗忘先前学习过的类别。传统的 CIL 方法通常从头开始训练模型，这导致了较长的训练时间且泛化能力较差；而基于预训练模型（PTM）的方法通过利用先验知识提供了一种有前景的替代方案。然而，现有的基于 PTM 的 CIL 方法面临着性能与计算效率之间的关键权衡。共享相同参数空间的模型往往会遭受灾难性遗忘，而为每个任务扩展新分支的方法则会因为多次前向传播或推理时间随任务数量线性增加而导致显著的计算成本。此外，直接在多个下游任务上微调 PTM 仍会遇到严重的遗忘问题，且现有方法往往难以在不修改冻结骨干网络或不过拟合新任务的情况下，平衡模型的塑性（学习新任务的能力）与稳定性（保留旧知识的能力）。

方法论
所提出的方法 MILES（Metric Learning with Expandable Subspace）通过将可学习模块与预训练骨干网络解耦，并通过引导优化实现参数空间的高效扩展，从而解决了这些挑战。该架构由一个冻结的预训练骨干网络（如 Vision Transformer）和三个核心组件组成：

子空间原型投影 (Subspace Prototype Projection, SPP)：
- 动机： 观察表明，PTM 特征空间中的未见类别呈现出聚类而非离散的特性。MILES 利用这一点，在无需训练的情况下计算新类别的类别原型。
- 机制： 对于每个新任务 $t$ ，在骨干网络后级联一个轻量级的可学习适配器 ( $A_t$ )。该适配器将原始特征投影到特定任务的子空间中。
- 结构： 该适配器采用残差设计，包含一个全维 MLP 分支和一个渐进式降维/升维投影分支（类似于在通道维度上操作的 1D U-Net）。这种结构将特征压缩到低维瓶颈并进行恢复，从而实现任务特定的特征重参数化，同时保持与冻结骨干网络的兼容性。
- 优化： 通过中心损失（center loss）最小化任务内特征与其对应原型之间的距离。为了防止对新任务的过拟合，引入了稳定性损失，该损失通过最大化旧类别的伪特征（通过高斯分布建模）与新任务原型之间的距离来实现。
子空间表示扩展 (Subspace Representation Extension, SRE)：
- 动机： 仅依赖冻结的骨干网络会限制模型从新数据中学习高维语义的能力，因为骨干网络无法适应新的任务分布。
- 机制： 为每个任务扩展一个低秩子网络 ( $S_t$ )，以学习来自预训练模型的中间特征。
- 结构： SRE 子网络模仿骨干网络 Transformer 块的架构，每个块使用两个低秩 MLP 模块。其中一个近似注意力模块，另一个近似前馈网络（FFN）。
- 集成： SRE 子网络的输出在输入 SPP 适配器之前与原始骨干网络特征进行拼接。这增强了模型的表示能力，且不会修改预训练权重，也不需要多次前向传播进行推理（仅需通过骨干网络进行一次前向传播，随后并行处理 SRE 分支）。
距离正则化 (Distance Regularization, DR)：
- 动机： 如果缺乏统一的约束，模型可能会过拟合到特定的任务子空间，导致新任务的距离显著小于之前的任务，从而产生偏差。
- 机制： 在损失函数中添加了两个正则化项：
  - 任务平均距离约束： 确保特征向量到无关任务原型的平均距离在不同任务之间保持一致。
  - 类别平均距离约束： 在所有任务子空间中，保持任务内特征与其原型之间的平均距离一致。
- 目标： 这些项平衡了跨任务的度量均衡，减轻了过拟合并确保了一致的分类标准。

核心贡献

度量学习与 PTM 的集成： 本文将度量学习与预训练模型集成到 CIL 设置中，提出了 SPP，以优化当前任务特征与新任务子空间内相应原型之间的距离。
子空间表示扩展 (SRE)： 引入了一种新型低秩子网络，用于学习来自 PTM 的中间特征。它以极小的修改增强了模型的表示能力，并避免了与多分支架构相关的推理时间线性增加问题。
距离正则化 (DR)： 提出了一种正则化策略来维持每个任务的一致平均距离，有效地解决了新任务子空间中常见的过拟合问题。

实验结果
在六个基准数据集（CIFAR-100, CUB-200, Omnibenchmark, ImageNet-A, ImageNet-R, 和 FOOD-101）上进行了广泛的实验。评估涵盖了短序列（ $T=10$ ）和长序列（ $T=50$ ）任务场景。

性能： MILES 在各种 CIL 设置下均达到了最先进（SOTA）的性能。例如，在 CIFAR-100 ( $T=10$ ) 上，它实现了 93.93% 的平均准确率，遗忘率为 3.12%，在准确率上超过了第二名（DGR）0.88%，在遗忘率上降低了 1.73%。在 CUB、Omnibenchmark 和 ImageNet 各变体上也观察到了类似的优异结果。
效率： 该方法保持了较低的计算开销。在推理过程中，它仅需通过冻结的骨干网络进行一次前向传播。其可训练参数量与最小的竞争方法（如 FeCAM）相当，且与需要多次前向传播（如 EASE）或大量参数更新的方法相比，其乘加运算次数（MACs）极低。
消融研究： 实验证实了各组件的有效性。添加 SPP 提升了相对于基线的性能；添加 SRE 进一步增强了表示能力；而添加 DR 则持续降低了遗忘率，并在不同的超参数设置下稳定了性能。
鲁棒性： 该方法在不同的学习顺序和超参数组合下均表现出了鲁棒性。

意义与主张
本文主张，MILES 通过利用预训练知识中的先验信息，成功实现了参数空间的高效扩展。通过解耦可学习模块并采用基于度量学习的引导优化，MILES 与现有的基于 PTM 的 CIL 方法相比，在性能与计算支出之间实现了更优的权衡。这项工作验证了，结合轻量级子空间扩展与距离正则化，利用 PTM 空间中特征的聚类特性，可以实现有效的持续学习，而不会产生灾难性遗忘或过高的计算成本。

局限性与未来工作
作者承认，目前的研究侧重于标准的类增量设置，即预训练骨干网络提供可迁移的表示，且下游数据仍处于目标语义范围内。该方法在分布外（OOD）偏移（如风格、采集条件或语义内容的变化）下的鲁棒性尚未得到系统性的研究。未来的工作旨在通过引入不确定性感知建模和测试时偏移校正，将 MILES 向 OOD 感知的 CIL 方向扩展。

技术摘要：MILES（具有可扩展子空间的度量学习）

类似论文