🤖 machine learning

A Stationary (and Therefore Compatible) Representation is All You Need

本文证明了通过 $d$ -Simplex 固定分类器学习到的平稳表示能够确保模型更新过程中的特征兼容性，并提出了一种结合交叉熵与对比损失的混合训练方法，以捕捉高阶依赖关系，从而在实现不间断检索服务的同时达到最先进的性能。

原作者： Niccolò Biondi, Federico Pernici, Simone Ricci, Alberto Del Bimbo

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Niccolò Biondi, Federico Pernici, Simone Ricci, Alberto Del Bimbo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：AI 的“移动目标”

想象一下你经营着一个巨大的图书馆（一个图像数据库），每本书的脊背上都有一个特定的标签。你有一位图书管理员（AI 模型），他非常清楚每本书都在哪里。

现在，你想升级这位管理员，让他变得更聪明。你用新书来训练他。但问题在于：每当你升级管理员时，他们都会改变自己脑海中对图书馆的整个认知地图。

在过去，如果你想找一本书，你会去问管理员。但如果升级了管理员，你就必须要求他们重新为图书馆里的每一本书贴上标签，以匹配他们新的思维方式。如果你的图书馆有数百万本书，这是不可能完成的任务。这太昂贵、太耗时，而且有时你甚至已经没有原始的书籍来进行重新贴标了。

目标： 我们需要一种方法来升级管理员，让他们变得更聪明，但他们的“心理地图”又能与旧版本保持兼容。这样一来，你就可以继续使用书籍上的旧标签，而新管理员依然能完美地找到它们。这被称为**“兼容性表示学习”（Compatible Representation Learning）**。

解决方案：“固定指南针”（d-Simplex）

作者提出了一个聪明的技巧。他们不再让管理员决定“猫之书”或“狗之书”在脑海中的位置，而是给管理员一个固定的指南针（称为 d-Simplex 固定分类器）。

把这个指南针想象成一个巨大的、完美的、带有固定辐条的星形轮盘。

中心是管理员的大脑。
每一根辐条都指向一个特定的类别（猫、狗、汽车等）。
辐条之间的距离是完全相等且固定的。

无论你如何训练管理员，“猫”这一辐条永远不会移动。它始终保持在完全相同的位置。因为目的地（辐条）从未移动，所以管理员对“猫”的理解始终是静止的（Stationary）。

论文的核心主张：
作者从数学上证明了，如果你使用这个固定的指南针，管理员看待世界的新方式会自动与旧方式保持兼容。你不需要重新为图书馆贴标。新管理员可以很好地读取旧标签，因为“猫”的辐条从未移动过。

小瑕疵：“一阶” vs. “深度理解”

仅仅使用固定指南针和标准训练会有一个小问题。

问题所在： 标准训练（交叉熵 Cross-Entropy）会让管理员将“猫”类书籍的平均位置与“猫”的辐条对齐。这就像是在说：“平均而言，猫在这里。”
缺陷： 这只能捕捉到“平均值”（一阶统计量）。它忽略了单个个体之间复杂的、深层的关系。这就像你知道篮球队的平均身高，却不知道谁最高或者他们是如何协同运动的。管理员学会了基础知识，但错失了微妙的细节，导致理解变得“扁平”。

修复方案：“深度潜入”（HOC Loss）

为了修复这个问题，作者添加了第二个训练工具，称为对比损失（Contrastive Loss）。

类比： 标准训练告诉管理员：“把猫的书放在‘猫’的辐条附近。”而这个新工具（对比损失）则说：“还要确保第1页的猫看起来比第3页的狗更像第2页的猫。”
结果： 这迫使管理员去学习高阶依赖关系（higher-order dependencies）——即个体之间深层、复杂的联系，而不仅仅是平均水平。

作者将这种新方法称为 d-Simplex-HOC（高阶兼容性）。他们证明了将固定指南针与这种“深度潜入”式训练相结合，在数学上等同于强制要求管理员遵循严格的兼容性规则。

新场景：更换管理员

论文还测试了一个大胆的新场景：如果你彻底更换掉这位管理员呢？
想象一下，你解雇了现有的管理员，聘请了一位全新的、更聪明的管理员。通常情况下，这会破坏一切，因为新人的大脑结构完全不同。

然而，由于新旧两位管理员都使用同一个固定的指南针（d-Simplex），新管理员可以立即开始阅读旧的标签，而不会产生任何困惑。

结果： 系统可以更换掉 AI 模型以换取更强大的模型，而搜索过程不会中断。新模型可以立即与旧数据兼容。

结果总结

作者在多个图像数据库（如 CIFAR 和 TinyImageNet）上测试了该方法。

兼容性： 他们的这种方法（d-Simplex-HOC）即使在模型多次更新后，依然保持了图书馆的可搜索性。其他方法则失败了，并且需要重新贴标。
准确率： 他们不仅保持了兼容性，而且随着时间的推推移，新的管理员实际上变得越来越“聪明”，寻找图像的能力比旧版更强。
模型更换： 当他们将 AI 模型更换为一个完全不同的、更强大的模型时，他们的方法依然完美运行。而其他方法则会崩溃或失去寻找旧图像的所有能力。

简而言之： 通过将 AI 大脑中的“目的地”锁定在一个固定且完美的形状上，作者创造了一个系统，使得 AI 模型可以被即时升级或更换，而无需重新索引它们所搜索的海量数据库。这就像是在升级 GPS 系统时，不需要重新绘制整个世界的地图。

技术摘要：平稳表示（Stationary Representation）即是一切所需

1. 问题陈述

本文探讨了深度学习中**兼容表示学习（Compatible Representation Learning）**的挑战，特别是在终身学习（Lifelong Learning）以及视觉搜索/检索系统背景下的应用。在动态环境中，模型必须通过新数据进行顺序更新，这引发了一个关键问题：模型的更新往往会导致先前提取的库特征（Gallery Features）与新模型不兼容。这使得对大规模库数据集进行重新索引变得极其困难，而在出于隐私限制或数据不可用的情况下，这种重新索引在计算上是难以实现的。

虽然之前的研究尝试通过从头开始重新训练或顺序微调来学习兼容表示，但在经验成功与理论证明之间仍存在差距。具体而言，尽管 d-Simplex 固定分类器（d-Simplex fixed classifiers） 在实现最先进的兼容性方面展现了经验上的潜力，但仍缺乏将其平稳性（Stationarity）与兼容性的正式定义联系起来的严谨理论证明。此外，在顺序微调场景中，仅依赖于带有固定分类器的交叉熵损失，可能只能对齐一阶统计量，从而无法捕捉模型更新之间的更高阶依赖关系。

2. 方法论

理论基础：平稳性蕴含兼容性

作者提出，通过 d-Simplex 固定分类器 学习到的表示本质上是平稳的，因此也是兼容的。

d-Simplex 固定分类器： 类原型（Class Prototypes）被固定在特征空间中一个正则单纯形多胞体（Regular Simplex Polytope）的顶点上。这种配置确保了最大分离且等角的原型。
理论证明： 在 无约束特征模型（Unconstrained Feature Model, UFM） 和 分层剥离模型（Layered Peeled Model, LPM） 的假设下，本文证明了使用 d-Simplex 分类器学习到的特征的平稳性满足前人工作 [9] 中定义的正式 兼容不等式（Compatibility Inequalities）。
- 该证明依赖于将类表示建模为单位超球面上的超球面帽（Hyperspherical Caps）。
- 它证明了随着模型的更新，这些“帽”会收缩（提高判别力），但仍保持在由固定原型定义的相同中心轴线上。
- 这种几何特性确保了在期望意义下，所需的兼容性距离约束（同类距离减小，异类距离增加）可以在无需近似的情况下得到满足。

实践方法：高阶兼容（HOC）损失

为了解决交叉熵损失在顺序微调过程中捕捉更高阶依赖关系方面的局限性，作者引入了一种新型训练目标：

凸组合： 模型使用 d-Simplex 交叉熵损失 ( $L_{SCE}$ ) 与 对比损失 ( $L_{INCE}$ ) 的组合进行训练。
损失函数：
$L_{HOC}(\phi_t) = \lambda L_{SCE}(\phi_t) + (1 - \lambda) L_{INCE}(\phi_t, \phi_{t-1})$
- $L_{SCE}$ 使特征与固定的 d-Simplex 原型对齐，保留了平稳结构并为未来类别预留了空间。
- $L_{INCE}$ 是基于当前模型特征 ( $\phi_t$ ) 与前一模型特征 ( $\phi_{t-1}$ ) 之间的 $\rho$ -缩放余弦相似度的对比损失。该项捕捉了更新之间的更高阶依赖关系和互信息。
等价性： 本文证明了使用 $L_{HOC}$ 损失进行训练，在兼容性约束下，在理论上等价于使用交叉熵进行训练。

实验场景

作者在两个不同的场景中评估了其方法：

CL2R（兼容终身学习表示）： 模型从头开始训练，并随新任务进行顺序微调。
IAM-CL2R（改进的异步模型兼容终身学习表示）： 一个新颖的场景，其中预训练模型会被顺序微调，但偶尔会被一个更优的模型所替换（该模型可能是使用更多数据重新训练的，或者是使用了更强大的架构）。d-Simplex 固定分类器作为一个通用的接口，允许在具有不同内部架构或训练历史的模型之间进行无缝转换。

3. 核心贡献

理论证明： 本文提供了第一个正式证明，证明通过 d-Simplex 固定分类器学习到的平稳表示在不进行近似的情况下，满足 [9] 中定义的兼容性不等式，弥合了经验观察与理论分析之间的鸿沟。
HOC 损失： 引入了交叉熵与对比损失的凸组合，以在保持平稳性的同时捕捉更高阶的依赖关系。
新场景 (IAM-CL2R)： 定义并评估了一个涉及模型替换的场景，证明了平稳表示即使在底层模型架构或训练历史发生显著变化时，也能实现不间断的检索服务。
最先进的性能： 大量的实验表明，所提出的 d-Simplex-HOC 方法在兼容性 (AC) 和准确率 (AA) 方面均优于现有的基准方法（包括 BCT、LCE、CVS 和 FAN），特别是在复杂的、多任务以及模型替换的设置中。

4. 实验结果

作者在开放集图像识别任务上进行了实验，使用了如 CIFAR100/10、TinyImageNet200/20、CUB180/20 和 CelebA 等数据集。

CL2R 性能： 在顺序微调任务（多达 31 个任务）中，d-Simplex-HOC 实现了最高的 平均兼容性 (AC) 和 平均兼容准确率 (ACA)。例如，在具有 31 个任务的 CIFAR100/10 上，它实现了 0.49 的 AC 和 23.44 的 ACA，显著优于次优方法（d-Simplex-FD，其 AC 为 0.34，ACA 为 15.37）。
IAM-CL2R 性能： 在涉及模型替换的场景中，d-Simplex-HOC 是唯一能够利用新模型改进后的表示，同时保持高兼容性的方法。其他方法在替换后会出现性能大幅下降，或无法维持兼容性。
消融研究：
- 预分配类别： 兼容性和准确率在不同数量的预分配类别下表现稳健。
- 超参数： 通过实验发现，最优性能出现在 $\lambda = 0.1$ （平衡交叉熵与对比损失）以及针对特定数据集的特定 $\rho$ 值时。
- 学习率： 较低的学习率有利于兼容性，而较高的学习率有利于准确率；因此需要进行权衡。
- 重演（Rehearsal）： 该方法即使在无需重演（即不存储图像）的设置下依然有效，尽管随着重演数据的增加，准确率自然会提高。

5. 意义与主张

本文主张，平稳表示足以实现兼容性，从而消除了对复杂转换网络或大规模重新索引的需求。通过证明 d-Simplex 固定分类器满足兼容性不等式，这项工作为未来的终身学习研究奠定了坚实的理论基础。

作者强调，他们的方法允许在模型更新和替换期间实现不间断的检索服务。这对于大规模应用尤为重要，因为在这些应用中，重新处理库图像在计算上是难以承受的，或者受到法律限制。该方法通过有效地平衡过去知识的保留（兼容性）与新知识的获取（准确率），即使在存在突发模型架构变化的情况下，也实现了最先进的结果。

论文总结道，结合 d-Simplex 固定分类器和所提出的 HOC 损失，为动态环境下的兼容表示学习提供了一个鲁棒且具有理论依据的解决方案。