💬 NLP

Continual Visual Learning under Evolving Semantic Concept Shift

本文介绍了 SemReWrite，这是一个旨在通过选择性地更新过时的视觉-语义映射并保留有效知识，来处理视觉基础模型中演进的语义概念偏移的框架，并通过一个新的基准测试（EvoShift-Bench）和专门的评估指标进行了验证。

原作者： Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ismail Lamaakal, Chaymae Yahyati, Yassine Maleh, Khalid El Makkaoui, Ibrahim Ouahbi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个命名规则发生变化，但事物本身保持不变的世界。在每一张照片中，汽车依然是汽车，但一项新的交通法规可能会突然要求我们根据此前被忽略的细微细节，将车辆区分为“私家车”、“商用卡车”和“应急响应车”。同样地，一只曾经被简单称为“麻雀”的鸟，可能会因为一项新的科学研究而被重新分类为两个不同的物种；或者一个工厂缺陷可能会因为更严格的安全标准而被重新定义。这正是长寿计算机视觉系统所面临的现实：视觉世界保持不变，但我们赋予它的意义却在演变。几十年来，人工智能研究人员一直致力于教计算机即使在光照变化或相机角度偏移时也能识别物体。然而，一个新的挑战出现了：我们如何教计算机在不抹除已学知识的前提下，更新其意义的词典？

一个研究团队通过开发一种名为 SemReхere 的新框架解决了这一问题。他们的工作针对的是一种特定且困难的情景，即“演进式语义概念漂移”（evolving semantic concept shift）。在这种情况下，AI所看到的视觉证据并未改变，但该证据所代表的定义发生了变化。考虑一个自动驾驶系统，它最初将所有移动车辆视为同一类别。随后，一项新政策要求系统将乘用车与应急车辆区分开来，因为它们需要采取不同的行动。这些车辆的图像看起来完全相同，但对计算机而言，正确答案已经发生了根本性的变化。传统的 AI 模型更新方法通常在此失效。如果你仅仅根据新规则重新训练模型，它可能会学会新的区别，却忘记了如何处理那些仍然有效的旧类别。如果你过于严格地保护旧知识，模型可能会拒绝学习新规则。研究人员发现，解决方案不在于在“学习”与“记忆”之间做选择，而在于有选择性地同时实现两者。

他们方法的核心是一个像精明编辑而非空白画布般的系统。当语义规则发生变化时，系统首先分析旧定义与新定义之间的差异。它利用少量带有更新规则标签的新样本，精准定位视觉世界的哪些部分受到了这种变化的影响。例如，如果规则变为区分车辆类型，系统会识别出车辆的大小或形状等视觉特征现在变得至关重要，而道路或天气的特征对于新定义而言则不再相关。一旦系统明确了变化发生的位置，它就会仅对模型决策过程中受影响的特定区域进行针对性的更新。处理世界中未发生变化部分的其余模型部分则保持不动。这确保了系统在学习新定义的同时，不会意外地遗忘那些原本正确的旧定义。

为了测试这一想法，研究人员创建了一个名为 EvoShift-Bench 的新基准测试，模拟了意义演变的各种方式。他们测试了单类别分裂为两个、两个类别合并为一个、类别边界发生偏移以及插入全新类别等场景。他们还测试了视觉世界外观与定义同时发生变化的情况，例如，一个基于清晰照片训练的系统必须适应素描或低光照图像。在这些测试中，该新框架始终优于现有方法。虽然其他方法要么无法学习新规则，要么遗忘了旧规则，但这种选择性重写方法在两方面都取得了高分。它成功学习了新的区别，同时保留了未改变概念的准确性。

结果表明，该系统具有极高的效率。它可以使用极少的样本——有时每个新类别仅需一两个图像——来学习这些新的语义规则。这至关重要，因为在现实世界中，获取大量标注正确的图像往往既困难又昂贵。研究人员还发现，该系统可以处理随时间变化的序列变化。随着规则经历多个阶段的演进，系统能够持续适应，而不会积累误差或丧失识别稳定概念的能力。至关重要的是，该系统能够抑制旧的、错误的关联。它不仅学会了现在的正确答案，还主动停止了对受影响图像进行旧的、现已错误的预测。这种区别至关重要：一个优秀的适配系统不仅要知道现在什么是正确的，还要知道什么不再是正确的。

这项研究表明，长寿视觉系统的未来在于这种选择性的更新。这些系统不能将所有知识视为同等永久或同等可弃，而是必须能够识别其理解中的哪些部分已过时，哪些部分仍然有效。通过将对定义如何变化的清晰理解与仅更新模型必要部分的精确机制相结合，研究人员展示了让 AI 能够随其观察的世界共同成长和变化的路径。这项工作并不声称解决了人工智能中的所有问题，但它为处理静态视觉世界中不断变化的意义这一特定且复杂的现实，提供了一种具体且有效的方法。

技术摘要：演进式语义概念偏移下的持续视觉学习

1. 问题定义：演进式语义概念偏移 (Evolving Semantic Concept Shift)

本文针对当前视觉基础模型及其适配策略中的一个关键局限性进行了研究：即假设虽然数据外观可能会发生变化（协变量偏移，covariate shift），但预测任务的语义含义保持不变。在长期运行的系统中（例如自动驾驶、工业检测、生态监测），由于分类法、政策或决策标准的改变，概念本身的定义本身也会发生演进。

作者将演进式语义概念偏移定义为这样一种场景：即使视觉证据的边缘分布 $P(X)$ 保持不变，条件概率 $P(Y|X)$ 也会发生变化。在这种设定下：

相同的视觉输入在不同时期可能需要不同的语义解释。
传统的领域自适应（Domain Adaptation）会失效，因为它假设任务语义是静态的。
标准的持续学习（Continual Learning, CL）也会失效，因为其主要目标是防止所有遗忘，而语义演进则需要对过时的关联进行选择性遗忘，同时保留有效的关联。
至关重要的是，这种偏移通常无法仅从无标签的视觉流中进行识别；如果图像分布没有改变，统计检验无法检测到标注规则已经发生了变化。因此，适配过程需要关于语义修订的显式侧向信息（side information）。

2. 方法论：SEMREWRITE 框架

作者提出了 SEMREWRITE 框架，旨在选择性地更新过时的视觉-语义映射，同时保留有效的知识。该框架通过四个阶段运行：

A. 语义变化表示 (Semantic Change Representation)

系统使用冻结的文本编码器（如来自 CLIP）来比较旧的语义规范（ $S_t$ ）和修订后的规范（ $S_{t+1}$ ）。

原型 (Prototypes)： 语义定义被编码为归一化的文本原型（ $z_c$ ）。
语义增量 (Semantic Delta)： 对于持久性概念，变化被表示为一个位移向量 $\Delta z_c = z_{t+1}^c - z_t^c$ 。该向量捕捉了语言嵌入空间中语义移动的方向。
图记忆 (Graph Memory)： 一个结构化的语义概念记忆（ $G_t$ ）维护着关系（例如 is-a, part-of），以处理复杂的操作，如概念的拆分、合并和重新定义。

B. 受影响概念定位 (Affected Concept Localization)

由于视觉流本身无法揭示偏移，该框架将语义规范与少量修订后的监督样本（ $D_{few}$ ）相结合，以估计哪些输入受到了影响。

语义差异 (Semantic Discrepancy)： 它计算对于输入 $x$ ，旧的与修订后的文本诱导概率分布之间的 Jensen-Shannon (JS) 散度。
样本级定位器 (Sample-Level Localizer)： 一个轻量级网络 $g_\psi$ 在稀疏的修订样本上进行训练，用以预测一个“变化目标” $r_i$ ，指示输入的标签相对于旧模型是否发生了变化。
重写门控 (Rewrite Gate)： 这些信号被组合成一个连续门控 $a(x) \in [0, 1]$ ，用于估计输入 $x$ 是否需要进行语义重写。

C. 选择性概念重写 (Selective Concept Rewriting)

该框架采用了一种依赖于输入的低秩自适应机制。

低秩更新 (Low-Rank Update)： 该方法并非微调整个骨干网络，而是引入可训练的低秩矩阵 $U, V$ （类似于 LoRA 结构）来创建一个残差变换。
调制适配 (Modulated Adaptation)： 残差由门控 $a(x)$ $a (x)$ 进行缩放。
- 如果 $a(x) \approx 1$ （受影响区域），模型应用强力更新以对齐新语义。
- 如果 $a(x) \approx 0$ （未受影响区域），模型保持接近冻结的表示，从而保留有效知识。

D. 学习目标 (Learning Objectives)

训练损失（ $L_{total}$ ）是五个组成部分的加权和：

$L_{new}$ ： 在修订后的监督数据上的标准交叉熵，用于学习新规则。
$L_{pres}$ ： 一种保持损失，仅针对语义未改变的概念进行知识蒸馏，并由 $(1-a(x))$ 进行加权，以保护未受影响的区域。
$L_{erase}$ ： 一个旨在显式抑制受影响样本上冲突旧决策概率的目标（防止产生“幽灵”般的过时关联）。
$L_{sem}$ ： 一种语义一致性损失，确保适配后的原型保持接近其文本定义，并保留关系图结构。
$L_{reg}$ ： 正则化项，使低秩更新保持紧凑。

3. 核心贡献

问题形式化： 本文正式定义了演进式语义概念偏移，将其与协变量偏移、领域自适应和标准的类增量学习区分开来。文章强调了仅使用无标签视觉数据检测此类偏移在理论上是不可能的。
框架 (SEMREWRITE)： 一种新颖的架构，它将显式的语义侧向信息与稀疏监督相结合，以实现受影响区域的定位和选择性的、基于输入的模型重写。
基准测试 (EVOSHIFT-BENCH)： 一个涵盖 ImageNet、iNaturalist、CUB-200-2011 和 DomainNet 的全新评估套件。它涵盖了多种偏移类型：类别拆分、合并、边界修订、插入、部分重新定义、循环以及混合语义-外观偏移。
评估指标： 作者引入了专门针对选择性修订的指标：
- 重写准确率 (Rewrite Accuracy, RA)： 受影响区域的性能。
- 保持准确率 (Preservation Accuracy, PA)： 未受影响区域的性能。
- 过时保留率 (Obsolete Retention, OR)： 过时语义关联所保留的概率。
- 选择性修订得分 (Selective Revision Score, SRS)： RA 和 PA 的调和平均值，用于平衡重写与保持。

4. 实验结果

实验使用 CLIP ViT-B/16（并在 SigLIP 和 DINOv2 上进行了验证）针对包括全量微调、LoRA、持续学习方法（EWC, LwF, Replay）以及基于提示（prompt-based）的适配在内的基线模型进行。

性能平衡： SEMREWRITE 在所有偏移类型中均取得了最高的选择性修订得分 (SRS)（例如，平均 SRS 为 90.7%，而全量微调为 80.1%，Replay 为 81.5%）。
选择性遗忘： 虽然全量微调实现了较高的 RA (84.7%) 但较低的 PA (80.1%)，表明其对稳定概念存在灾难性遗忘，而 SEMREWRITE 同时实现了高 RA (88.9%) 和高 PA (93.4%)。
过时抑制： SEMREWRITE 显著降低了过时保留率 (OR) 至 7.9%，相比之下，全量微调为 13.6%，Replay 为 21.9%，证明了其主动移除过时规则而非仅仅覆盖它们的能力。
标注效率： 该方法在极度稀疏的监督（1-shot）下依然有效，充分利用了语义规范作为强大的先验。
混合偏移： 在结合语义偏移与协变量偏移（如草图或损坏）的场景中，SEMREWRITE 优于领域自适应方法（如 StatA）和仅基于提示的方法，后者无法处理决策规则同时发生变化的情况。
持续演进： 在连续五次修订的过程中，SEMREWRITE 保持 PA 在 92% 以上，并将 OR 控制在 10% 以下，展示了其稳定性且未积累干扰。

5. 重要性与主张

本文主张，在语义演进下的成功适配需要一种范式转变，即从“防止所有遗忘”转向**“选择性地保留仍然正确的部分，同时重写已经过时的部分”**。

作者认为：

标准的适配方法是不够的，因为它们要么无法更新决策边界（仅基于提示的方法），要么会破坏有效知识（全局微调）。
持续学习方法是不够的，因为它们将所有先前的知识都视为有价值的，未能区分“有害遗忘”（丢失有效概念）与“理想遗忘”（移除过时的关联）。
所提出的 SEMREWRITE 框架表明，通过显式建模语义变化并定位其视觉影响，模型可以在不需要大规模重新训练或遭受灾难性干扰的情况下，适应不断变化的定义。

研究结论指出，长期运行视觉系统的核心挑战不仅在于学习新的数据分布，还在于随着世界定义的改变，动态管理语义映射的有效性。