💻 computer science

Continual Segmentation under Joint Nonstationarity

本文针对类别、域和标签同时发生偏移的联合非平稳性这一尚未充分探索的持续语义分割挑战，通过引入梯度自适应稳定机制和原型锚定的半监督学习，在异构少样本环境中实现了鲁棒性能。

原作者： Prashant Pandey, Himanshu Kumar, Devineni Sri Venkatraya Chowdary, Brejesh Lall

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Prashant Pandey, Himanshu Kumar, Devineni Sri Venkatraya Chowdary, Brejesh Lall

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人成为医生，让它能够查看医学影像（如 CT 和 MRI），并精准指出器官、肿瘤或骨骼的具体位置。

问题：“移动靶标”的噩梦
通常，当我们训练人工智能时，我们会给它一大批数据，它学习完毕，任务就结束了。但在现实世界中，数据杂乱无章且持续变化。本文探讨的是一种被称为“联合非平稳性”（Joint Nonstationarity）的场景。这是一个花哨的说法，意指有三件事同时在发生变化，使得机器人极难学习：

新任务（类别偏移）： 机器人开始学习识别肝脏。突然，它又必须学习识别它从未见过的肿瘤。
新视角（域偏移）： 机器人原本是在 CT 扫描（看起来像灰度 X 光片）上训练的。突然，它必须切换到 MRI 扫描（看起来不同，纹理也不同）。
教师短缺（监督偏移）： 起初，机器人有一位老师，能提供数千个标注好的示例。后来，老师忙得不可开交，每遇到一个新事物，只能给机器人展示五个示例。

如果你试图用标准方法以这种方式教导机器人，它在尝试学习肿瘤时会忘记之前学到的关于肝脏的知识，或者会被 MRI 扫描搞得晕头转向，开始产生幻觉。这就像你正在学习法语，突然切换到日语，然后试图在字典里只有三个单词的情况下同时学习这两门语言。

解决方案：JASCL（“智能导师”系统）
作者创建了一个名为JASCL（联合锚定与稳定持续学习，Jointly Anchored and Stabilized Continual Learning）的新系统。他们利用两个主要技巧来防止机器人陷入恐慌：

技巧一：梯度自适应稳定（GAS）——“温和的轻推”

想象机器人的大脑是一张巨大的连接地图。当它学习新事物时，通常会改变整张地图，从而抹去旧记忆。

工作原理： 系统会观察机器人对每个连接的“信心”程度。
- 如果某个连接非常重要（梯度大），且机器人正积极利用它来学习，系统就会说：“别动这个！”并给它一个微小而温和的轻推。
- 如果某个连接很弱，或者机器人过度思考（梯度小），系统就会给它更大的震动，以帮助它探索新的可能性。
类比： 这就像一位雕塑家正在雕琢一座雕像。如果雕塑家正在雕刻一个精致的鼻子（重要部分），他们会使用细刷。如果他们在粗略地处理背景（不太重要），他们会使用沉重的凿子。这防止了机器人在尝试学习新事物时，意外地摧毁其旧知识。

技巧二：原型锚定监督（PAS）——“锚点与指南针”

由于机器人只有极少的标注示例（教师），它必须猜测所看到的数百万张未标注图片的答案。但猜测是有风险的；如果猜错了，它就会教自己犯错。

工作原理： 系统为它学过的每种物体都保留一个“记忆锚点”（例如，在特征空间中关于“肝脏”看起来是什么的完美心理图像）。
检查机制： 当机器人对一张新的未标注图片猜测标签时，系统会检查两件事：
1. 信心： 机器人是否感到确信？
2. 一致性： 新图片是否真的看起来像该物体的“记忆锚点”？
类比： 想象你正在学习识别鸟类。你脑海中有一幅“知更鸟”的心理图像（锚点）。如果你看到一只鸟，你有 90% 的把握认为它是知更鸟，但它看起来完全不像你脑海中的知更鸟（也许它太大了，或者颜色不对），系统就会说：“等等，这不符合我们的锚点。不要相信那个猜测。”这阻止了机器人从自己的错误中学习。

结果：为何这很重要
作者在五个不同的“压力测试”中测试了该方法，涉及 3D 医学影像和 2D 驾驶场景。

旧方法： 面对这些变化的条件，现有方法（即使是非常先进的方法）完全崩溃。它们的性能降至接近零，意味着机器人忘记了如何工作。
JASCL 方法： 新系统保持了良好的性能。它在学习新器官时没有忘记旧器官，在从 CT 切换到 MRI 扫描时也没有感到困惑。

一言以蔽之
本文提出了一种方法，教导人工智能系统在混乱的世界中持续学习，在这个世界里，规则、数据以及可用帮助的数量都在同时发生变化。通过利用“温和的轻推”来保护旧知识，并利用“记忆锚点”来验证新猜测，该系统即使在教师几乎缺席的情况下，也能在不断学习的同时避免遗忘。

技术摘要：联合非平稳性下的持续分割

问题陈述

本文针对密集预测任务（特别是语义分割）中持续学习（CL）存在的一个关键空白。现有的持续学习研究往往将类别增量、领域偏移或数据稀缺等因素孤立开来，而现实世界的结构化预测系统（如自动驾驶、医学成像）则面临联合非平稳性。在这种设定下，语义类别、输入分布和监督可用性随时间同时演变。

作者将此形式化为一连串学习会话 $\{S_t\}_{t=0}^T$ ，其中每个会话 $t$ 由联合分布 $D_t(x, y)$ 、类别集 $C_t$ 以及极度受限的标注样本预算 $N_t \ll N_0$ 表征。关键在于， $D_t \neq D_{t-1}$ ， $C_t \neq C_{t-1}$ ，且先前观察到的类别 - 域对不再重复出现。论文表明，现有的持续学习方法在经受这些耦合偏移时，会遭受灾难性遗忘、适应不稳定以及针对少样本监督的快速过拟合。简单的微调无法在保留先验知识与适应新概念之间取得平衡，导致包括 SAM 等基础模型在内的多种架构性能显著下降。

方法论：JASCL

为应对这些挑战，作者提出了JASCL（联合锚定与稳定持续学习），这是一个结合了两个核心机制的框架：

1. 梯度自适应稳定化（GAS）

GAS 是一种参数级正则化机制，旨在缓解分布漂移下的不稳定性与过拟合。

机制：它实施由梯度平方的倒数缩放的随机扰动。对于参数 $\theta_i$ ，噪声尺度源自 $G_i = (\partial L / \partial \theta_i)^2$ 。扰动为 $\tilde{\theta}_i = \theta_i + \tilde{G}_i \xi_i$ ，其中 $\xi_i \sim \mathcal{N}(0, 1)$ 。
原理：具有大梯度的参数（积极参与学习）接收极小的噪声，从而保持稳定性；具有小梯度的参数（可能过拟合或处于平坦区域）接收更高的噪声，从而促进可塑性与探索。
理论基础：作者提供了贝叶斯后验近似分析，表明在费雪信息异质的情况下，与各项同性噪声或静态正则化方法（如 EWC 或权重衰减）相比，GAS 实现了更低的真实后验 Kullback-Leibler (KL) 散度。此外，与异质曲率下的对抗平坦性方法（如 SAM）相比，它提供了更紧的 PAC-Bayes 泛化界和更低的期望损失增加。

2. 原型锚定监督（PAS）

PAS 在半监督均值教师框架中利用丰富的未标注数据来验证伪标签并抑制误差传播。

机制：从特征空间中的标注样本计算类别原型。对于未标注输入，伪标签由教师网络生成。仅当伪标签满足以下两个条件时才予以保留：
1. 置信度：预测概率超过阈值 $\tau_{conf}$ 。
2. 原型一致性：特征表示与对应类别原型之间的余弦相似度超过阈值 $\tau_{sim}$ 。
理论基础：作者对伪标签误差动态进行了建模，证明若无此类过滤，半监督学习在渐近意义上无法优于监督学习。引入 PAS 后，渐近误差随接受伪标签的精度严格递减。理论分析表明，PAS 实现了比仅基于置信度、基于一致性或基于记忆库的方法更高的精度，特别是通过避免了记忆库中固有的误差累积。

总损失函数结合了标注数据上的监督交叉熵，以及仅在 PAS 验证的伪标签上计算的 consistency loss（一致性损失）。

主要贡献

论文概述了四项主要贡献：

联合非平稳性的形式化：作者定义了一个涉及耦合类别、领域和监督偏移的现实持续分割设定，揭示了现有方法在这些条件下的根本性失效模式。
梯度自适应稳定化（GAS）：一种新颖的正则化策略，通过梯度缩放的随机扰动平衡稳定性与可塑性，实现了在分布漂移下的鲁棒适应。
原型锚定监督（PAS）：一种半监督机制，利用联合置信度和特征空间原型一致性来验证伪标签，有效缓解了误差传播。
全面的实证评估：在类别增量、领域增量、少样本和半监督设定下的广泛实验表明，该方法相比先前方法具有一致的改进。

结果

作者在五个具有挑战性的基准上评估了 JASCL，涵盖 3D 医学成像（Med JASCL-Disjoint, Med JASCL-Mixed, Med Semi-Supervised-JASCL）和 2D 自然场景（Natural-JASCL, Semi-Supervised Natural-JASCL）。

性能提升：JASCL consistently 优于广泛的基线方法，包括类别增量方法（MiB, PIFS）、领域增量方法（MDIL）、少样本学习者（NC-FSCIL, C-FSCIL）以及半监督方法（NNCSL, UaD-CE）。
对架构的鲁棒性：该方法在多种骨干网络中表现出强大的泛化能力，包括 U-Net、DeepLabv3+、MedFormer、SwinUNetr 以及经过重度预训练的 Segment Anything Model (SAM)。值得注意的是，虽然 SAM 和其他基础模型在这些基准中遭受了显著的遗忘，但 JASCL 提升了它们的性能。
少样本与半监督有效性：在数据极度稀缺（如每类 5 个样本）和严重领域偏移（如 CT 到 MRI）的场景下，当基线方法崩溃时，JASCL 仍保持了性能。通过 PAS 引入未标注数据显著提升了性能，特别是在半监督医学基准中。
计算效率：与 vanilla 训练相比，该框架增加了可忽略不计的计算开销，因为它不需要记忆缓冲区或复杂的辅助训练过程。

意义与主张

论文声称，JASCL 弥合了理想化的持续学习场景与动态结构化预测系统的复杂现实之间的差距。通过形式化联合非平稳性，作者强调现有方法无法处理类别、领域和监督的同时演变。

这项工作的意义在于：

揭示失效模式：基准测试表明，即使是大规模基础模型在联合偏移下也容易受到灾难性遗忘的影响，这挑战了仅靠预训练即可解决持续学习的假设。
原则性解决方案：提出的机制（GAS 和 PAS）分别为稳定性 - 可塑性困境和伪标签可靠性提供了理论基础的方法。
现实世界适用性：结果表明，经过验证的未标注数据可以在资源受限的环境（如标注有限的医学成像）中实现持续学习，从而降低重训练成本并提高可扩展性。

作者总结道，虽然 JASCL 在多种设定下展现了鲁棒性，但在处理极端领域偏移（如突发的 CT 到 MRI 转换）以及少样本设定下的小解剖结构方面，仍有显著的改进空间。他们将这项工作定位为在机器人和医学成像等动态环境中部署鲁棒、自适应智能系统的一步。