🤖 machine learning

Federated Continual Learning as a Distributed Drift-Plus-Penalty Control Problem

本文提出了联邦队列调节持续学习（FedQCL），这是一个将联邦持续学习视为随机控制问题的新颖框架，该框架利用李雅普诺夫漂移加惩罚优化，通过虚拟队列显式地管理遗忘，从而在无需梯度投影或额外通信开销的情况下，在异构基准测试上实现了卓越的准确性和更低的遗忘率。

原作者： Nazreen Shah, Naveen Kumar Reddy Somireddy, Zubair Shaban, Ranjitha Prasad, B. N. Bharath

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nazreen Shah, Naveen Kumar Reddy Somireddy, Zubair Shaban, Ranjitha Prasad, B. N. Bharath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字世界中，机器被越来越多地要求进行持续学习，而不只是学习一次，而是要随着新信息的到来不断适应，同时记住之前学到的知识。这一挑战被称为持续学习（continual learning）。想象一个学生必须每天参加一场新的考试，但教室规则禁止他保留旧的教科书或笔记。他必须在学习新材料的同时，还不失去回答前几天问题的能力。在现实世界中，这种情况发生在数百万台设备上，从智能手机到医疗传感器，每台设备都持有无法与中央服务器共享的私密数据。这种设置被称为联邦学习（federated learning），即许多设备协同工作以训练一个单一的智能模型，而无需泄露其私密信息。困难在于，当这些设备面临不同类型的任务和随时间变化的各种任务时，模型往往会在学习新知识的过程中遗忘旧的教训，这被称为灾难性遗忘（catastrophic forgetting）。

来自德里高等教育研究院（IIIT Delhi）和达尔瓦德理工学院（IIT Dharwad）的研究人员通过将学习过程不仅视为一系列数学问题，而是视为一个需要不断调节的动态系统，解决了这一特定问题。他们开发了一种名为 FEDQCL 的新方法，该方法将信息的遗忘视为一种可以被测量和控制的物理量。该方法并非试图通过僵化的规则强迫模型记住一切，而是使用了一个虚拟追踪系统。可以将这个系统想象成每个设备上的一个本地计数器，它记录着模型对过去任务遗忘程度的运行总计。如果遗忘程度过高，系统会自动调整学习过程，以减慢速度并保护旧知识。这使得模型既能保持足够的灵活性来学习新事物，又能保持足够的稳定性来保留已掌握的知识，且无需设备之间发送额外的辅助数据。

这项工作的核心在于研究人员如何管理学习新任务与记住旧任务之间的张力。在以往的方法中，设备通常会尝试孤立地解决每个新任务，或者使用复杂的数学技巧来防止可能损害过去性能的模型变化。这些方法在处理不同设备间差异巨大的数据时往往表现挣扎，导致全局模型变得混乱或不稳定。新方法引入了一个名为“虚拟队列”的概念。在学习过程的每一步，每个设备都会检查当前的学习在多大程度上损害了其在过去任务上的表现。如果性能下降，虚拟队列就会增长，发出信号表明设备正在遗忘过多。这个信号随后充当了学习过程的一个温和刹车，鼓励模型优先考虑稳定性。如果模型表现良好且没有遗忘，队列就会保持较小规模，允许模型快速学习新事物。

这种方法的独特之处在于，它不需要设备共享其私密数据，甚至不需要向中央服务器发送额外信息即可实现。追踪过程完全在本地设备上进行，在保护隐私的同时，仍能为稳定的全局模型做出贡献。研究人员在标准的图像识别任务上测试了该系统，其中模型必须按顺序学习识别不同的物体类别。他们将该方法与几种现有技术进行了对比，包括那些依赖存储过去样本或使用复杂数学投影来保护旧知识的技术。结果显示，我们的新方法始终能获得更高的任务准确率，并显著减少了遗忘信息的量。在涉及数百个类别和数千张图像的测试中，该方法优于现有的最佳方法，证明了将遗忘管理为一个持续的、受监管的过程，比事后尝试修复更为有效。

研究还探讨了该方法在不同条件下的表现，例如当每个设备上的数据非常不均衡，或者存储过去样本的内存有限时。即使在数据高度不平衡的情况下——即某些设备主要看到一种类型的图像，而其他设备看到的则是完全不同的类型——该方法依然保持稳健。它维持了高准确率和低遗忘率，而其他方法则在维持模型稳定性方面表现挣扎。研究人员发现，他们可以通过调节一个单一的控制旋钮，来决定模型应该在多大程度上优先学习新事物与记住旧事物之间进行权衡。这种灵活性使他们能够找到一个“甜点区”，即模型既能快速适应，又不会失去其基础。研究结果表明，将学习过程视为一个动态控制问题，即实时监测并调节遗忘情况，为构建能够持续学习的现实世界智能系统提供了一种强大的方式。

这项工作并不声称已经解决了机器学习中的所有问题，但它为其中一个最持久的挑战提供了一个清晰且有效的框架：即在学习过程中保持模型的稳定性。通过将重心从静态规则转向动态调节，研究人员展示了平衡“可塑性”与“稳定性”需求的可能性。该方法无需设备间额外的通信即可运行，这使得它在带宽和隐私受到关注的现实应用场景中具有实用性。随着机器越来越多地部署在数据不断变化的各种环境中，像这样能够进行自我适应和自我调节的方法，对于构建可靠且长效的人工智能将变得至关重要。

技术摘要：作为分布式漂移-惩罚控制问题的联邦持续学习

问题定义

联邦持续学习（Federated Continual Learning, FCL）旨在解决在分布式客户端中进行机器学习模型训练的挑战，其中数据随时间顺序到达且任务不断演进。与假设静态数据集的标准联邦学习（FL）不同，FCL 要求模型在无需访问历史原始数据的情况下，既能适应新任务，又能保留对先前知识的记忆。这一设定引入了两个主要挑战：灾难性遗忘（快速丧失先前获得的知识）和客户端漂移（由非独立同分布数据分布引起的发散更新）。

现有方法通常将 FCL 建模为一系列逐任务的优化问题，依赖于启发式机制，如回放缓冲区（replay buffers）、正则化（例如 EWC、LwF）或梯度投影。然而，作者认为，FCL 中的遗忘本质上是一种长期的、分布式的现象，是由时间任务演进与跨客户端异构性之间的相互作用产生的。现有方法往往优化近视的、轮次级的目标，未能显式地调节随时间及跨客户端累积的遗忘现象。此外，许多现有方法会产生显著的通信开销（例如梯度投影），或施加限制模型塑性的僵化约束。

方法论：FEDQCL

本文提出了**联邦队列调节持续学习（Federated Queue-regulated Continual Learning, FEDQCL）框架，该框架将 FCL 视为一个随机控制问题。其核心创新在于应用李雅普诺夫漂移-惩罚（Lyapunov drift-plus-penalty, DPP）**优化，以显式调节稳定性与塑性之间的权衡。

核心组件：

用于追踪遗忘的虚拟队列：
FEDQCL 并非将遗忘视为静态约束，而是在每个客户端 $i$ 为每个过去的任务 $k$ 引入了虚拟队列 $Q_i^{(k)}[t]$ 。这些队列用于追踪约束违反（即回放损失的增加）随时间的累积情况。队列更新规则为：
$Q_i^{(k)}[t] = \max \left\{ Q_i^{(k)}[t-1] + \left[ \hat{\Phi}_i^{(k)}(w_i^{(t)}) - \hat{\Phi}_i^{(k)}(w^{(t-1)}) - \delta \right], 0 \right\}$
其中 $\hat{\Phi}$ 代表局部回放损失， $w^{(t-1)}$ 是前一任务的全局模型， $\delta$ 是容差阈值。
漂移-惩罚（DPP）目标：
在每个通信轮次，客户端最小化一个局部 DPP 目标，该目标平衡了当前任务性能（塑性）与虚拟队列的漂移（稳定性）：
$\text{DPP}_{V,i}^{(t)} = \min_{w^{(t)}} \left[ V \Phi_i(w^{(t)}; D_i^{(t)}) + \Delta L_i[t] \right]$
这里， $V$ 是控制权衡的控制参数， $\Delta L_i[t]$ 是李雅普诺夫漂移。利用漂移的上界，优化问题简化为：
$V \Phi_i(w; D_i^{(t)}) + \sum_{k=1}^{t-1} Q_i^{(k)}[t-1] \Delta \hat{\Phi}_i^{(k)}(w, w^{(t-1)})$
第一项鼓励学习当前任务，而第二项则惩罚过去任务回放损失的增加，并由当前的队列状态进行加权。
逐轮次队列更新：
FEDQCL 的一个关键设计选择是在通信轮次而非任务边界的粒度上更新虚拟队列。由于遗忘通过迭代的局部更新和部分参与而持续演进，逐轮次的更新允许进行细粒度的追踪和及时的约束违反修正。
通信效率：
该方法除了标准的联邦学习（如 FedAvg）之外，不需要额外的通信开销。虚拟队列在每个客户端本地维护，无需交换梯度投影或高维嵌入。

主要贡献

控制论建模： 本文首次将 FCL 视为一个队列稳定问题，将遗忘建模为一个跨时间和客户端的可控、累积过程。
单参数权衡控制： FEDQCL 通过一个单一超参数（ $V$ ）实现了适应能力与保留能力之间的原则性平衡，避免了投影法或多约束方法所需的复杂调优。
隐私与效率： 该框架通过局部队列动力学隐式执行约束，保护了隐私（不共享原始数据或复杂的嵌入），并保持了与 FedAvg 相当的通信效率。
细粒度调节： 通过在每个通信轮次更新队列，该方法捕捉到了分布式设置中遗忘的连续性质，与基于任务的公式相比，提供了对客户端漂移更优的控制。

实验结果

作者在标准基准测试集 Split-CIFAR-10、Split-CIFAR-100 和 Split-TinyImageNet 上，在非 IID 数据分布（Dirichlet 参数 $\alpha$ ）下评估了 FEDQCL。

性能： FEDQEL 优于最先进的基准方法，包括基于回放的方法（DER++, ER-FL）、基于正则化的方法（EWC-FL, LwF-FL）以及梯度投影方法（FOT）。
- 在 Split-CIFAR-100 上，FEDQCL 实现了 54.52% 的平均准确率和 0.05 的遗忘率，超过了表现最好的基准方法（DER++-FL：51.04% 准确率，0.06 遗忘率）。
- 在 Split-TinyImageNet 上，它实现了 33.37% 的准确率和 0.13 的遗忘率，而 DER++-FL 分别为 31.02% 和 0.17。
鲁棒性： 该方法在不同的数据异构程度（ $\alpha \in \{0.001, 10, 10^5\}$ ）和内存缓冲区大小（ $M \in \{200, 500, 1000\}$ ）下均表现出鲁棒性。
帕累托最优性： 在塑性-稳定性权衡图中，FEDQCL 一贯占据帕累托前沿的左上区域，表明与那些牺牲一方来换取另一方的模型相比，它在保持高准确率和低遗忘率之间具有更优的平衡。
消融研究： 研究证实，控制参数 $V$ 能有效地在“防遗忘”和“重塑性”机制之间进行插值。队列动力学被证明能够适应变化的约束（ $\delta$ ）和异构水平，而不会出现结构性退化。

意义与主张

本文声称，将 FCL 视为动态控制问题而非一系列静态优化任务，对于管理分布式系统中遗忘与异构性之间复杂的相互作用至关重要。通过利用李雅普诺夫优化，FEDQCL 提供了一种系统化且可解释的机制，用以调节遗忘，而不会带来现有先进方法的计算或通信负担。

作者强调，其方法是无投影（projection-free）且保护隐私的，使其能够扩展到资源和带宽受限的现实联邦场景。这项工作凸显了通过虚拟队列将遗忘显式建模为一个累积过程，比启发式约束或近视更新能更有效地调节稳定性-塑性权衡。结果表明，FEDQCL 提供了一种原则性的替代方案，在显著降低遗忘的同时，实现了当前 FCL 范式中的领先性能，尤其是在异构且非平稳的数据分布下。