💻 计算机科学

FedEAGD: Trajectory-Guided Drift-Aware Distillation for Personalized Federated Learning

FedEAGD 是一个个性化联邦学习框架，它通过采用一种具有自适应历史知识迁移和渐进式门控残差融合的轨迹引导、漂移感知蒸馏机制，在非独立同分布（non-IID）条件下显著提高了模型准确度，从而解决了数据异构性和部分客户端参与的问题。

原作者： Mengjia Lu, Ping Zhang, An Bao, Keyi Xu, Jiechang Wang

发布于 2026-11-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengjia Lu, Ping Zhang, An Bao, Keyi Xu, Jiechang Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字世界中，人工智能通常通过汇集来自数百万台设备（从智能手机到医院传感器）的数据来进行学习。这种被称为联邦学习的方法，允许计算机在不移动原始数据的情况下构建强大的模型，从而在利用集体智慧的同时保护隐私。然而，一个持久的问题在于，每个设备上的数据很少是完全相同的。一位用户可能会拍摄数千张猫的照片，而另一位用户可能只拍摄风景；一家医院可能主要治疗老年患者，而另一家则主要接诊儿童。当这些多样化的数据源试图从同一个共享模型中学习时，结果往往是一个让所有人表现都变差的混乱系统。为了解决这个问题，研究人员转向了个性化联邦学习，这种方法试图在通用的基础与针对每个用户的特定适配之间取得平衡。然而，即使有了这些个性化调整，学习过程仍可能变得不稳定。随着模型随时间推型的更新，它对特定信息片段的理解方式会发生不可预测的变化，导致系统忘记之前步骤学到的内容，或者将错误的经验应用到错误的数据上。

来自河南科技大学和河南体育学院的研究团队开发了一种名为 FedEAGD 的新框架来解决这种不稳定性。他们的工作聚焦于一个微妙但关键的问题：随着模型在多轮通信中进行学习，对单个数据点（例如一张特定的图像）的理解是如何变化的。该方法并没有对每条数据一视同同，而是追踪了模型如何看待每一个样本的历史过程。他们发现，有些图像会导致模型在相邻的两轮之间发生剧烈的观点转变，而另一些图像则保持稳定。通过测量这种“漂移”，系统可以决定对每个特定项目在多大程度上依赖过去的经验。如果一段数据导致模型产生波动，系统会对该数据应用更强的历史引导以使其趋于稳定。如果数据是稳定的，系统则会放松控制，允许模型更自由地适应该特定设备的需求。

研究人员围绕他们称之为“历史教师”的概念构建了这个系统。想象一个记录自己进步情况的学生。在这个数字版本中，每个设备都维护着一份关于其共享模型随时间演变的简化且平均化的记录。当设备在新的数据批次上进行训练时，它会将当前对每张图像的理解与这份“日记”进行对比。如果当前对图像的看法与历史记录存在显著差异，系统就会识别出这是一个不稳定的时刻。随后，它会自动增加该特定图像的历史经验权重，实际上是在说：“这是一个棘手的案例，让我们紧跟之前的认知。”这种处理是基于样本逐一进行的，这意味着一张图像可能会受到强力的引导，而它的邻居可能几乎不受影响，这完全取决于模型对它们的看法发生了多少偏移。

为了确保模型不会变得过于僵化，研究人员还引入了一种逐步引入个性化信息的方法。在训练的早期阶段，系统专注于建立一个适用于所有人的强大共享基础。随着训练的推进，它开始缓慢地织入每个设备特有的独特特征。这是通过一个类似于“调光开关”的“门控”机制实现的，该机制在共享基础稳固之后，才慢慢调高个性化细节的“音量”。这防止了系统因过早尝试学习过多细节而产生困惑。研究人员还加入了安全检查，以确保这些个性化的添加不会意外地降低共享模型的性能，并使用一种平滑技术在流程结束时协调最终的设备与中央服务器之间的更新。

该团队在几个著名的图像数据集上测试了这种方法，包括手写数字、日常物品以及包含数百个类别的复杂场景集合。他们模拟了数据高度不均衡的环境，即某些设备持有的图像类型与其他设备截然不同。在这些挑战性的条件下，这种新方法始终优于现有方法。在一个具有高度不均衡数据分布、包含100个不同物体类别的数据集上，该新框架实现了63.05%的准确率。这比测试的次优方法高出了近六个百分点，在机器学习领域这是一个显著的差距。此外，该系统在参与训练的设备数量较少或增加时都表现出了鲁棒性，无论规模或参与程度如何，都能保持其相对于其他方法的优势。

至关重要的是，这种提升并没有以增加通信成本为代价。在许多个性化系统中，在设备与中央服务器之间发送独特的数据会造成沉重的流量负担。而在这一新框架中，只有共享部分的模型会被发送到网络中。个性化的组件、历史记录以及特定的调整都保留在每个设备本地。这意味着系统可以在不堵塞网络的情况下，从每个设备的独特特性中学习。研究人员测量了所需的时间和数据传输量，发现该新方法非常高效，在标准硬件上每轮训练耗时约16.84秒，这与其他轻量级方法相当，但效果却更为出色。

这项研究表明，更好的个性化学习的关键不仅在于为不同的用户拥有不同的模型，还在于理解这些模型如何随时间演变。通过关注模型看待单个数据点的轨迹，系统可以精确地在需要的地方应用适当的引导。这种方法使得网络的集体智慧能够保持稳定，同时又能兼顾每个参与者的独特需求。研究人员总结道，这种方法为在医疗保健或个人设备等对隐私敏感且出错成本极高的环境中，构建更可靠、更准确的系统提供了一种切实可行的方式。他们的工作证明，通过更仔细地倾听模型学习的历史，我们可以帮助它在当下学得更好。

技术摘要：FedEAGD

问题陈述

个性化联邦学习（Personalized Federated Learning, PFL）旨在在具有异构数据（non-IID）和部分客户端参与的环境中，平衡共享全局知识与客户端特定的适配。尽管现有方法通过模型个性化或历史知识迁移来解决异构性问题，但它们往往忽略了单个样本表示在通信轮次中的时间演化过程。

在标准的联邦设置中，非独立同分布（non-IID）数据和变化的客户端参与度会导致共享表示在各轮次之间发生漂移。现有的历史监督方法通常在模型或客户端层面应用约束，将客户端内的所有样本视为统一整体。这未能考虑到单个样本可能表现出不同的表示轨迹，从而导致知识迁移效果不佳，并阻碍了共享模型对特定客户端需求的适配。

方法论：FedEAGD

作者提出了 FedEAGD（轨迹引导的漂移感知蒸馏），这是一个旨在捕捉样本级表示演化并自适应调节历史监督的框架。该框架通过以下核心机制运行：

1. 轨迹引导的漂移感知蒸馏

不同于依赖单一的历史快照，每个客户端维护一个客户端特定的指数移动平均（EMA）教师模型（ $\bar{G}_k$ ），用以总结其本地保留的共享模型的轨迹。

漂移量化： 对于每个样本 $x_i$ ，系统计算当前的共享表示（ $g_i$ ）以及来自 EMA 教师的历史表示（ $\bar{g}_i$ ）。
时间漂移信号： 通过余弦相似度（ $s_i$ ）衡量这些表示之间的差异，定义漂移指标为 $d_i = 1 - s_i$ 。
自适应蒸馏： 从 $d_i$ 推导出样本级蒸馏系数 $\mu_i$ 。表现出较大表示变化（高漂移）的样本将获得更强的历史监督，而稳定的样本则受到较弱的约束。这被形式化为 $\mu_i = \min\{\mu_0(1 + d_i), \mu_{max}\}$ 。

2. 渐进式门控残差融合（PGRF）

为了平衡时间稳定性与客户端特定的适配，FedEAGD 引入了一种逐步整合个性化信息的机制。

机制： 通过在共享表示中添加门控个性化残差来创建融合表示 $h_i$ ： $h_i = g_i + q_t \eta_{max} a_i \odot [p_i - sg(g_i)]$ 。
渐进式调度： 时间相关系数 $q_t$ 确保在初始阶段（ $t < t_s$ ）个性化残差的贡献为零，在上升期线性增加，并在之后稳定在 1。
门控： 门控模块 $A_k$ 生成向量 $a_i$ ，用于控制每个样本个性化残差的贡献程度。

3. 辅助正则化与协调

表示锚定： 辅助损失（ $L_{anchor}$ ）在早期阶段保留共享语义信息，并随着个性化程度的提高逐渐降低其权重。
残差解耦： 损失项（ $L_{dec}$ ）鼓励个性化残差捕捉与共享表示正交的信息。
融合安全性： 安全项（ $L_{safe}$ ）防止在融合路径表现不如共享路径时发生性能退化。
服务端协调： 服务端对共享特征提取器进行样本加权聚合。应用后期动量平滑以稳定全局更新。
通信效率： 仅传输共享特征提取器。个性化组件（提取器、门控模块、分类器及历史教师模型）保留在本地。

核心贡献

样本级时间监督： 本文引入了一种测量通信轮次间单个样本表示变化的方法。这使得蒸馏强度能够根据样本特定的漂移进行自适应调整，而非应用统一权重。
渐进式门控残差融合（PGRF）： 一种通过带有阶段性系数的门控残差连接整合客户端特定信息的创新机制，确保个性化数据不会干扰早期的共享表示学习。
全面评估： 该框架在 MNIST、CIFAR-10、CIFAR-100 和 DomainNet 上，在不同的异构度（ $\alpha$ ）、参与率（ $\rho$ ）和联邦规模（ $K$ ）下进行了评估。

实验结果

作者报告称，FedEAGD 在多种设置下始终优于强基线模型（包括 FedAvg、FedRep、FedCAC 和 FedKD）：

性能： 在 Dirichlet 浓度参数 $\alpha = 0.1$ （高异构性）的 CIFAR-100 数据集上，FedEAGD 达到了 63.05% 的准确率，超过最强基线 5.96 个百分点。
鲁棒性： 该方法在变化的客户端参与率（低至 $\rho=0.2$ ）和不同的联邦规模（高达 100 个客户端）下均保持了卓越的性能。
效率： 该框架带来的计算成本与轻量级个性化方法相当，并且避免了传输个性化参数，将通信开销限制在共享特征提取器内。
消融实验： 去除历史教师模型导致性能下降最大（在 CIFAR-100 上下降 1.26%），证实了轨迹引导监督的重要性。自适应蒸馏权重和渐进式融合也提供了显著的增量收益。

意义与主张

论文声称 FedEAGD 解决了 PFL 中的一个特定空白：即缺乏对样本级时间表示漂移的关注。通过利用 EMA 教师追踪共享模型轨迹，并根据样本特定的漂移调整蒸馏权重，该方法在不抑制客户端特定适配的前提下，稳定了局部优化。

作者将这项工作定位为迈向在异构环境下更稳健的个性化联邦学习的一步。他们强调，该方法有效地平衡了利用共享知识与适配局部数据分布之间的权衡，同时通过限制数据交换仅限于共享特征提取器，保持了通信效率。该研究表明，未来可以将这些机制扩展到异步参与以及更复杂的网络环境，如边缘计算和物联网。