⚡ electrical engineering

Online-Score-Aided Federated Learning for Resource-Constrained Wireless Clients with Continual Data Arrival

本文提出了在线评分辅助的联邦学习（OSAFL），这是一种旨在解决存储受限且数据持续到达的资源受限无线客户端挑战的新型算法，通过在各种约束条件下理论分析收敛界限并优化全局聚合权重以最小化误差。

原作者： Ferdous Pervej, Minseok Choi, Andreas F. Molisch

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ferdous Pervej, Minseok Choi, Andreas F. Molisch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：你的智能手机、智能手表和汽车都在试图共同学习一项新技能，比如识别不同类型的云朵，或者预测交通拥堵。它们并不想把你的私人照片或位置历史记录发送给一台巨大的中央计算机，因为那感觉就像是把你的日记交给一个陌生人。相反，它们使用了一个聪明的技巧，叫做联邦学习（Federated Learning）。你可以把它想象成一个小组项目，每个人都在家里学习自己的笔记，写下自己的最佳想法，然后只把这些想法发送给一位老师，由老师将它们整合进一本“大师指南”中。原始笔记安全地留在家里。

但问题在于：在现实世界中，这些设备并非完美无缺。它们有着微小的电池、有限的存储空间，并且通过可能不稳定且缓慢的无线信号进行连接。此外，世界并不会停滞不前。新的数据不断涌入——比如一种新的云层形成或一种新的交通模式出现——而旧的数据则为了腾出空间而被删除。大多数计算机学习方法假设数据是一堆永远不会改变的静态岩石，这对于博物馆来说很棒，但对于一个活生生的、呼吸着的无线网络来说却很糟糕。这篇论文解决了在数据不断变化且设备电量告急的复杂现实环境下，如何教机器学习的问题。

这项研究背后的研究人员 Ferdous Pervej、Minseok Choi 和 Andreas F. Molisch 意识到，这种传统的“小组项目”方式在这些棘手的条件下失效了。他们注意到，如果你只是要求每个设备同时发送它们的想法，有些设备可能会因为太忙或电量过低而无法参与，而另一些设备发送的想法可能已经过时了。为了解决这个问题，他们发明了一种新方法，称为在线评分辅助联邦学习（Online-Score-Aided Federated Learning, OSAFL）。

想象一下，中央老师（服务器）正在管理一个混乱的教室，学生们（设备）不断地更换着他们的教科书。在旧系统中，老师只是简单地平均所有人的答案，而不论学生是否真的在听讲，或者他们的教科书是否是去年的。OSAFL 改变了游戏规则，它为老师提供了一张特殊的“计分卡”。在老师组合答案之前，他们会根据每个学生的实际训练量、连接的可靠性以及他们的最新想法与当前群体方向的相似度，为每个学生计算一个分数。如果一个学生的数据太旧，或者他们的连接太不稳定，他们就会得到较低的分数，这意味着他们的答案在最终混合中所占的比重较小。这确保了“大师指南”能够从那一刻最相关、最可靠的来源中学习。

论文并不仅仅是猜测这种方法有效；作者建立了一个复杂的数学模型，以证明这种评分系统即使在数据混乱且设备挣扎的情况下，也能帮助群体学得更快、更准确。随后，他们在一次大规模计算机模拟中测试了这个想法。他们构建了一个拥有 25 个不同设备的虚拟世界，使用了三个流行的图像识别数据集（CIFAR10、Fashion-MNIST 和 MNIST）以及三种不同类型的 AI 模型（一个名为 SqueezeNet 的小型模型、一个中型 CNN 模型和一个大型 ResNet-18 模型）。

在这些模拟中，新的 OSAFL 方法始终优于现有标准学习算法的“改进版”。例如，当使用小型 SqueezeNet 模型处理 CIFAR10 数据集时，OSAFL 达到了约 41.7% 的测试准确率，而次优的方法仅达到约 37.2%。在 Fashion-MNIST 数据集上，差距甚至更大，OSAFL 的准确率达到了 81.5%，而其他方法约为 78.8%。模拟表明，通过仔细平衡每个设备的训练量、数据压缩程度以及基于当前评分的信任度，该群体比遵循旧规则的学习效果要好得多。

研究人员还发现了这些设备在压力下的某些有趣特性。他们发现，如果设备为了节省带宽而过度压缩数据（使用较少的“量化阶数”），它们实际上可能会进行更多的本地训练，因为它们剩下了更多的时间和能量。然而，如果 AI 模型像 ResNet-18 那样过于庞大笨重，增加压缩反而会损害性能，因为设备会因耗尽时间而无法进行训练。论文指出，不存在“一劳永逸”的设置；最佳方案高度取决于设备的性能及其拥有的时间。

最终，这篇论文提出了一种更聪明、更灵活的方式，让机器在万物皆变的世界中共同学习。它认为我们不能仅仅把设备视为静态的计算机；我们必须把它们视为忙碌、消耗资源的合作伙伴，需要动态的策略来保持同步。虽然这些结果目前基于模拟而非在真实硬件的实时网络中进行测试，但其数学逻辑和计算机模型强烈表明，这种“评分辅助”的方法是未来隐私友好、高效的人工智能的一件强大工具。

技术摘要：面向具有持续数据到达特征的资源受限无线客户端的在线评分辅助联邦学习

问题陈述

联邦学习（FL）在无线网络部署中面临重大挑战，特别是在部署于资源受限客户端（如物联网设备）且数据并非静态的情况下。传统的联邦学习算法通常假设客户端在训练前拥有静态数据集。然而，在集成感知与通信（ISAC）、信道状态信息（CSI）预测以及可穿戴传感器等实际无线应用场景中，训练样本是持续到达的。

这种持续的数据到达引发了两个关键且常被忽视的问题：

存储约束： 客户端存储容量有限，需与操作系统和用户文件共享空间。为了容纳新到达的样本，客户端必须删除旧样本，这会导致永久性的数据丢失以及潜在的“概念漂移（concept drift）”——即当前数据集的最优局部模型可能与之前的模型不同。
动态分布： 与关注新任务或新类别的传统持续联邦学习（CFL）不同，无线应用通常涉及同一个任务（例如波束管理），但由于环境条件的改变和旧样本的删除，其数据分布随时间不断变化。

现有的联邦学习算法（如 FedAvg、FedProx）主要解决系统异构性和非独立同分布（non-IID）数据问题，它们在这些动态且资源受限的场景下表现不佳，因为它们没有考虑到时变数据集、有限本地存储以及由此产生的分布偏移之间的特定相互作用。

方法论：在线评分辅助联邦学习 (OSAFL)

作者提出了 OSAFL，这是一种专门为具有持续数据到达和严格资源约束的无线客户端设计的全新联邦学习算法。该方法集成了三个核心组件：

1. 联合资源优化

在每个训练轮次之前，客户端通过求解一个非凸优化问题来确定其本地训练参数。给定固定截止时间（ $t_{th}$ ）和能量预算（ $e_{u,bd}$ ），客户端共同优化以下参数：

本地随机梯度下降（SGD）的轮数（ $\kappa_u^t$ ）。
CPU 时钟频率（ $\bar{f}_u^t$ ）。
上行链路传输功率（ $p_u^t$ ）。

这确保了客户端在遵守能量和时间约束的同时，最大化其本地训练投入，从而有效管理计算与通信开销之间的权衡。

2. 量化梯度传输

为了降低通信开销，客户端不传输完整的模型更新。相反，它们计算本地轮次中的归一化累积梯度，并应用随机量化器。这一过程显著减小了有效载荷大小，使其能够在有限的无线带宽和时隙内完成传输。

3. 在线评分辅助聚合

中央服务器（CS）采用了一种不同于标准加权平均的新型聚合策略。全局模型更新由下式控制：
$w^{t+1} = w^t - \eta_{gl} \eta_{ef}^t \sum_{u=0}^{U-1} \alpha_u \delta_u^t \cdot \mathbb{1}_u^t \cdot Q(d_u^t)$

该策略的关键要素包括：

在线评分 ( $\delta_u^t$ )： 为每个客户端分配的动态权重，根据其参与频率、本地训练轮数以及其量化梯度与全局梯度方向之间的余弦相似度进行计算。该评分能够适应数据分布的变化和客户端的可靠性。
全局步长控制器 ( $\eta_{ef}^t$ )： 一个调度器，根据聚合权重和连续轮次间全局梯度的相似性来调整有效步长，旨在最小化收敛界限。
参与指示器 ( $\mathbb{1}_u^t$ )： 由资源优化步骤确定的二元变量；如果客户端无法满足截止时间或能量约束，则在该轮次中被排除在外。

理论分析

本文对 OSAFL 进行了严谨的收敛性分析。作者推导了期望平均全局梯度范数的上界，展示了收敛速率如何受到以下因素的影响：

数据分布偏移 ( $\Phi^t$ )： 由于持续数据到达和样本删除导致的全局损失函数的变化。
客户端参与不确定性： 客户端处于可用状态的概率 ( $v_u^t$ )。
量化噪声： 由随机量化器引入的误差。
梯度差异性： 由非 IID 数据引起的局部梯度与全局梯度之间的偏差。

分析表明，为了使算法收敛，由于数据分布偏移导致的累积漂移增长速度不得快于 $\sqrt{UT}$ （其中 $U$ 是客户端数量， $T$ 是轮数）。推导出的界限为选择在线评分和步长控制器提供了指导，以最小化误差项。

核心贡献

算法设计： 提出了 OSAFL，这是首个专门针对具有持续数据到达和严格存储限制（即为腾出空间而删除旧样本）的无线客户端设计的联邦学习算法。
理论框架： 提供了一个收敛性分析框架，量化了时变数据分布、不确定的客户端参与以及梯度量化对联邦学习性能的影响，并据此推导出最优聚合权重。
次优优化： 提出了一种利用梯度相似性和参与历史来计算客户端评分和步长的实用方法，因为精确优化需要未知的未来信息。
实证验证： 在三个数据集（CIFAR10, FashionMNIST, MNIST）和三种模型架构（SqueezeNet1, CNN, ResNet-18）及不同参数量规模下进行了广泛的模拟实验。

实验结果

作者将 OSAFL 与改进版的现有最先进基准算法（M-FedAvg, M-FedProx, M-FedNova, M-FedDisco）以及 Genie 辅助的中心化 SGD 基准进行了对比评估。

性能： 在所有数据集和模型中，OSAFL 在测试准确率和收敛速度方面均一致优于所有改进后的基准算法。例如，在 CIFAR10 数据集的 SqueezeNet1 模型上，OSAFL 在第 19 轮时的测试准确率比基准算法高出 4.5%–4.5%。
量化的影响： 研究表明，量化水平 ( $s$ ) 的影响具有模型依赖性。对于浅层模型（SqueezeNet1），性能对 $s$ 的变化相对不敏感。对于中等规模模型（CNN），较高的 $s$ 会提高准确率。然而，对于大型模型（ResNet-18），增加 $s$ 会增加有效载荷大小，导致更多的掉队者（stragglers），并在紧迫的截止时间内降低性能。
异构性的影响： 随着数据异构性参数 ( $\aleph$ ) 的增加（表示标签分布更加平衡），所有算法的表现都有所提升，但 OSAFL 始终保持领先地位。
资源约束： 结果证实，联合资源优化至关重要；如果没有它，客户端往往无法参与或无法完成足够的本地轮次，从而导致全局性能下降。

意义与主张

本文声称 OSAFL 填补了联邦学习文献中的一个关键空白：即缺乏能够处理无线网络中持续数据到达结合严格存储约束的算法。

作者强调，其工作与关注新任务的传统持续联邦学习（CFL）不同，其核心在于关注由于必须删除旧数据而导致的同一任务的分布偏移。他们断言，其理论分析为如何在动态环境中对客户端贡献进行加权提供了必要的见解，并且其模拟实验验证了通过在线评分来次优地最小化收敛误差，比使用适配该场景的现有方法具有更卓越的实际表现。这项工作强调，在资源受限的无线联邦学习中，聚合策略必须能够适应数据漂移和客户端可用性，而不是依赖于静态假设。