⚡ electrical engineering

EH-FedSAG: Variance-Reduced Federated Learning with Energy-Aware Participation in Energy-Harvesting IoT

本文提出了 EH-FedSAG，一种基于服务器内存的方差缩减联邦学习算法，该算法在能量采集物联网网络中，特别是在能量供应稀缺和非独立同分布（non-IID）数据分布的情况下，其测试准确率和稳定性均优于标准的 EH-FedAvg。

原作者： Shahab Jahanbazi, Mateen Ashraf, Richard Demo Souza, Onel L. A. Lopez

发布于 2026-06-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Shahab Jahanbazi, Mateen Ashraf, Richard Demo Souza, Onel L. A. Lopez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一群朋友正试图共同完成一个巨大的拼图，但他们无法见面。相反，他们各自在家里完成拼图的一部分，然后将进度发送给一位中央“队长”，由队长将所有人的成果组合成一幅完整的宏大画卷。这就是**联邦学习（Federated Learning）**的基本概念：一种让许多设备在不共享私密数据的情况下共同学习的方法。

然而，在这篇特定的论文中，“朋友们”是依靠**能量采集（Energy Harvesting, EH）**运行的太阳能设备（例如森林中的传感器或智能城市中的设备）。这意味着它们没有稳定的电源线；它们只有在阳光照射或风力吹动时才能获得能量。有时它们电力充足；有时它们的电池则完全处于空置状态。

问题所在：“不可靠的团队”

在正常的学习系统中，队长预期每天都会有一定数量的朋友提交更新。但在这种能量采集的世界里，情况是混乱的：

“电池”问题： 如果设备的电池电量低，它就无法进行数学运算（本地训练）或发送信息（传输）。
“随机性”问题： 由于能量的到来是随机的，参与其中的朋友群体在每一轮都会发生变化。某一天可能只有 5 个人出现；第二天可能有 20 个人出现。
结果： 队长得到的是一个杂乱、不一致的画面。学习过程变得摇摆不定、缓慢且充满错误，因为“团队”的规模和构成一直在不断变化。

标准方法（称为 EH-FedAvg）只是简单地对当天到场的人取平均值。如果这个小组规模很小或者不具代表性，那么这个平均值就是错误的，学习过程就会陷入蹒跚状态。

解决方案：EH-FedSAG（“记忆守护者”）

作者提出了一种更聪明的方法，称为 EH-FedSAG。你可以把它想象成给了队长一个笔记本（服务器内存）。

其运作方式用日常语言来描述如下：

笔记本： 即使某个朋友因为电池没电而今天无法出席，队长也会记得这位朋友上次能够参与时所做出的贡献。
修正： 当队长计算新的小组平均值时，他们不仅仅看现在谁在场，还会结合当前的更新以及来自笔记本的“幽灵”更新（即缺席成员上次留下的有效工作成果）。
益处： 这平滑了波动。如果今天只有 3 个朋友到场，队长会使用他们的最新工作，同时用其他 7 位朋友存储的记忆来“填补空白”。这防止了学习过程出现剧烈的左右摇摆。

他们是如何测试的

研究人员进行了一项模拟实验，让 100 个设备尝试学习识别图像（例如猫 vs 犬）。他们测试了两种场景：

不同的能量水平： 有时设备获得的能量很少（阳光稀少），有时则较多。
不同的数据： 有时所有设备拥有的照片都很相似（简单情况），有时则非常不同（困难情况）。

结果：为什么“笔记本”能胜出

论文发现，EH-FedSAG 方法（带有笔记本）比标准方法表现得好得多：

更平滑的学习： 标准方法就像在一条颠簸的路上行驶，车辆不断地上下颠簸。而 EH-FedSAG 方法则像是行驶在平坦的高速公路上。
更高的准确度： 特别是在能量匮乏（设备经常处于“睡眠”状态）时，笔记本方法学习得更快、更准确。
处理差异的能力： 当设备拥有的数据类型非常不同时（有些只看到猫，有些只看到狗），标准方法会变得非常困惑。而笔记本方法通过记住前几轮的“大局观”，使学习保持在正轨上。

核心结论

在一个设备依赖于不可预测的采集能量的世界里，你不能指望每个人每天都到场。论文表明，通过赋予中央服务器一份关于过去贡献的“记忆”，你可以稳定学习过程。这就像拥有一个永远不会忘记谁做了什么的团队，即使有些成员今天太累无法工作，也能确保整个团队依然稳步向着解决方案前进。

技术摘要：“EH-FedSAG：面向能量采集型物联网的方差缩减型联邦学习”

问题陈述
在能量采集（EH）网络中，联邦学习（FL）面临着由于能量到达的间歇性和随机性而带来的显著挑战。与拥有稳定电源的传统边缘设备不同，EH 设备依赖于环境能源，这导致了随时间变化的能量可用性。这引入了双重随机性：

不稳定的参与度： 设备可能缺乏足够的能量来进行本地计算或上行传输，从而导致参与设备呈现随机子集特征。
收敛不稳定性： 在标准的 FL 算法（如 FedAvg）中，部分参与引入了更新的变异性，通常会导致非零的误差底限（error floor）和不稳定的收敛行为。在 EH 系统中，由于能量约束进一步限制了设备参与的一致性，这一问题变得更加严重。

虽然先前的研究已经解决了能量感知设备选择和高效协议的问题，但将 EH 约束、能量感知参与以及服务端基于内存的方差缩减结合在一个统一框架内的研究尚未开展。

方法论：EH-FedSAG
本文提出了 EH-FedSAG，一种适配于 EH 环境的服务端内存型方差缩减联邦学习方法。该系统运行在一个基于时隙（slot-based）的 EH 模型下：

能量动态： 设备遵循“采集-存储-使用”范式，并具有有限的电池容量。能量到达被建模为独立同分布（i.i.d.）的伯努利过程。
可行性约束： 只有当设备的电池水平在特定起始时隙（ $s^*$ ）足以覆盖本地训练（ $\Omega$ 个时隙）和传输（1 个时隙）时，该设备才能参与。
设备选择： 服务端采用基于年龄（age-based）的选择策略。在具有足够能量的设备中，优先选择最近未被选中的设备（即“选择年龄”较高的设备），以确保长期的公平性。由于正交信道限制，每轮最多调度 $M$ 台设备。

算法核心：
EH-FedSAG 将 SAGA（随机平均梯度算法）原理集成到 EH-FL 协议中：

本地更新： 被选中的设备执行 $B$ 步本地随机梯度下降（SGD），并传输模型差异 $\delta_t^{(k)} = w_t - w_{t,B}^{(k)}$ 。
服务端内存： 服务端为每个设备 $k$ 维护一个内存向量 $m_t^{(k)}$ ，用于存储最近接收到的更新。
方差缩减： 服务端不再进行简单的平均，而是通过结合所有存储内存的均值与当前活跃设备的最新更新，计算出一个方差缩减后的方向 $v_t$ ：
$v_t = \bar{m}_t + \frac{1}{|P_t|} \sum_{k \in P_t} (\delta_t^{(k)} - m_t^{(k)})$
其中 $\bar{m}_t$ 是所有存储内存的均值。
全局更新： 使用该方差缩减后的方向更新全局模型。如果没有任何设备参与，则模型保持不变。

主要贡献

统一框架： 作者提出了一个能量感知的 EH-FL 框架，该框架明确模拟了时隙级的电池动态，强制执行基于能量可行性的每轮参与约束，并采用了基于年龄的设备选择机制。
算法开发： 他们开发了 EH-FedSAG，这是一种基于内存的 EH-FedAvg 变体，利用服务端内存来减轻由设备可用性随时间变化和部分参与引起的方差。
经验表征： 本文在两种网络架构（SmallCNN 和 SmallResNet）下，通过改变能量到达概率（ $P_h$ ）和数据异构性（由 Dirichlet 参数 $\alpha$ 控制），表征了测试准确率与训练轮数之间的关系。

实验结果
该方法针对 CIFAR-10 图像分类任务，在 $K=100$ 台设备和 $M=25$ 个信道的条件下，与原始的 EH-FedAvg 基准进行了对比评估，共进行 1,000 轮实验。

稀缺能量下的表现： 在低能量到达概率（ $P_h = 0.02$ ）下，EH-FedAvg 表现出显著的振荡。EH-FedSAG 的测试准确率高出约 3%，并对参与度引起的波动表现出更强的鲁棒性。
方差缩减： 与 EH-FedAvg 相比，EH-FedSAG 始终能实现显著降低的后期准确率方差。例如，在 $P_h = 0.06$ 时，方差从 EH-FedAvg 的 0.9401 降低到了 EH-FedSAG 的 0.0421。
收敛速度： 在 $P_h = 0.06$ 的场景下，EH-FedSAG 达到 50% 测试准确率阈值的时间比 EH-FedAvg 快了约 26%。
非独立同分布（Non-I.I.D.）数据： 在数据分布异构（低 $\alpha$ ）的情况下，由于活跃子集缺乏代表性，EH-FedAvg 出现了剧烈的准确率下降。EH-FedSAG 通过利用先前活跃设备的存储信息，有效地将全局更新与瞬时活跃设备集解耦，从而维持了更平滑的轨迹。

意义与主张
本文声称，将服务端方差缩减引入 EH-FL 是增强训练稳定性的有效策略。EH-FedSAG 的主要优势在能量供应匮乏且数据分布为非独立同分布（non-i.i.d.）时最为显著。通过利用存储的内存补偿缺失设备的更新，该算法能够产生在通信轮次中更加一致且可预测的模型性能。这对于低功耗物联网部署特别有益，因为在这些场景中，间歇性的参与和有限的通信预算使得提前停止训练和保持稳定性能变得至关重要。

作者指出，未来的工作可以将该框架扩展到不可靠无线链路、带有 EH 约束的理论收敛性分析，以及计算异构性的系统。

问题所在：“不可靠的团队”

解决方案：EH-FedSAG（“记忆守护者”）

他们是如何测试的

结果：为什么“笔记本”能胜出

核心结论

类似论文