💻 computer science

Adaptive Data Partitioning for Energy-Efficient Federated and Distributed Learning on Heterogeneous Systems

本文提出了一种测量驱动的自适应数据分区控制器，该控制器根据实时训练时间和能量指标动态重新分配样本预算，旨在缓解掉队者问题、降低能耗，并提高异构分布式及联邦学习系统的训练效率。

原作者： Daniel Suárez Labena, Vicente José Blanco Pérez, Pedro Antonio Toledo Delgado, Francisco Carmelo Almeida Rodríguez

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Suárez Labena, Vicente José Blanco Pérez, Pedro Antonio Toledo Delgado, Francisco Carmelo Almeida Rodríguez

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个教室，一群学生正试图共同完成一个庞大且复杂的拼图。在理想的世界里，每个人的工作速度应该完全一致，同时完成各自的部分，并同时交给老师。但在现实世界中，有些学生大脑转得飞快，有些人的处理速度较慢，还有些人可能感到疲倦或分心。这就是**分布式学习（distributed learning）**的日常现状——在这个领域，计算机（或设备）组队来训练人工智能模型。我们不是使用一台巨大的超级计算机来完成所有工作，而是使用许多较小的设备——比如智能手机、平板电脑或专门的芯片——进行并行计算。

然而，这里有一个陷阱：整个小组必须等待最慢的学生完成后，才能进入下一步。如果有一个学生进度缓慢，那些快的学生就会闲坐着无所事事，白白浪费时间并消耗电量。这被称为**“掉队者效应”（straggler effect）**。这就像一场接力赛，跑得最快的选手被迫在终点线旁停下来，等待跑得最慢的人追上来。该领域的研究人员的目标是研究如何让每个人都保持忙碌，让比赛结束得更快，并在团队成员构成差异巨大的情况下，尽可能节省能量。

问题：“一刀切”的陷阱

来自拉古纳大学（University of La Laguna）的研究人员注意到，大多数系统对所有设备一视同仁。它们会说：“好吧，我们有1,000块拼图；让我们给10个学生每人分100块。”这看起来很公平，但实际上效率极低。如果学生 A 有一台超级计算机，他们会在一分钟内完成这100块，然后等待学生 B（其设备较慢）完成剩下的部分，这一等就是10分钟。在这10分钟里，学生 A 的计算机仍在运转，白白消耗着电力，只是在等待而已。

这篇论文提出了一个简单的问题：如果我们不给每个人分配同样多的工作量呢？ 如果我们给快的学生分配更多的拼图，给慢的学生分配更少的拼图，从而让大家大约在同一时间完成，情况会怎样？更进一步，如果我们还考虑哪些学生每完成一块拼图消耗的电池电量最少，情况又会如何？

解决方案：聪明的教练

作者构建了一个“聪明的教练”（一种基于度量的控制器），它会观察学生们的工作情况。它并不靠猜测谁快谁慢，而是通过实际测量来进行判断。

这位教练的工作原理如下：

第一轮： 每个人获得相等份额的拼图。
检查： 在每一轮结束时，教练会询问：“你花了多长时间？”以及“你消耗了多少电量？”
调整： 对于下一轮，教练会重新分配工作量。如果某个设备既快又高效，教练会说：“做得好！给你更多的工作。”如果某个设备很慢或者耗电很快，教练会说：“放慢一点，给你少一点工作。”

这种调整发生在每一轮训练的边界处。这位教练非常聪明，知道游戏的规则。在某些游戏（如联邦学习/Federated Learning）中，数据属于特定的人，无法随意移动。在这种情况下，教练只能在属于该人的设备组内部重新分配工作。而在其他人共享数据的其他游戏中，教练可以在任何设备之间自由移动工作量。

结果：速度与节省

研究人员在由11种不同设备组成的“操场”上测试了这个“聪明的教练”。这些设备涵盖了从强大的计算机芯片到微小的低功耗开发板。他们将这种方法与传统的“等分法”以及“静态配置法”（即教练只在开始时测量一次并制定计划，之后不再更改）进行了对比。

他们的发现是：

更快的完成速度： 通过将更多工作分配给快速设备，并将较少工作分配给慢速设备，整个小组完成训练的速度大大加快。在某些测试中，完成训练所需的时间比“等分法”减少了超过 70%。
能源节省： 由于快速设备不再坐等，小组消耗的总能量显著下降。在某些情况下，能量消耗降低了超过 40%。
“能量权重”的意外发现： 教练有一个特殊的设置叫做“能量权重”。研究人员曾想：“如果我们告诉教练优先考虑节省能量，效果会更好。”但他们发现了一个棘手的问题。如果教练把过多的工作交给一个虽然节能但速度极慢的设备，整个小组就必须等待更久，导致总能量消耗反而上升了。事实证明，最佳的平衡点取决于具体的任务。有时，单纯专注于速度（仅限时间）反而是节省能量的最佳方式，因为这样能让任务迅速完成，从而让设备更早关闭。

他们没有做的事情（以及为什么这很重要）

需要注意的是，这篇论文并没有改变 AI 模型本身，没有改变 AI 学习的数学逻辑，也没有把慢速设备踢出游戏。他们让所有人都留在房间里。他们也没有使用那种预测未来的“神奇”预判；他们只使用了当前可以测量到的数据。

他们还表明，如果你的目标是利用所有可用的硬件，那么仅仅挑选“最快”的设备并忽略慢速设备（这是某些系统中常见的策略）并不总是最佳方案。他们的方法让每个人都参与其中，但通过调整工作量，确保没有人被冷落在后。

总结

这篇论文证明了，你不需要升级硬件就能让 AI 训练变得更快、更环保。你只需要一种更聪明的任务分配方式。通过实时观察每个设备的运行速度和效率并据此调整工作量，你可以阻止“掉队者”拖慢整个进程。这有点像一位教练意识到，短跑选手应该多跑几圈，而慢跑者跑少一些圈数，这样大家都能在精疲力竭但满怀成就感的同时，一起冲过终点线，而不会有人在原地白白浪费精力。

技术摘要：面向异构系统上能效型联邦与分布式学习的自适应数据分区研究

1. 问题陈述

在异构系统上的分布式模型训练受到参与设备间处理吞吐量、内存行为及运行条件差异的显著阻碍。当采用固定的等分训练数据时，较快的设备会提前完成工作，并在同步点处等待较慢的“掉队者”（straggler）设备，从而处于闲置状态。这种掉队者效应不仅增加了总训练时长（makespan），还提高了设备的能量消耗，因为同步参与者必须保持活跃状态，直到集体进度得以继续。

现有的缓解此类问题的方法通常依赖于参与者选择（排除慢速设备）、异步聚合、优化方法变更或模型适配。虽然近期的研究探索了重新分配训练数据，但许多方法依赖于学习型控制器、预先搜索、特定的硬件设置，或对同步语义和参与集合的修改。目前仍缺乏一种通用的闭环机制，能够在不同的同步和数据所有权边界（如联邦学习和分布式数据并行）下运行，同时保留原始的学习配置、模型和同步规则。

2. 方法论

作者提出了一种轻量级的、基于测量的分配控制器，该控制器在轮次边界处根据观测到的训练时间和测量的单位样本能耗，重新分配固定的样本预算。该控制器在不修改模型、损失函数、优化器或参与设备集合的情况下运行。

执行范式

本研究在三种不同的执行范式下评估了该控制器：

周期性模型平均 (PMA)： 工作节点在共享数据上训练独立的模型副本，并仅在轮次边界进行同步。
分布式数据并行 (DDP)： 各个 Rank 在每个优化器步长后同步梯度。该范式需要特定的批大小策略，以处理不等的每 Rank 工作量，且不引入填充（padding）或虚拟批次。
带有内层 Silo DDP 的分层联邦学习 (HFL-DDP)： 设备被分组为固定的“Silo”（数据所有权域）。Silo 内的 Rank 使用 DDP，而 Silo 模型在联邦轮次边界进行聚合。重新分配仅限于同一 Silo 内的 Rank，以尊重数据所有权。

自适应控制器

控制器的运作流程如下：

测量： 在每一轮 $r$ 结束时，每个参与者报告其处理时间 ( $t_i^{(r)}$ )、能耗 ( $e_i^{(r)}$ ) 和样本数量 ( $n_i^{(r)}$ )。
成本计算： 计算单位样本成本 $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ 和 $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$ 。这些数值使用指数移动平均 (EMA) 进行平滑处理以减少噪声。
加权比例拆分： 控制器使用用户选定的权重 $w_t$ $w_{t}$ （时间）和 $w_e$ $w_{e}$ （能量）计算一个无量纲的组合成本 $c_i^{(r)}$ $c_{i}^{(r)}$ 。
- $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{median}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{median}(\hat{\epsilon})}$
分配： 参与者被分配的样本数与它们的成本成反比。通过“死区”（deadband）机制防止在成本差异微小时进行不必要的重新分配。
DDP 特有逻辑： 对于 DDP，控制器确保所有 Rank 在每轮中执行相同数量的优化器步长，通过构建每步批大小调度表来重新分配局部样本，从而保持样本均值梯度目标。

实验设置

评估是在一个包含 Arm、RISC-V 和 x86 架构的十一设备异构片上系统 (SoC) 测试台上进行的。使用了三个监督学习任务：MNIST（图像分类）、ERA5（时间序列回归）和 IMDB（文本情感分类）。研究将自适应策略与以下基准进行了对比：

等量分配 (Equal allocation)： 均匀的样本划分。
静态剖析 (Static profiled)： 一次性测量后的固定分配。
类 Oort 选择 (Oort-like selection)： 一种排除慢速参与者的基准方法。
FedAsync： 异步 PMA。
EMA 批大小调整 (EMA batch sizing)： 用于 DDP 的步长级吞吐量基准。

3. 核心贡献

本文提出了四个主要贡献：

基于测量的控制器： 一种轻量级机制，根据观测到的单位样本时间和能量重新分配固定样本预算，同时保留完整的参与集和同步语义。
统一设计： 一种适用于 PMA、DDP 和 HFL-DDP 的通用分配设计，并针对分层设置中的数据所有权边界设定了特定约束。
能效感知目标： 一个具有可调权重的目标函数，揭示了单位样本能量、训练时长与同步设备能量之间的相互作用，挑战了“最大化能量权重总能最小化总能量”的假设。
全面评估： 在异构测试台上，跨越三个学习任务和三种同步范式进行了复制研究，将分配变化与计算失衡、同步暴露、训练时长以及实测能耗联系起来。

4. 结果

在异构测试台上的实验得出以下发现：

缩短时长与降低能耗： 自适应分区（特别是“仅时间”和“低能量”策略）与等量分配相比，一致地减少了训练时长和测得的设备能耗。在 PMA 中，“仅时间”策略在各项任务中使中值训练时长减少了约 71–80%，能耗减少了 28–40%。
缓解掉队者效应： 控制器显著降低了计算失衡。在 DDP 中，前向传播时间的变异系数从等量分配时的 ~0.8–1.1 降至自适应模式下的 ~0.02–0.18，这与同步等待时间的减少直接相关。
收敛性： 自适应策略比等量分配更快地达到低目标值区域（留出集损失/MSE），且通常能在显著更短的时间内达到相当的最终质量。
非单调能量响应： 增加能量权重 ( $w_e$ ) 并不总是能降低总能量。将更多工作分配给能效高但速度慢的设备可能会延长同步执行窗口，从而增加所有参与者的累积能量。较小的能量权重 ( $w_e = 0.25$ ) 通常比“仅能量”策略 ( $w_e = 1$ ) 能提供更好的权衡。
开销： 调度计算本身的开销微乎其微，消耗的时间不到轮次时长的 0.02%。

5. 重要性与主张

本文主张，基于测量的数据分区是缓解分布式训练中掉队者问题的实用方法，且无需改变学习配置或同步规则。

实用性： 该方法不需要预先剖析、学习型策略，也不需要更改优化器或模型架构。它通过运行时遥测进行闭环控制。
上下文相关的优化： 作者强调，时间与能量之间的最佳平衡取决于具体的任务和执行范式。虽然“仅时间”是最小化训练时长的最可靠默认选项，但在特定语境下（如 HFL-DDP 的某些任务），较小的能量权重也会带来益处。
与前人工作的区别： 与排除设备的参与者选择方法（如 Oort）不同，本方法保留了所有配置的参与者。与异步方法不同，它保留了目标范式的同步语义。
局限性： 作者谦虚地指出，结果是针对所评估的十一设备测试台及固定网络条件而言的。他们并未声称在所有现有方法中具有普遍优越性，而是证明了在异构环境中，通过简单的基于测量的固定预算重新分配，可以优于静态等分和一次性剖析。