💻 computer science

A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

本文提出了一种线性映射增强型近端策略优化（LME-PPO）框架，该框架利用深度强化学习来优化智能城市边缘计算环境中的动态负载均衡并降低系统延迟，通过有效地映射复杂任务空间并确保各边缘服务器之间的计算平衡来实现这一目标。

原作者： Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Fenghui Zhang, Yuhang Jiang, Yuhao Xu, Huaqiang Xi, Qiu Xu, Shijian Zheng, Maosheng Fu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗易懂版解释，使用了日常生活的类比。

大局观：智慧城市的交通拥堵

想象一下，智慧城市是一个规模宏大、繁忙繁忙的大都市。在这座城市里，成千上万的设备（如交通摄像头、智能电表和传感器）正在不断地产生数据。这些数据就像是一股试图前往目的地的车流。

在过去，所有的这些“车辆”（数据）都必须一路行驶到巨大的中央“云端城”（主数据中心）进行处理。这导致了严重的交通拥塞和长时间的延迟。

为了解决这个问题，城市建造了边缘服务器（Edge Servers）。可以将它们想象成散布在城市各处的社区服务站。它们离设备更近，因此可以更快地解决问题。

问题所在：不均匀的工作负载

问题在于：这些“车辆”（数据任务）的到达并不是均匀的。

有时，一场突发的交通事故会向边缘服务器 A 发送一大波数据。
与此同时，位于安静社区的边缘服务器 B 可能几乎无事可做。

如果城市不进行管理，服务器 A 会因为过载而变慢（导致延迟），而服务器 B 则会闲置，造成资源浪费。这就是所谓的负载不均衡（Load Imbalance）。

城市需要一个中央调度员（Central Dispatcher）（即智能调度器）来观察所有的服务器并说：“服务器 A 太忙了，让我们把其中一些车分给服务器 B。”

旧方法 vs. 新方法

这篇论文研究了如何构建这个调度员：

静态规则（旧方法）： 就像一个按固定时间切换红绿灯的交通灯。它很简单，但无法应对突发的事故或游行。它经常会导致某些服务器过载。
优化算法（中间方法）： 就像一个每次都能计算出完美路线的 GPS。它很聪明，但计算路径需要很长时间。等到它算出结果时，交通状况可能已经发生了变化。
深度强化学习（新方法）： 这就像是在训练一位超级智能交警，他通过经验学习。他不是遵循死板的规则手册，而是观察交通状况，尝试不同的策略，并学习哪些举措能让车辆在一段时间内流动得最快。

论文的解决方案： “LME-PPO” 框架

作者提出了一种特定类型的“超级智能交警”，称为 LME-PPO。以下是它的工作原理，分为三个简单的部分：

1. “线性映射”（翻译官）

训练用于此类工作的智能 AI，最大的问题在于车辆（任务）的数量每秒都在变化。

问题： 想象你在教机器人分发饼干。如果你告诉机器人“分发 5 块饼干”，但突然出现了 500 块，机器人就会感到困惑。如果你告诉它“分发 500 块”，但实际上只有 5 块，它就会崩溃。机器人的大脑（AI 模型）通常期望一个固定的数量，但现实世界是混乱且多变的。
解决方法： 作者添加了一个线性映射层（Linear Mapping Layer）。你可以把它想象成一个翻译官或一个比例尺。
- AI 大脑说：“我认为服务器 A 应该承担 30% 的工作，服务器 B 承担 70% 的工作。”（这些只是比例）。
- 翻译官会查看此时此刻实际到达了多少任务。如果现在到了 100 个任务，翻译官会说：“好吧，100 个任务的 30% 就是 30 个任务给服务器 A。”
- 这使得 AI 能够学习策略（百分比），而不会被总量（总任务数）所迷惑。

2. “PPO”（智能教练）

PPO（近端策略优化）是训练方法。

想象你在训练一只接球的狗。如果你在它犯错时吼得太凶，狗会感到害怕并停止学习；如果你太温柔，它也学不会这个技巧。
PPO 是一个“金发姑娘原则”（不多不少刚刚好）的教练。它确保 AI 循序渐进地学习，而不会犯下破坏其进步过程的巨大、可怕的错误。它让学习过程保持稳定且平稳。

3. “内部平衡器”（本地管理者）

一旦中央调度员将任务发送到特定的边缘服务器，该服务器仍需执行这些工作。

在每个边缘服务器内部，都有被称为**虚拟机（VMs）**的小型工作者。
论文包含一条特殊规则，以确保任务在这些内部工作者之间均匀分配。这就像一名工头在确保：如果某个工人速度很快（CPU 性能高），他们就会承担重活；而较慢的工人则承担轻活，从而让所有人都能同时完成任务。

结果：发生了什么？

作者将他们的新系统与旧方法（例如仅仅抓取第一个可用服务器的“贪婪”算法，以及一种名为“PSO”的优化算法）进行了对比测试。

速度更快： 他们的系统减少了处理任务所需的平均时间。
平衡更好： 工作量分布得更加均匀。没有哪个服务器会因为工作过多而溺水，而其他服务器却处于闲置状态。
稳定性： 即使城市变得混乱（高流量、数据突发峰值），他们的系统也能保持平稳运行，不会崩溃或陷入困惑。

总结

简而言之，这篇论文展示了一种管理智慧城市数据的新方法。它使用了一种能够动态平衡工作负载的智能 AI。其核心秘诀是一个翻译层，帮助 AI 处理不断变化的数据量，以及一种稳定的训练方法，确保 AI 正确学习而不至于失控。其结果是，城市中的数据流动更快，相关服务（如交通控制或应急响应）运作得更好。

技术摘要：一种用于智慧城市边缘系统中动态负载均衡的线性映射增强型 PPO 框架

问题陈述
将移动边缘计算（MEC）集成到智慧城市基础设施中，旨在通过在靠近 IoT 源头的地方处理数据，来降低延迟并提高带宽效率。然而，来自城市 IoT 设备（如交通摄像头、智能电网）的任务卸载具有随机性和异构性，这会在边缘服务器（ES）之间造成显著的负载不平衡。在每个 ES 托管多个虚拟机（VM）的典型部署场景中，随机到达的任务可能导致某些服务器过载，而其他服务器则处于利用不足的状态。这种不平衡会降低服务质量并增加系统延迟。现有解决方案面临诸多局限：静态调度算法缺乏对动态工作负载的适应性；传统的优化方法（如粒子群优化算法）存在迭代延迟，不适用于实时约束；而标准的深度强化学习（DRL）方法在处理连续状态变化与固定动作空间之间的失配时表现不佳，尤其是在任务数量显著波动的情况下。

方法论
作者提出了一种**线性映射增强型近端策略优化（LME-PPO）**框架来解决这些挑战。该方法结构如下：

系统建模： 将智慧城市资源管理系统建模为一个马尔可夫决策过程（MDP）。
- 状态空间 ( $S$ )： 由 $M$ 个边缘服务器队列中的待处理任务数量定义。
- 动作空间 ( $A$ )： 代表所有 ES 之间的任务调度矩阵。
- 奖励函数： 设计为最小化单个 ES 执行时间与系统整体平均执行时间之间的方差，从而促进负载均衡。
- 约束条件： 模型考虑了队列容量限制、各 VM 间的 CPU 频率差异以及最大允许执行时间。
LME-PPO 框架：
- Actor-Critic 架构： 系统使用标准的 PPO 算法，包含 Actor 网络和 Critic 网络（两个全连接层网络）。
- 线性映射层： 这是本研究的核心创新。由于 PPO 通常输出连续值，但任务分配需要离散整数，作者引入了一个线性映射层。Actor 网络输出一个相对分配比例的向量 ( $m_t$ )。该向量根据当前时间槽到达的任务总数 ( $n$ )，通过公式 $N_i = n \times \frac{m_i}{\sum m_i}$ 被映射为实际的整数任务数 ( $N_t$ )。这种机制确保了动作空间能够根据当前工作负载进行动态调整，防止了因固定动作空间导致的训练不稳定。
- 内部任务调度： 在每个 ES 内部，采用工作负载均衡任务分配算法将任务分配给多个 VM。基于定理 1 和定理 2，该算法优先将任务分配给 CPU 频率较低的 VM，以平衡执行时间，从而确保队列的最小完成时间。
长期效用： 该框架优化的是长期折扣效用而非单槽性能，利用广义优势估计（GAE）来平衡即时奖励与未来系统状态。

核心贡献

随机系统建模： 本文将任务分配过程建模为一个带有 DRL 框架的随机系统，该框架结合了 ES 内部的 VM 级调度，捕捉了实现精确负载均衡的关键计算特性。
线性映射增强： 作者在 PPO 框架内引入了线性映射层，以解决策略网络的连续输出与任务到达数离散且随时间变化的特性之间的冲突。这确保了稳定的学习过程和可行的整数任务分配。
工作负载均衡分配算法： 设计了一种特定的 ES 内部调度算法，通过根据 CPU 频率和当前队列状态智能地分配任务，从而最小化完成时间。
全面评估： 研究通过与粒子群优化（PSO）和贪婪基准算法进行严格对比，证明了该框架在动态环境中的有效性。

实验结果
所提出的 LME-PPO 框架使用一个包含 20 个边缘服务器的 Python/PyTorch 模拟器进行了评估。主要发现包括：

收敛性： 该算法在较少的 ES 数量下收敛更快（20 个 ES 对应 200 个回合），并且与 SAC 和 TD3 算法相比展现出更优越的稳定性。
延迟降低： 在 100 个回合的测试中，LME-PPO 方法实现的平均系统执行时间（约 3.7 ms）显著低于 PSO（4.5 ms）和贪婪（Greedy，5.7 ms）算法。
负载均衡： 在不同的工作负载条件（低、正常、高）下，LME-PPO 始终保持最低的平均计算时间和最均衡的 ES 间运行时间分布。相比之下，贪婪算法和 PSO 算法由于任务堆积，表现出更高的运行时间和更大的波动。
可扩展性： 该框架在不同的网络配置（300、400、500 个神经元）和折扣因子下均保持了稳定的性能，其中折扣因子为 0.99 时提供了最佳的长期性能。

意义与主张
论文声称 LME-PPO 框架为下一代智慧城市环境提供了一种鲁棒且可扩展的解决方案。通过通过线性映射弥合连续控制策略与离散执行需求之间的差距，该方法有效地处理了 IoT 任务卸载的高变动性。作者断言，其方法不仅实现了卓越的负载均衡，还显著降低了平均系统延迟，为动态边缘计算场景中的启发式和传统优化方法提供了一个实用的替代方案。这项工作强调了同时解决 ES 间负载均衡和 ES 内部（VM 级）任务调度的必要性，以实现资源利用率的最大化。未来的工作建议探索去中心化架构和更异构的工作负载模式。