⚡ electrical engineering

Scalable machine learning-based approaches for energy saving in densely deployed Open RAN

本文提出了一种基于深度强化学习的可扩展 Open RAN 节能方案，通过近实时与非实时 RIC 中的 xApp 和 rApp 协同实现多基站休眠控制，其联邦 TD3 算法在保持服务质量的同时，相比集中式基线实现了高达 50% 的节能和更快的收敛速度。

原作者： Xuanyu Liang, Ahmed Al-Tahmeesschi, Swarna Chetty, Cicek Cavdar, Berk Canberk, Hamed Ahmadi

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuanyu Liang, Ahmed Al-Tahmeesschi, Swarna Chetty, Cicek Cavdar, Berk Canberk, Hamed Ahmadi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**如何给未来的移动通信网络“省电”**的故事，特别是针对那些像蜂窝一样密集部署的基站（Open RAN）。

想象一下，现在的城市里到处都是手机信号塔（基站）。为了在早晚高峰时保证大家刷视频、打游戏不卡顿，运营商不得不把很多基站都开着。但这就像在夏天，哪怕只有几个人在客厅，你也把全屋的空调、电视、灯光全打开一样，非常浪费电。

这篇论文的核心就是：如何聪明地关掉一部分基站，让它们“睡觉”，同时保证剩下的人依然能流畅上网。

以下是用通俗易懂的语言和比喻对论文内容的解读：

1. 核心问题：基站太“费电”了

现在的 5G 网络为了覆盖好、速度快，建了很多基站。但在人少的时候（比如深夜或凌晨），这些基站还在全速运转，白白消耗电力。

比喻：就像一辆满载乘客的大巴车，在空荡荡的公路上也保持着最高速度行驶，既浪费油又产生不必要的碳排放。

2. 解决方案：让 AI 当“智能管家”

传统的基站很“死板”，硬件集成在一起，很难单独控制。但新的Open RAN架构把基站拆散了，变得很灵活。

比喻：以前的基站像是一个老式的大暖炉，要么全开，要么全关。现在的 Open RAN 像是一个智能分控系统，可以精确控制每一个房间的空调。
AI 的角色：论文提出用深度强化学习（DRL），也就是让 AI 像一个经验丰富的“智能管家”。它通过观察网络流量（有多少人用手机）、用户移动位置，来决定哪些基站该“醒着”工作，哪些可以“睡觉”（休眠模式）。

3. 三种“管家”的尝试（集中式方案）

作者先试了三种不同的 AI 训练方法，看看谁最聪明：

方法 A (DQNMA)：让 AI 一次性决定所有基站的开关。
- 缺点：就像让一个人同时指挥 24 个开关，选项太多（ $2^{24}$ 种组合），AI 容易“脑子转不过来”，学得很慢。
方法 B (DQNSA)：让 AI 一次只控制一个基站。
- 缺点：虽然简单了，但反应太慢，就像管家一次只能关一个房间的灯，等关完一圈，情况可能都变了。
方法 C (TD3)：这是作者最推崇的。它让 AI 输出一个连续的“建议值”（比如 0.8 表示大概率开，0.2 表示大概率关），然后自动变成开关指令。
- 优点：就像管家手里拿了一个调光旋钮，可以平滑地调节亮度，而不是只能“开/关”。这种方法学得最快，效果最好，能节省超过 50% 的能源。

4. 终极方案：联邦学习（Federated Learning）——“分头学习，集中智慧”

当城市变得超级大，基站成千上万时，把所有数据都传到一个中心服务器去训练 AI，就像让全城的交通数据都汇聚到一个大脑里处理，不仅慢，还容易堵车（通信压力大），而且涉及隐私。

作者提出了一个更聪明的办法：联邦学习。

比喻：
- 集中式：所有分店的经理把每天的账本都寄回总部，总部算出一个“最佳经营策略”再发回去。
- 联邦式：每个分店的经理（xApp，运行在近实时控制器上）在自己的店里观察客流，自己训练出一个“本地策略”。然后，他们只把**“经验总结”（模型参数）**发给总部（rApp，运行在非实时控制器上）。总部把这些经验汇总，提炼出一个“超级策略”，再发回给各分店。
- 好处：不需要传输原始数据（保护隐私），不需要把所有数据都传回来（省带宽），而且每个分店都能适应自己周边的情况。

5. 实验结果：谁更厉害？

作者在各种模拟场景下（从 6 个基站的小区域到 24 个基站的大区域）进行了测试：

收敛速度：联邦式的 TD3 算法比传统的集中式训练快了43.75%。就像学生分组学习，互相交流心得，比一个人死磕学得更快。
省电效果：网络整体能耗降低了50% 以上。
训练能耗：训练这个 AI 模型本身所消耗的能量，联邦式比集中式少了37.4%。这意味着不仅网络运行省电，连“教”AI 省电的过程也省电。
服务质量：最重要的是，虽然基站关了，但用户的网速和体验（QoS）并没有下降，依然很流畅。

总结

这篇论文就像是在说：

“我们不再用笨办法去控制成千上万个基站了。我们给每个区域配了一个聪明的 AI 管家，它们各自观察本地情况，学会如何开关基站。然后，这些管家们定期‘开会’交流经验，形成一个超级智慧大脑。这样，我们既能让网络在人多时保持高速，又能在人少时让大部分基站‘睡觉’，极大地节省了电力，还保护了数据隐私。”

这就是利用人工智能和分布式学习技术，为未来的 6G 和 5G 网络打造的一个绿色、高效、聪明的能源管理方案。

这是一份关于该论文的详细技术总结，涵盖了问题背景、方法论、核心贡献、实验结果及研究意义。

论文标题

基于可扩展机器学习的密集部署 Open RAN 节能方法
(Scalable machine learning-based approaches for energy saving in densely deployed Open RAN)

1. 研究背景与问题定义

背景：随着移动流量的激增，基站（BS）的密集部署成为满足用户数据速率需求的关键。然而，这导致了巨大的能源消耗。研究表明，基站占移动网络总能耗的 73%-77%，是主要的能耗来源。
Open RAN 架构：Open RAN（O-RAN）通过解耦硬件和引入智能控制器（RIC），为引入机器学习（ML）提供了灵活性。
- Near-RT RIC（近实时 RIC）：运行 xApps，负责毫秒级（10-1000ms）的无线电控制。
- Non-RT RIC（非实时 RIC）：运行 rApps，负责秒级及以上的策略编排和长期优化。
核心问题：
- 在低流量时段，许多为峰值需求设计的无线单元（RUs）仍保持激活状态，造成能源浪费。
- 传统的基于优化的休眠控制方法（如整数规划）在面对大规模网络时，由于组合爆炸（NP-hard 问题）和时空耦合，计算复杂度过高，难以实时求解。
- 集中式机器学习方法在大规模分布式系统中面临可扩展性瓶颈（通信开销大、数据异构性导致收敛困难）。
目标：在满足用户服务质量（QoS）的前提下，通过智能控制 RUs 的“激活/休眠”模式，最小化网络总能耗。

2. 方法论

论文提出了一套基于深度强化学习（DRL）的节能框架，分为集中式和联邦式两种方案，均嵌入 O-RAN 架构中。

A. 系统建模

马尔可夫决策过程 (MDP)：将 RUs 的休眠控制问题建模为 MDP。
- 状态空间 ( $S$ )：包括用户实时数据速率、RUs 的上一时刻激活状态、PRB（物理资源块）利用率、以及用户的空间位置坐标。
- 动作空间 ( $A$ )：RUs 的激活/休眠二进制向量。
- 奖励函数 ( $R$ )：平衡能耗效率（负向）和用户满意度（QoS 违规惩罚）。
能耗模型：包含固定功耗（激活/休眠模式）、负载相关功耗（与 PRB 利用率成正比）以及模式切换功耗（从休眠到激活的额外开销）。

B. 集中式 DRL 方案 (Centralized DRL)

为了应对离散动作空间随 RU 数量增加而指数级增长的问题，提出了三种算法：

DQNMA (DQN-Multiple Action)：枚举所有 RUs 的联合配置。动作空间大小为 $2^M$ ，在 RU 数量较多时难以训练。
DQNSA (DQN-Single Action)：每次仅控制一个 RU 的状态。动作空间线性增长 ( $2M$ )，但难以快速适应全网变化。
TD3 (Twin Delayed DDPG)：采用连续动作空间方法。
- 输出连续值 $[0, 1]$ ，通过阈值映射为二进制开关。
- 利用双 Critic 网络、延迟策略更新和目标平滑机制，有效避免了离散动作空间的组合爆炸，更适合大规模动态环境。

C. 联邦 DRL 方案 (Federated DRL, Fed-DRL)

为了解决集中式训练的可扩展性问题，提出了符合 O-RAN 分层的联邦学习架构：

架构设计：
- 本地代理 (Local Agents)：作为 xApps 部署在各地的 Near-RT RIC 中，利用本地区域（Region）的流量和移动性数据独立训练模型。
- 全局聚合器 (Aggregator)：作为 rApp 部署在 Non-RT RIC 中，定期聚合各区域的模型参数（Actor 和 Critic 权重），生成全局策略并下发。
优势：无需共享原始数据，降低了回传负载；利用本地数据特性提高策略的泛化能力；解决了集中式训练的计算瓶颈。
算法实现：提出了 Fed-TD3 算法，结合了 TD3 的连续控制优势与联邦学习的分布式训练机制。

3. 核心贡献

O-RAN 兼容的节能框架：提出了一种利用 O-RAN 功能分割和标准接口（A1, E2）的动态休眠控制方案，实现了基于流量和移动模式的 RUs 智能调度。
MDP 建模与奖励设计：将 RU 激活问题形式化为 MDP，设计了包含能耗与 QoS 权衡的奖励函数，支持集中式和分布式解决方案。
面向 O-RAN 的联邦 DRL 架构：
- 设计了分层联邦学习架构，Near-RT RIC 负责实时响应，Non-RT RIC 负责全局协调。
- 实现了从“单基站”到“区域级”（包含多个 RUs 和 UEs）的粒度转变，增强了策略在异构区域间的泛化能力。
可扩展性验证：通过大规模仿真，证明了联邦学习方案在降低训练能耗、通信开销以及提升收敛速度方面的显著优势。

4. 实验结果

实验在多种网络布局（6-24 个 RUs，500-1000m 区域）下进行，对比了集中式与联邦式方法。

算法性能对比 (集中式)：
- TD3 优于 DQN：在 500m×500m (6 RUs) 和 1000m×1000m (12 RUs) 场景中，TD3 的收敛速度和最终奖励均优于 DQNMA 和 DQNSA。TD3 能更好地处理连续决策和复杂动作空间。
- 节能效果：所有模型相比理论最大能耗（全激活）均节省了超过 50% 的能源。TD3 比 DQN 变体额外节省约 6%。
联邦学习 vs. 集中式学习：
- 收敛速度：Fed-TD3 的收敛速度比集中式 TD3 快 43.75%（平均收敛回合数从 1421 降至 858，统计显著性 p<0.05）。
- 网络节能：联邦方案实现了超过 50% 的网络能耗节省。
- 训练能耗：Fed-TD3 的训练能耗比集中式 TD3 降低了 37.4%（153.72 Wh vs 243.48 Wh），显著降低了 AI 模型训练本身的碳足迹。
- 泛化能力：在复合多区域场景（24 RUs）中，联邦训练的全局模型在独立区域测试时，表现出与集中式训练相当甚至更优的泛化性能，且鲁棒性更强。

5. 研究意义与结论

技术意义：
- 证明了将深度强化学习（特别是连续动作控制的 TD3）与联邦学习相结合，是解决 Open RAN 大规模网络节能问题的有效途径。
- 解决了传统优化方法在大规模网络中计算不可行的问题，同时克服了集中式 ML 在数据隐私和通信开销上的局限。
实际价值：
- 该方案完全基于 O-RAN 标准接口（xApp/rApp），具备实际部署的可行性。
- 显著降低了运营商的运营支出（OPEX）和碳排放，同时保证了用户体验（QoS）。
结论：
论文提出的 Fed-TD3 方案在收敛速度、网络节能效率、训练能耗以及策略鲁棒性方面均优于现有的集中式基线方法，为 6G 及未来密集部署网络的绿色智能运维提供了可扩展的解决方案。