⚡ electrical engineering

EARL: Energy-Aware Adaptive Antenna Control with Reinforcement Learning in O-RAN Cell-Free Massive MIMO Networks

本文提出了一种名为 EARL 的基于强化学习的能量感知自适应天线控制框架，旨在利用 O-RAN 架构优化无蜂窝大规模 MIMO 网络中的天线配置，在满足用户频谱效率需求的同时显著降低能耗并满足近实时性要求。

原作者： Zilin Ge, Ozan Alp Topal, Irshad Ahmad Meer, Pei Xiao, Cicek Cavdar

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Zilin Ge, Ozan Alp Topal, Irshad Ahmad Meer, Pei Xiao, Cicek Cavdar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EARL 的新技术，它的目标是让未来的 6G 无线网络（特别是“无蜂窝”大规模 MIMO 网络）变得更省电，同时还能保证大家上网速度不卡顿。

为了让你更容易理解，我们可以把整个网络想象成一个巨大的、由许多小路灯组成的智能照明系统。

1. 背景：为什么需要“省电”？

想象一下，为了让你在任何地方（无论是市中心还是公园角落）都能收到完美的 Wi-Fi 信号，运营商在城市的各个角落安装了成千上万个小型基站（论文里叫 O-RU，就像一个个小路灯）。

传统做法：为了保险起见，不管有没有人经过，所有路灯都 24 小时全开，而且每个路灯都把所有灯泡（天线）都点亮。
问题：这就像为了照亮一条空无一人的小巷，却把整个城市的灯都打开了。虽然信号好，但电费（能源消耗）高得吓人，而且这些路灯还需要一个巨大的“中央控制室”（云端）来统一指挥，这也非常耗电。

2. 核心方案：EARL 是什么？

EARL 就像是一个拥有“超级大脑”的智能管家，它利用一种叫**强化学习（Reinforcement Learning）**的人工智能技术来管理这些路灯。

它的任务：在满足用户上网速度（频谱效率）的前提下，尽可能多地关灯、关灯泡，或者让某些路灯休息。
它的绝招：它不是死板地按规则办事，而是像训练一只聪明的狗一样。
- 如果它关掉了太多灯导致有人没网了（速度不达标），它就会受到“惩罚”（扣分）。
- 如果它关掉了灯但大家网速依然很快，它就会得到“奖励”（省电加分）。
- 经过成千上万次的“试错”和“学习”，这只“智能狗”（AI 模型）就学会了在什么情况下该开多少灯，既能省电又不耽误事。

3. 它是如何工作的？（三个关键步骤）

第一步：动态调整“灯泡”数量

以前的系统，一个路灯要么全开，要么全关。但 EARL 更灵活。

比喻：想象每个路灯有 8 个灯泡。以前是“全亮”或“全灭”。现在，EARL 可以根据需要，只点亮其中的 2 个、4 个或 6 个。
效果：如果附近只有一个人，它可能只开 2 个灯泡；如果人多了，再慢慢增加。这样能省下巨大的电力。

第二步：集中指挥 vs. 各自为战

论文提到了两种指挥模式（Split 8 和 Split 7.1）：

各自为战（Split 7.1）：每个路灯自己算怎么发光，中央只给个大概指令。这就像每个路灯都有自己的小计算器，虽然反应快，但计算重复，效率低。
集中指挥（Split 8，EARL 采用的）：所有路灯把数据传给“中央控制室”，由超级计算机统一计算怎么发光最省电、信号最好。
比喻：就像交响乐团。以前是每个乐手自己看谱子演奏（各自为战），现在由一位指挥家（云端）统一指挥，大家配合得更默契，不仅声音（信号）更完美，而且乐手们（基站）不用那么费力（省电）。

第三步：快速反应与“贪心”优化

快速反应：EARL 需要在极短的时间内（不到 0.22 秒）做出决定，就像F1 赛车的换胎手，必须在几秒内完成，否则就晚了。
贪心优化（Greedy Refinement）：AI 做出初步决定后，还有一个“精算师”会进行最后检查。它会尝试再关掉一个灯泡，看看会不会影响网速。如果不会，就关掉；如果会，就保留。这就像整理背包，把不需要的东西一件件拿出来，直到背包最轻但东西都还在。

4. 成果如何？

论文通过模拟实验发现，EARL 的表现非常惊人：

省电效果：
- 和“所有灯全开”的笨办法相比，省电高达 81%（相当于把电费砍掉 4/5）。
- 和传统的“凭经验”的省电方法相比，省电 50%。
速度：
- 纯 AI 决策只需 0.22 秒，完全符合未来网络“近实时”的要求。
- 加上“精算师”优化后，虽然需要 2 秒，但能进一步把功耗减半。

5. 总结

简单来说，这篇论文提出了一种用 AI 来“精打细算”管理 6G 网络的方法。

它不再让网络“傻乎乎”地全功率运行，而是像智能调光系统一样，根据有多少人上网、大家在哪里，动态地决定开多少灯、用多少算力。这不仅让网络更绿色、环保（大幅降低碳排放），还能让运营商省钱，同时保证用户依然能享受到高速、稳定的网络。

一句话概括：EARL 就是给未来的 6G 网络装上了一个会算账、懂变通、反应快的“节能管家”。

这是一篇关于在 O-RAN 架构下的无蜂窝大规模 MIMO（Cell-free Massive MIMO）网络中，利用强化学习进行能量感知自适应天线控制的技术论文总结。

论文标题

EARL：基于强化学习的 O-RAN 无蜂窝大规模 MIMO 网络中的能量感知自适应天线控制

1. 研究背景与问题 (Problem)

背景：无蜂窝大规模 MIMO 技术通过分布式射频单元（RUs）的相干联合传输，能提供均匀的高性能网络覆盖。Open RAN (O-RAN) 架构通过虚拟化基带和动态资源共享，为大规模部署提供了支持。
核心挑战：
1. 高能耗：密集的 RU 部署、光前传（Fronthaul）链路以及云端集中式处理带来了巨大的能源成本。
2. 现有方法的局限性：
  - 基于优化的方法计算复杂度高，难以满足实时性要求。
  - 现有的机器学习方法（如多智能体 DRL）通常忽略了天线级的控制，且往往假设分布式预编码，忽略了 O-RAN 支持的集中式预编码（Split Option 8 和 7.1）带来的频谱效率增益和能耗优化潜力。
  - 缺乏针对集中式预编码场景下，兼顾射频、光前传和云端处理能耗的联合优化方案。

2. 方法论 (Methodology)

作者提出了 EARL (Energy-Aware Reinforcement Learning) 框架，作为一个运行在 O-Cloud 中的能量感知 xApp，旨在动态配置 RU 中的天线元素，以最小化总能耗同时满足用户频谱效率（SE）需求。

A. 系统模型与功耗建模

架构：基于 O-RAN 的 TDD 模式无蜂窝系统，支持功能分割选项 8（所有处理在云端）和 7.1（部分处理在 RU，部分在云端）。
集中式预编码：采用最小均方误差（MMSE）预编码，所有信道估计和预编码计算在 O-Cloud 完成。
端到端功耗模型：总功耗 ( $P_{tot}$ $P_{t o t}$ ) 包含三部分：
1. RU 侧功耗：包括静态射频链功耗、负载相关的发射功耗以及 RU 侧的处理功耗（取决于功能分割选项）。
2. O-Cloud 侧功耗：包括基带处理（预编码、调制编码等）和数据中心冷却功耗。
3. 光前传功耗：包括 RU 侧光收发器功耗（RU 激活时恒定）和云端侧随流量增长的功耗。
问题公式化：将最小化总功耗问题转化为在满足用户 SINR 约束下的组合优化问题。由于目标函数包含零范数（激活数量）且 SINR 与激活天线数 $n$ 的关系在集中式预编码下难以解析表达，传统优化方法难以求解。

B. 强化学习框架设计

算法选择：采用 近端策略优化 (PPO) 算法，因其能高效处理多维离散动作空间且收敛稳定。
状态空间 (State)：
- 信道增益矩阵 $\Phi$ （仅需要大尺度衰落信息，无需瞬时 CSI）。
- 当前各 RU 的激活天线数 $n_t$ 。
- 归一化的总功耗。
- 违反 SE 约束的用户比例 $R_{vio}(t)$ 。
动作空间 (Action)：在每个决策时刻，为每个 RU 的激活天线数提供增量调整（-1, 0, +1），确保天线数在 $[0, N]$ 范围内。
奖励函数 (Reward)：
- 主要奖励项：负向的归一化激活天线总数（鼓励减少激活）。
- 惩罚项：违反 SE 约束的比例（通过拉格朗日乘子动态平衡能效与可靠性）以及非法动作（如完全关闭所有 AP）的惩罚。
贪婪细化 (Greedy Refinement)：在 RL 推理后，引入一个贪婪后处理阶段，尝试逐个减少天线激活，直到再次触发 SE 违规，以进一步挖掘节能潜力。

3. 主要贡献 (Key Contributions)

建模创新：建立了适用于 O-RAN 分割选项 8 和 7.1 的无蜂窝大规模 MIMO 端到端功耗模型，明确量化了激活 RU 数量和天线端口对射频、前传及云端处理功耗的影响。
框架提出：首次将集中式预编码场景下的能效优化问题转化为强化学习问题，提出了 EARL 框架，能够动态调整天线和 RU 配置。
性能突破：
- 提出了基于 PPO 的解决方案，并设计了贪婪细化策略。
- 开发了一种轻量级的启发式算法作为基准对比。
实时性验证：证明了该方案满足 O-RAN 近实时（Near-RT）控制接口（<2 秒）的时延要求。

4. 实验结果 (Results)

仿真基于 MATLAB 和 Python 环境，场景为 400m x 400m 区域内部署 16 个 RU。

节能效果：
- 相比全开模式 (Full-on)：EARL 实现了高达 81% 的能耗降低。
- 相比启发式基准 (Heuristic)：EARL 实现了 50% 的额外节能。
- 在严格频谱效率要求下，集中式预编码带来的灵活性使得节能效果显著。
运行时间：
- RL 仅版本：平均运行时间 220 ms，远低于 O-RAN 近实时限制。
- RL + 贪婪细化版本：运行时间约为 2 秒，虽然触及上限，但能进一步将功耗降低约 50%（相对于纯 RL 版本）。
- 启发式算法运行最快（0.07s），但节能效果较差且无法适应动态 SE 需求。
功能分割对比：
- 对比 Split 7.1 和 Split 8：Split 8（全云端处理）虽然增加了云端负载，但通过资源池化和高效共享，使整体网络能耗降低了 30%，同时提升了频谱效率。
鲁棒性：算法优先保障用户 SE 需求，即使在增加用户数量（从 4 到 8）的情况下，仍能维持较低的总功耗和可接受的平均 SE。

5. 意义与结论 (Significance & Conclusion)

理论意义：解决了集中式预编码下无蜂窝网络天线级能耗优化的难题，填补了现有研究在 O-RAN 架构下结合 RL 进行细粒度（天线级）控制的空白。
工程价值：
- 证明了基于 RL 的 xApp 可以在 O-RAN 近实时接口上高效运行，具备实际部署潜力。
- 展示了通过动态关闭闲置天线和 RU，结合集中式处理优势，可大幅降低 6G 网络的运营能耗（OPEX）。
未来展望：作者计划进一步研究 RU 与用户关联（Association）的联合优化，并提升算法在更大规模网络中的可扩展性。

总结：EARL 是一个高效、实时的解决方案，它利用强化学习智能地管理 O-RAN 无蜂窝网络中的天线资源，在严格保证用户体验（频谱效率）的前提下，实现了显著的端到端节能，为绿色 6G 网络的发展提供了重要的技术路径。