⚡ electrical engineering

Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

本文提出了一种面向O-RAN中无蜂窝大规模MIMO的分布式多智能体深度强化学习框架，该框架能够高效确定预编码矩阵以最大化总吞吐量并满足用户速率需求，同时相较于集中式方案显著降低信令开销，并优于现有的分布式方法。

原作者： Mohammad Hossein Shokouhi, Vincent W. S. Wong

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Hossein Shokouhi, Vincent W. S. Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的无线网络如同一座庞大而喧嚣的音乐厅。在这座厅堂里，散布着数百个微型扬声器（称为O-RUs），以及成千上万位试图清晰听到自己喜爱歌曲的听众（称为用户）。

在过去，音乐厅中央设有一套单一的巨大音响系统。但当厅堂变得过大或过于拥挤时，这套系统便难以应对：有些人能完美地听到音乐，而坐在后方或角落的人却只能听到一片杂音。

本文提出了一种新的音乐会运作方式：无蜂窝大规模 MIMO。不再依赖一个巨大的扬声器，而是让每一个微型扬声器协同工作，将声音直接波束成形至特定的听众。其目标是确保每个人都能清晰响亮地听到自己的歌曲，而不会因某人的歌曲声音过大而淹没邻座的声音（这种现象称为干扰）。

然而，要让数百个扬声器完美协调极其困难。这就像试图让一千人的合唱团在没有指挥向所有人同时喊话的情况下，完美和谐地演唱。如果它们都试图互相沟通以协调，通信线路就会拥堵（过多的信令开销）；如果它们只是猜测，音乐听起来就会杂乱无章。

问题：“指挥家”与“混乱”

研究人员考察了两种现有的解决方案：

集中式指挥家：一个超级大脑（中央计算机）精确计算每个扬声器应执行的操作。这对小群体效果良好，但如果群体过大，大脑就会不堪重负，指令送达的时间也会过长。
独立歌手：每个扬声器自行决定操作。这速度很快，但缺乏协调，它们往往会互相干扰，造成一片噪音混乱。

解决方案：智能的多层级团队

作者提出了一种新的框架，该框架适用于名为O-RAN（开放无线接入网络）的现代网络架构。可以将 O-RAN 想象为一个智能管理系统，允许网络的不同部分高效地相互通信。

他们的解决方案是一个**多智能体深度强化学习（DRL）**框架。其工作原理如下，运用了一个富有创意的类比：

1. “专家”与“学生”

想象一位精通完美音乐编排但行动缓慢且疲惫的大师指挥（迭代算法）。他必须为每一个音符计算复杂的数学公式。

创新点：研究人员没有让大师每秒都进行计算，而是训练了一支AI 学生团队（DRL 智能体）来观察大师并学习他的“直觉”。
AI 并不试图从头计算整首歌曲。相反，它学习根据大师会采取的行动，做出少数几个明智且快速的决策（例如调整音量或时机）。这被称为利用“专家知识”。

2. 三速时钟（多时间尺度）

本文引入了一种巧妙的时间处理方式，就像拥有三种不同速度的时钟：

慢时钟（非实时循环）：每隔一段时间（每几秒），“大师”（中央 AI 训练器）会更新学生们的总体策略。它教导他们如何应对人群的巨大变化。
中速时钟（近实时循环）：每隔几毫秒，学生们（运行在中央控制器上）会根据当前的人群密度，快速调整整个群体的“音量旋钮”和“时机”。
快时钟（实时循环）：每一毫秒，本地扬声器（O-RUs）都会进行微小的即时调整，以精准地指向移动的听众。它们利用学生们设定的“音量旋钮”来瞬间完成这一操作。

3. “秘密握手”（分布式协调）

扬声器不再向彼此大声喊叫（这会堵塞网络），而是只与紧邻的邻居和本地管理者交谈。

它们仅分享足以避免互相干扰的信息。
这就像一群知道编舞的舞者。他们不需要询问整个房间该做什么；只需观察身边的人和音乐，就能确切知道该移动到何处。

结果：他们发现了什么？

研究人员进行了模拟，以评估这种新的"AI 指挥合唱团”与传统方法相比的表现：

更好的音质：与扬声器单独行动的旧分布式方法相比，新系统提供的总数据量（吞吐量）提高了高达 50%。
媲美大师：其表现几乎与“集中式指挥家”（完美但缓慢的方法）一样好，但速度快得多。
更少的流量：由于扬声器不需要不断向中央大脑喊话指令，网络流量（信令开销）减少了高达 99.8%。这就像用一条短信取代了一千通电话。
适应性：如果用户突然需要更快的连接（例如从听播客切换到观看 4K 电影），系统会自动调整以满足需求，而不会崩溃。
鲁棒性：即使扬声器无法完美听到听众（由于噪声或“不完美信道估计”），AI 系统也能惊人地猜出正确的动作，在嘈杂环境中往往优于传统的数学方法。

总结

本文提出了一种智能且可扩展的方法来管理大规模无线网络。与其依赖缓慢且过载的中央大脑，或依赖混乱的独立扬声器群体，他们创建了一个AI 智能体团队，这些智能体从专家数学中学习，但行动迅速且本地化。它们进行恰到好处的协调以避免噪声，确保“音乐厅”中的每个人都能获得清晰、高质量的信号，即使人群巨大且移动迅速。

以下是论文《面向 O-RAN 的无蜂窝大规模 MIMO 分布式预编码：一种多智能体深度强化学习框架》的详细技术总结。

1. 问题陈述

本文解决了集成于开放无线接入网（O-RAN）架构中的无蜂窝大规模 MIMO系统所面临的预编码挑战。

背景：在无蜂窝大规模 MIMO 中，多个开放无线电单元（O-RU）协同服务用户，以确保均匀覆盖和高容量。预编码对于波束赋形和抑制用户间干扰至关重要。
挑战：
- 集中式方案（例如集中式正则化迫零，C-RZF）虽然性能优异，但存在可扩展性问题、计算复杂度高，以及在 E2 接口（O-DU 与 RIC 之间）产生过量的信令开销。
- 完全分布式方案（例如分布式 RZF）降低了开销，但由于 O-RU 间干扰严重且缺乏全局协调，往往导致性能次优。
- 现有机器学习方法：直接使用深度强化学习（DRL）确定预编码矩阵，在密集部署中常因状态/动作空间维度高而失效，导致收敛困难。此外，许多现有方法仅专注于最大化总吞吐量，而无法保证单个用户的最低数据速率要求。
目标：开发一种分布式、可扩展且低延迟的预编码框架，在 O-RAN 层级内保证用户最低速率要求，最大化总吞吐量，并最小化信令开销。

2. 方法论

作者提出了一种混合多时间尺度框架，将迭代优化算法中的专家知识与**多智能体深度强化学习（DRL）**相结合。该解决方案利用了分层的 O-RAN 架构（非实时 RIC、近实时 RIC 和 O-DU）。

A. 数学建模

优化问题：作者构建了一个非凸优化问题，旨在在满足最低速率约束（ $R_{min}$ ）和发射功率约束的前提下最大化总吞吐量。
变换：该问题被重构为等价的**加权最小均方误差（WMMSE）**问题。
迭代求解：采用块坐标下降（BCD）方法迭代更新：
1. 接收滤波器（ $U$ ）
2. 权重矩阵（ $W$ ）
3. 预编码矩阵（ $V$ ）
关键洞察：在无蜂窝系统中，预编码矩阵在 O-RU 间是耦合的。然而，接收滤波器（ $U$ ）和权重（ $W$ ）依赖于有效信道总和，这些总和表现出“信道硬化”特性，使其对快速波动的敏感度低于瞬时预编码矩阵。

B. 提出的多智能体 DRL 框架

该框架不使用 DRL 直接预测高维预编码矩阵（这计算昂贵且难以训练），而是利用 DRL 学习源自迭代算法的低维中间变量（ $U$ 和 $W$ ）。

多智能体架构：
- 智能体：每个用户分配一个 DRL 智能体。
- 观测：每个智能体观测来自具有相似大尺度衰落特征的干扰用户子集（ $I_k$ ）的有效干扰信道（ $\Xi_{k,i}$ ）。
- 动作：智能体输出接收滤波器（ $U_k$ ）和权重矩阵的 Cholesky 因子（ $L_k$ ，其中 $W_k = L_k L_k^H$ ）。这显著降低了动作空间的维度。
- 算法：采用**软演员 - 评论家（SAC）**算法的多智能体扩展版本，以最大化奖励（吞吐量）与策略熵的组合。

C. 多时间尺度 O-RAN 部署

该框架根据各组件的操作时间尺度分布在不同的 O-RAN 组件中：

非实时循环（>1 秒）：
- 组件：非实时 RIC（rApps）。
- 任务：训练 DRL 模型（演员和评论家网络）并更新参数。
近实时循环（10 毫秒 – 1 秒）：
- 组件：近实时 RIC（xApps）。
- 任务：智能体根据当前信道统计信息确定每个用户的 $U_k$ 和 $W_k$ 。这些参数被发送至 O-DU。
实时循环（<1 毫秒）：
- 组件：O-DU（dApps）。
- 任务：利用接收到的 $U_k$ 和 $W_k$ ，结合瞬时信道状态信息（CSI）以及用于功率约束的学习所得拉格朗日乘子（ $\xi_l$ ），O-DU 使用闭式更新方程计算最终预编码矩阵（ $V_{k,l}$ ）。
- O-DU 间通信：提出了一种新的D2 接口，允许 O-DU 交换耦合 O-RU 所需的信道/预编码信息，从而最小化 E2 接口的负载。

3. 主要贡献

新颖的优化建模：构建了具有相干联合传输的无蜂窝大规模 MIMO 非凸预编码问题，将其重构为 WMMSE 问题，并通过 BCD 求解。
专家引导的 DRL：提出了一种混合框架，其中 DRL 学习低维中间变量（ $U, W$ ）而非高维预编码矩阵。这利用优化理论指导学习过程，提高了收敛性和稳定性。
分层 O-RAN 实现：设计了跨越非实时、近实时和实时循环的实际部署方案，利用 dApps 进行实时预编码，利用 xApps/rApps 进行优化和训练。
动态适应性：该框架通过实时更新拉格朗日乘子来动态适应用户最低数据速率要求（ $R_{min}$ ）的变化，而无需重新训练。
信令缩减：引入了一种分布式机制，与集中式方案相比，大幅减少了 E2 接口上的信令开销。

4. 性能结果

进行了广泛的仿真，将所提出的框架与 C-RZF、D-RZF、WMMSE 以及各种 DRL 基线（E2E-DRL、DRL-WMMSE）进行了比较。

总吞吐量：
- 比D-RZF高出最多24.4%。
- 比WMMSE高出最多35.8%。
- 比端到端 DRL高出最多50.2%。
- 实现了与**集中式 RZF（C-RZF）**相当的性能，但复杂度显著降低。
信令开销：
- 与 C-RZF 相比，E2 接口信令开销减少了最多99.81%。这是因为仅交换低维中间变量，而非完整的信道矩阵。
可扩展性：
- 计算复杂度随用户数和 O-RU 数量高效扩展，不像集中式方法那样呈立方级扩展。
- 每个近实时循环的推理延迟为6.38 毫秒，远低于 10 毫秒的目标。
鲁棒性：
- 移动性：即使在高速用户移动（高达 45 公里/小时）下，该框架仍能保持性能，性能下降极小（<4%）。
- 不完美 CSI：在严重的信道估计误差下，所提出的基于学习的方法优于集中式解析方法（C-RZF）。
- 公平性：通过调整 $R_{min}$ ，该框架可以在最大化总吞吐量和确保小区边缘用户公平性之间取得平衡。

5. 意义

本文弥合了下一代无线网络中理论优化与实际部署之间的差距。

实用性：它展示了 O-RAN 的灵活架构如何在遵守严格实时约束的同时，承载复杂的 AI/ML 解决方案（DRL）。
效率：它通过使用领域知识（迭代算法）来减少学习空间，解决了无线系统中 DRL 面临的“维度灾难”问题。
面向未来：该框架旨在处理动态网络条件（用户移动性、变化的 QoS 要求）和不完美信道信息，使其成为 6G 无蜂窝网络的可行候选方案。

总之，本文提出了一种稳健、可扩展且高效的无蜂窝大规模 MIMO 预编码解决方案，该方案利用了 O-RAN 生态系统内优化理论与多智能体强化学习之间的协同作用。