Multi-Agent Deep Reinforcement Learning-Based Fairness-Aware Power Allocation in NOMA Systems under Imperfect SIC for 5G Communication Networks

在现代世界流动的无形数据河流中，无线网络面临着一场持久的斗争：如何在有限的频谱资源下服务更多的人。几十年来，标准的解决方案是将可用的无线电频率划分为不同的车道，为每个用户分配专属路径。这种被称为正交多址接入的方法虽然可靠，但效率低下，就像一条高速公路，即使其他车道空置，汽车也被迫在单行道上轮流通行。一种被称为非正交多址接入（NOMA）的新方法彻底改变了规则。它不再通过时间或频率来区分用户，而是允许多个用户在同一时间共享完全相同的频率。为了实现这一点，发射端发送一个组合信号，其中不同的用户被分配了不同的功率水平。连接最强的用户接收较弱的信号，而连接最弱的用户则获得较强的信号。在接收端，一种被称为连续干扰消除的过程就像一个过滤器，剥离掉较强的信号，从而显露出其下方的较弱信号。这项技术有望在同样的空间内装载更多的数据，这对于目前连接着数十亿设备的第五代（5G）网络来说是必不可少的。

然而，NOMA 的前景取决于一种微妙的平衡：即决定究竟要给每个用户分配多少功率。如果功率分配不当，连接较弱的用户可能无法接收到数据，同时整个网络也会浪费容量。在现实世界中，由于设备并不完美，这个问题变得更加困难。剥离信号的过程容易产生微小的误差，留下残留的干扰，从而降低连接质量。此外，无线环境是混乱的；信号会从建筑物上反射并发生不可预测的衰减。传统的功率管理方法通常依赖于固定规则或复杂的集中式计算，难以跟上这些快速的变化。它们往往倾向于服务连接最好的用户，而将那些信号差的用户抛在脑后，或者在环境变化时反应过于迟钝。

为了应对这些挑战，来自卡姆帕拉国际大学及尼日利亚其他研究机构的一个团队提出了一种利用人工智能进行功率分配管理的新方法。该系统并非依赖一个单一的中央大脑来为整个网络做决策，而是设计了一个让每个用户都充当独立智能体（agent）的系统。这种被称为多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning）的方法，允许每个用户从自身的局部经验中学习。想象一群驾驶员，他们不是等待交通控制塔告诉他们何时移动，而是通过观察周围的车辆并根据对群体最有效的做法调整速度，从而学会如何穿梭于繁忙的交叉路口。在这个系统中，每个智能体都会观察自身的信号质量和所面临的干扰，然后自行决定请求多少功率。这些智能体并非在自私行事；它们接受共同目标的训练，该目标奖励整个群体在公平性和效率方面的表现。

研究人员在一个模拟真实 5G 网络不可预测条件的仿真环境中测试了这个去中心化系统。他们将这种新方法与几种成熟的技术进行了对比，包括简单的固定规则、等功率分配，以及遗传算法和集中式学习系统等更高级的算法。仿真运行了数千次以确保结果的可靠性。研究结果显示，虽然在理想条件下集中式系统可以实现最高的总数据速率，但这种新的多智能体方法提供了性能与可靠性之间更优的平衡。具体而言，新方法显著降低了用户连接失败的次数（即中断概率），即使在信号强度相对较低时，也能将其保持在 10% 以下。它还保持了高度的公平性，确保信号较差的用户不会被遗弃，在高信号强度下实现了 0.96 的公平得分。

或许最重要的一点是，研究表明这种新方法对于现实硬件中的缺陷具有鲁棒性。当研究人员在信号消除过程和信道测量中引入误差时，集中式系统的性能下降比去中心化系统更为剧烈。因为多智能体系统依赖于局部观测而非完美的全局视图，所以它受这些不准确性的影响较小。在数据准确性方面，新方法在高信号强度下的错误率降至千分之一以下，表现优于其他测试方法。研究人员得出结论，虽然集中式智能有其用武之地，但一个让用户学会协作并在局部进行适应的网络，能为未来的无线通信提供更具扩展性和韧性的解决方案。这项工作表明，下一代网络可能不需要一个全知全能的控制器，而需要一群能够共同应对无线世界混沌状态的聪明且具有协作能力的智能体。