⚡ electrical engineering

Deep Reinforcement Learning Orchestration of Game-Theoretic User Association and Resource Allocation in HetNets

本文提出了一种新颖的双层编排框架，该框架将用于用户关联与资源分配的分布式多目标非合作博弈与中央集中式深度强化学习控制器相结合，通过动态优化效用参数，在动态流量条件下实现异构蜂窝网络中的高吞吐量和低延迟性能。

原作者： Sotiris Kopsinos, Alexandros I. Papadopoulos, Antonios Lalas, Konstantinos Votis, Christos Liaskos

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Sotiris Kopsinos, Alexandros I. Papadopoulos, Antonios Lalas, Konstantinos Votis, Christos Liaskos

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代城市正变得日益拥挤，不仅是人口的拥挤，还有连接着我们的手机、平板电脑和智能设备的那些无形的数据流。为了保持这些连接的强韧与快速，网络工程师们已经不再仅仅依赖于少数几个大型、强大的基站，而是通过在景观中铺设一层复杂的不同类型基站来构建网络：包括覆盖广阔区域的大型宏基站（macro towers）、服务于社区的小型微蜂窝（pico cells），以及隐藏在建筑物内部的微型铁蜂窝（femto cells）。这种被称为“异构网络”（heterogeneous network）的分层方法，允许对可用无线频谱进行更密集的利用，但也创造了一个混乱的环境，其中来自不同基站的信号会不断相互干扰。工程师面临的核心挑战在于：在任何给定时刻，决定哪个设备应该连接到哪座基站，以及如何在它们之间共享有限的无线信道。如果系统做出了错误的抉择，用户可能会经历网速变慢、通话掉线或网络本身电量消耗过快的问题。

多年来，研究人员一直试图通过两种主要方法来解决这一协调问题。一种依赖于复杂的数学公式，试图为每一个设备计算出完美的排列组合，但这些计算往往运行太慢，无法应对随流量变化而产生的实时需求。另一种方法是利用人工智能从过去的经验中学习，但这些系统在用户数量发生变化时往往表现挣扎，或者在需要快速做出决策时需要过多的计算能力。其结果是，网络通常只能以一种折中的方式运行，即使用一些虽然足够好但却错失了同时优化速度、覆盖范围和能源效率机会的简单规则。

在最近的一项研究中，研究人员提出了一种结合博弈论（game theory）和深度学习（deep learning）优势的新方法来应对这种复杂性。他们将网络想象成不是一个由上至下控制的单一机器，而是一个由个体玩家组成的集合，其中每个移动设备都是一个试图为自己获取最佳连接的理性参与者。在这种设定下，每个设备都会根据一套平衡三个竞争目标的规则来评估其选项：获得最快的数据速度、保持强信号以及最小化连接的能量成本。设备做出这些选择是在本地独立完成的，就像人群中人们选择商店里最短的排队队伍一样。这种分布式方法避免了需要中央计算机去微观管理每一个连接的需求，从而保持了系统的快速响应和可扩展性。

然而，纯粹的自利博弈有时会导致对整个网络而言并非最优的结果。如果每个设备仅仅是追逐最强的信号，它们可能会全部涌向少数几个基站，从而导致拥塞并拖慢所有人的速度。为了防止这种情况，研究人员引入了一个中央“编排器”（orchestrator），它并不直接告诉设备该做什么，而是调整游戏本身的规则。这个编排器由深度强化学习代理（a type of artificial intelligence that learns by trial and error）驱动。该代理并不计算每个用户的完美连接，而是观察网络的整体负载——观察哪些基站拥挤，哪些基站空闲——并微妙地调整设备决策规则中关于速度、信号强度或节能的重要性。

研究人员在一个高度模拟真实世界条件的城市环境中测试了该系统，包括无线电波如何从建筑物反射以及随距离衰减。他们创建了一个包含混合类型基站和多变用户数量的情景，其中一些用户聚集在繁忙的热点地区，另一些则分布较散。模拟显示，该系统可以根据网络需求成功地转变其行为。当目标是节省能源时，编排器会调整规则，鼓励设备连接到功率较低的小型基站，即使它们的信号稍弱。当目标是提高拥挤区域的覆盖范围时，规则会转向优先考虑信号强度，确保用户即使在困难位置也能保持连接。在平衡模式下，系统则找到了一个最大化整体数据吞吐量的中间点。

模拟结果令人瞩目。所提出的系统达到了非常接近于需要巨大计算能力才能计算出的理论理想水平，但其实现时间仅为后者的一小部分。传统的试图为每种可能配置寻找绝对最优解的方法，在处理一个中等繁忙场景的网络布局决策时需要近九十毫秒，而新系统做出决策的时间不到零点五毫秒。这种速度至关重要，因为无线电环境变化极快，尤其是在移动车辆或拥挤的公共场所。该系统即使在用户数量显著变化时也能保持高性能，这种灵活性是许多现有人工智能模型所缺乏的，因为这些模型在网络规模变化时通常需要重新训练。

通过将繁重的决策工作交给单个设备，并使用一个轻量级的中央控制器来引导整体策略，研究人员展示了一条通往既智能又高效的网络之路。该系统不需要每个设备都拥有强大的计算机，也不需要与中央服务器共享敏感的位置数据；它只需要设备根据本地信号测量进行简单的计算。这种方法表明，未来的网络可以根据人类活动的起伏动态调整，在闲暇时段切换到节能模式，在高峰时段切换到高性能模式，且无需人工干预。这项研究证实，通过将网络视为一场受引导的博弈而非僵化的计算，实现一种既快速又能适应现代无线通信不可预测性的协调水平是完全可能的。

技术摘要：基于深度强化学习编排的异构网络中博弈论用户关联与资源分配研究

问题陈述
在异构蜂窝网络（HetNets）中，管理动态的用户关联与资源分配（UARA）仍然是一个关键挑战，尤其是在动态流量条件下。现有的数学优化方法通常需要迭代计算，这对于实时运行而言成本过高。相反，强化学习（RL）方法虽然通过离线训练减轻了部分计算负担，但经常受到组合动作空间、依赖于用户的状态维度以及随网络密度增加而产生的复杂性问题的困扰。此外，许多现有方案依赖于详细的用户设备（UE）特定信息（例如 CSI、完整的 SINR 向量），这引发了隐私担忧；或者假设固定的 UE 分布和均匀流量，这无法反映实际的 HetNet 场景（其中存在集中流量区）。此外，许多框架优化的是固定目标，缺乏根据网络拥塞情况改变运行目标（例如从吞回量最大化转向节能）的适应能力。

方法论
本文提出了一种新型的双层编排框架，该框架结合了一个去中心化的博弈论执行层和一个中心化的深度强化学习（DRL）控制器。

分布式博弈论层：
- UARA 被建模为一个多目标非合作博弈，其中 UE 作为玩家。
- 每个 UE 选择一个基站（BS）- 信道对，以最大化其效用函数 $J_u$ ，该函数定义为归一化数据速率（ $\bar{R}$ ）、接收 SINR（ $\bar{\Gamma}$ ）和基站功率成本（ $\bar{P}$ ）的加权和。
- 效用函数区分了提供高速率的低拥塞连接与具有真正强无线电条件的连接。
- 该博弈利用异步最佳响应动力学（ABRD）收敛至 $\epsilon$ -近似纯策略纳什均衡（ $\epsilon$ -PSNE）。这种方法仅需要在 UE 端进行简单的代数运算，无需进行本地神经网络推理。
中心化 DRL 编排层：
- 一个中心化的深度 Q 网络（DQN）控制器通过动态配置效用权重参数（ $w_r, w_\gamma, w_p$ ）来编排网络性能。
- 状态空间： 智能体观察跨基站层级的标准化负载分布以及先前应用的权重参数。至关重要的是，它不需要 UE 特定的数据（坐标、CSI 或个体关联），从而保护了隐私并保证了可扩展性。
- 动作空间： 智能体选择 $w_\gamma$ 和 $w_p$ 的离散值（其中 $w_r$ 固定），以引导网络实现特定的宏观目标：功率感知、覆盖增强或平衡运行。
- 奖励函数： 智能体根据相对于固定参数基准的聚合网络 SINR 提升和功耗降低情况获得奖励。

核心贡献

新型编排方案： 本文引入了一个将中心化 DQN 控制器叠加在去中心化博弈论层之上的框架，实现了可扩展的多目标资源管理，且避免了中心化优化的计算开销或具有组合动作空间的多智能体强化学习（MARL）的复杂性。
分布式效用公式： 构建了一个多目标非合作博弈，其中 UARA 决策被分配给 UE。效用函数综合考虑了数据速率、SINR 和功耗，利用适用于资源受限设备的简单代数运算。
低复杂度 DQN 控制器： 提出了一个低复杂度的中心化 DQN 来动态调整效用参数。通过依赖高层级的基站负载分布数据，控制器避免了对详细 UE 特定信息的的需求，确保了在不同流量密度下的可扩展性而无需重新训练。
实际评估： 该框架在符合 3GPP TR 38.901 标准的城市信道模型下的实际 HetNet 场景中进行了评估，展示了在不同流量密度和运行目标下的鲁棒性。

结果
模拟在具有不同 UE 数量（20, 40, 80）的城市 HetNet 拓扑结构下进行，并采用了三种运行策略：平衡型（Balanced）、功率感知型（Power-Aware）和覆盖增强型（Coverage-Enhancing）。

相对于基准的性能： 所提出的 DQN 编排框架（DQN-GT）在吞吐量、SINR 和功耗方面高度接近穷举搜索（ES-GT）基准的性能。在保持相当的 SINR 和功率效率的同时，它在网络吞吐量方面显著优于传统的关联方法，如 Max-SINR 和小区范围扩展（CRE）。
可扩展性与泛化能力： 该框架在未经历过的流量密度下仍能保持稳定的性能（例如，在 40 个用户训练的情况下，在 20 和 80 个用户场景下表现良好）。这与许多需要针对不同用户数进行重新训练的 RL 模型形成了对比。
计算效率： 与穷举搜索相比，DQN-GT 实现了响应时间的显著降低。例如，在 80 个 UE 的场景下，DQN-GT 的运行速度比 ES-GT 快约 388 倍（0.48 ms 对比 186.05 ms）。其推理复杂度相对于用户数量为 $O(1)$ ，而底层的博弈过程随迭代次数呈线性复杂度收敛。
策略适应性： 该框架成功实现了目标转换：
- 功率感知型： 在高负载场景下，与平衡策略相比，总网络功耗降低了约 60%，同时伴随轻微的 SINR 折损。
- 覆盖增强型： 在拥塞场景下，实现了比 CRE 和 Max-SINR 更高的平均 UE SINR，优先考虑信号质量而非功率节省。

意义
本文声称，所提出的双层框架通过提供一种可扩展、低复杂度且保护隐私的方法，解决了现有 UARA 方案的局限性。通过将动态策略更新（由轻量级 DQN 处理）与分布式关联执行（由快速收敛的博弈处理）解耦，该系统以极低的计算开销实现了近乎最优的性能。其能够在不重新训练的情况下，根据宏观流量模式在不同运行目标（功率、覆盖、平衡）之间进行动态切换，这使得该框架非常适合动态变化的超越 5G（B5G）HetNet 环境。作者指出，该框架能够在实时约束内运行，其响应时间显著低于车载场景下的信道相干时间。未来的工作建议将该框架扩展到配备可重构智能表面（RIS）辅助的 HetNet 中。

技术摘要：基于深度强化学习编排的异构网络中博弈论用户关联与资源分配研究

类似论文