Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off

本文提出了一种结合深度强化学习的拍卖机制，用于在多小区网络中动态分配可重构智能表面（RIS），通过智能体学习优化出价策略并引入可调参数，实现了网络性能与成本之间的灵活权衡。

要点

这篇论文讲述了一个关于**“如何聪明地分配未来无线网络资源”的故事。为了让你更容易理解，我们可以把整个场景想象成一个“智能路灯租赁市场”**。

1. 背景：未来的“智能路灯” (RIS)

想象一下，未来的城市里，除了传统的信号塔（基站），还到处安装了一种神奇的**“智能反光镜”**（论文里叫 RIS，可重构智能表面）。

• 它们的作用：就像一面面可以自动调整角度的镜子。如果信号被高楼挡住了，这些镜子可以把信号“反射”过去，让手机信号满格。
• 问题：这些镜子很贵，而且数量有限。在城市的边缘地带（信号最弱的地方），好几个信号塔（基站）都想要控制同一面镜子来改善自己用户的信号。谁该用哪面镜子？怎么分配才公平又划算？

2. 解决方案：一场“拍卖大会”

为了解决这个问题，作者设计了一个**“拍卖市场”**：

• 卖家：一个独立的运营商，手里有一批智能镜子。
• 买家：各个信号塔（基站）。
• 规则：镜子不直接送人，而是**“价高者得”**。价格会像爬楼梯一样慢慢涨（升价拍卖）。
• 挑战：如果信号塔太贪心，为了抢镜子花光了钱，虽然信号好了，但运营成本太高，不划算；如果太保守，没抢到镜子，用户信号又差。怎么找到**“花钱最少，效果最好”**的平衡点？

3. 核心创新：让信号塔学会“思考” (DRL)

以前的做法是信号塔用简单的“死脑筋”规则（比如：谁离镜子近就抢谁，或者只要觉得有用就抢）。但这往往很笨拙，容易花冤枉钱。

这篇论文提出让每个信号塔都装上一个**“超级大脑”**（深度强化学习，DRL）：

• 像训练宠物一样：这个“大脑”通过不断的模拟练习（就像打游戏练级），自己摸索出最佳的抢镜子策略。
• 它学会了什么？
  • 它知道什么时候该**“下重注”**（抢那些能带来巨大信号提升的镜子）。
  • 它知道什么时候该**“收手”**（如果镜子太贵，抢了也不划算，就放弃）。
  • 它学会了**“精打细算”**，在预算范围内，用最小的钱买到最好的信号效果。

4. 一个神奇的“旋钮” (参数 $\beta$)

论文里还设计了一个有趣的**“旋钮”（参数 $\beta$），用来控制信号塔的“激进程度”**：

• 把旋钮拧到“激进”：信号塔会非常积极，不惜代价去抢镜子，信号会非常好，但花钱如流水。
• 把旋钮拧到“保守”：信号塔变得很惜命，只抢最便宜、最确定的镜子，花钱少，但信号提升可能没那么完美。
• 妙处：网络管理者可以根据需要，随意调节这个旋钮，在“省钱”和“网速快”之间找到完美的平衡点。

5. 实验结果：聪明的大脑赢了

作者在一个模拟的“城市边缘”环境里做了测试：

• 没有镜子：信号很差，像在大雾天开车。
• 用旧方法（死脑筋规则）：信号好了，但花了很多冤枉钱，甚至为了抢镜子把预算都烧光了。
• 用新方法（AI 大脑）：
  • 效果最好：在同样的钱下，网速比旧方法快得多。
  • 最省钱：在达到同样网速的情况下，花的钱比旧方法少。
  • 结论：AI 学会了“挑肥拣瘦”，只抢那些真正值钱的镜子，避免了无效竞争。

总结

这就好比在一个**“拼单买水果”**的群里：

• 旧方法是大家看到水果就抢，不管贵不贵，最后可能买了很多烂苹果，钱也花超了。
• 新方法是每个人都有一个**“精明的管家”**（AI），它会根据大家的口味和预算，精准地计算哪几个水果最值得拼单，既让大家吃到了好水果，又没让大家多掏腰包。

这篇论文证明了，在 6G 时代，用AI 算法来管理这些智能反射镜，能让我们的网络既快又省，是未来无线通信的一大进步。

技术摘要

这是一份关于论文《基于拍卖的 RIS 分配与深度强化学习：控制成本 - 性能权衡》（Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off）的详细技术总结。

1. 研究背景与问题定义 (Problem)

• 背景：在 Beyond-5G 和 6G 网络中，可重构智能表面（RIS）被视为提升频谱效率和覆盖范围的关键技术。然而，RIS 通常由独立运营商部署，如何在多个基站（BS）之间高效、公平地分配这些共享资源是一个核心挑战。
• 核心问题：
  • 在蜂窝网络边缘，多个基站可能竞争同一组 RIS 的控制权。
  • 传统的组合优化分配方法计算复杂度高，难以扩展。
  • 需要一种机制，既能动态租赁 RIS 给最高出价者，又能让基站根据预算约束和性能增益做出智能决策，以平衡网络性能（频谱效率）与经济成本。
• 场景设定：多小区无线网络，基站位于小区边缘，RIS 部署在小区边界附近。基站通过**同步递增拍卖（Simultaneously Ascending Auction）**机制竞争 RIS 使用权。

2. 方法论 (Methodology)

本文提出了一种结合宏观信道参数估计、拍卖机制与**深度强化学习（DRL）**的框架。

A. 系统模型与信道建模

• 信道模型：
  • 直连链路：非视距（NLOS），强阴影衰落，忽略视距（LOS）分量。
  • RIS 辅助链路：
    • BS 到 RIS：强 LOS 分量，使用方向性响应向量建模。
    • RIS 到用户：Rician 信道模型（包含 LOS 和 NLOS 分量），由 Rician K 因子表征。
  • RIS 配置：假设 RIS 为对角相位偏移矩阵。若 RIS 未被分配，其相位随机；若被分配，则根据 LOS 分量优化相位以对齐信号。
• 性能指标：基于信干噪比（SINR）和可达速率。

B. 效用估计 (Utility Estimation)

由于无法在配置前获取完美的信道状态信息（CSI），基站利用宏观信道参数（如路径损耗、角度）来估算性能增益：

• SINR 估算：将瞬时功率近似为期望值（利用大数定律），分解为直连信号、相干 RIS 辅助分量、非相干 RIS 辅助分量及干扰项。
• 效用函数：定义为分配 RIS 后相对于无 RIS 情况下的总速率提升百分比。
• 边际价值计算：基站评估增加单个 RIS 带来的效用增量，并进行归一化处理。

C. 拍卖机制

• 格式：采用“日本式”同步递增拍卖（Simultaneously Ascending Auction）。
• 流程：
  1. 拍卖者每轮提高所有 RIS 的价格（固定增量 $\Delta p$）。
  2. 基站根据当前价格和估算效用，提交二进制出价向量（0 或 1）。
  3. 若 RIS 仅有一个出价，则分配；若多个出价，继续下一轮；若无出价，保持未分配。
  4. 执行活动规则（Activity Rule）：若上一轮未出价，本轮不能重新参与，防止策略性退出。

D. 投标策略 (Bidding Strategies)

论文对比了三种策略：

1. 贪婪启发式策略 (Heuristic Greedy)：基于当前估算的边际价值，按价值降序排列，在剩余预算内尽可能多地购买高价值 RIS。
2. 距离启发式策略 (Distance-based)：仅基于基站与 RIS 的欧氏距离进行出价（距离越近出价越高），作为低复杂度基准。
3. 基于深度强化学习的策略 (DRL-based)：
   • 智能体：每个基站运行一个独立的 DRL 智能体（无协调）。
   • 状态/观测：当前价格、剩余预算、各 RIS 的估算边际价值。
   • 动作：输出二进制出价向量。
   • 奖励函数设计：
     • $R_1$（价值奖励）：所投 RIS 的估算价值总和。
     • $R_2$（成本惩罚）：出价数量 $\times$ 当前价格 $\times$ 强度参数 $\beta$。
     • $R_3$（超支惩罚）：若总成本超过预算，施加更严厉的惩罚（$2\beta$）。
   • 算法：使用 PPO（近端策略优化）算法进行训练。

3. 关键贡献 (Key Contributions)

1. 提出了一种低开销的 RIS 分配框架：利用宏观信道参数估算效用，避免了复杂的实时 CSI 获取和组合优化计算，实现了可扩展的分配机制。
2. 引入 DRL 优化投标策略：证明了 DRL 智能体能够学习复杂的拍卖环境，在满足预算约束的同时，比启发式策略更智能地选择高价值 RIS，避免了盲目出价。
3. 引入可调节的“投标强度”参数 ($\beta$)：
   • 该参数控制智能体的风险偏好。
   • 较大的 $\beta$ 导致更保守的出价（成本更低，但性能提升较少）。
   • 较小的 $\beta$ 导致更激进的出价（成本更高，性能提升更多）。
   • 这为网络运营商提供了一个灵活的**成本 - 性能权衡（Cost-Performance Trade-off）**控制旋钮。
4. 验证了宏观估算的有效性：仿真表明，随着天线数量增加，基于宏观参数的 SINR 估算误差显著降低，证明了该方法的可行性。

4. 实验结果 (Results)

• 仿真设置：双基站场景，20 个用户，10 个 RIS，RIS 部署在小区边缘。
• 性能对比：
  • 无 RIS 情况：性能最差，突显了 RIS 的重要性。
  • 启发式策略：倾向于激进出价，导致成本较高，且获得的总速率提升不如 DRL 策略显著。
  • DRL 策略：在相同的成本下，DRL 策略实现了更高的总速率；或者在达到相同速率时，成本更低。DRL 智能体学会了“选择性”出价，避开低价值 RIS。
• 参数 $\beta$ 的影响：
  • 随着 $\beta$ 增大，智能体变得更加挑剔，平均出价价值升高，但分配的 RIS 数量减少，总成本降低，总速率随之下降。
  • 这证实了 $\beta$ 能有效调节网络性能与支出之间的平衡。
• 收敛性：PPO 算法在训练过程中奖励值稳定收敛，表明策略学习有效。

5. 意义与展望 (Significance)

• 理论意义：将拍卖理论与深度强化学习结合，解决了多智能体环境下资源分配的动态优化问题，为 6G 网络中的分布式资源管理提供了新思路。
• 实际意义：
  • 为 RIS 作为一种可租赁的商业化资源提供了可行的商业模式（按需租赁）。
  • 提出的机制计算复杂度低，适合大规模网络部署。
  • 通过调节 $\beta$ 参数，网络运营商可以根据当前的运营策略（是追求极致性能还是控制成本）灵活调整资源配置策略。
• 未来方向：该方法展示了在动态变化的无线环境中，利用 AI 实现自适应资源分配的潜力，特别适用于用户位置移动频繁的场景，无需重新训练模型即可快速重分配资源。

总结：该论文成功构建了一个基于拍卖的 RIS 分配系统，并通过深度强化学习优化了基站的投标行为。研究结果表明，DRL 方法在控制成本的同时能显著提升网络性能，且通过引入调节参数实现了性能与成本的灵活平衡，是 RIS 技术在 6G 网络中高效利用的重要一步。