6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

技术摘要：基于分布式博弈强化学习的 6G 感知安全

问题陈述
在下一代 6G 集成感知与通信（ISAC）系统中，无线基础设施的双重功能带来了新的安全漏洞。具体而言，在城市环境中，主动攻击者可以通过提供伪造的信道状态或波束质量反馈来操纵波束赋形方向。这种操纵旨在增加干扰，并误导发射机（TX）将主波束瓣指向攻击者而非合法用户。核心挑战在于如何在具有复杂城市传播特性（视距 LoS 和非视距 NLoS 条件）的动态且不确定的环境中，检测此类主动攻击者并减轻其对系统容量和安全性的影响。

方法论
作者提出了一个结合了强化学习（RL）、贝叶斯推理和博弈论的混合框架，以应对这些安全挑战。该方法通过以下组件运行：

1. 系统模型：

   • 场景： 基于 3GPP 射线追踪（Ray-tracing）的德国多特蒙德城市微小区（UMi）环境模拟，工作频率为 28 GHz（FR2 毫米波频段），带宽为 400 MHz。
   • 硬件： 两座基站（发射机 TX）和四个接收机（RX），均配备均匀矩形阵列（URA）。
   • 传播： 信道采用 3GPP TR 38.901 标准进行建模，包含了路径损耗、阴影衰落（对数正态分布）和小规模衰落（3GPP NR 集群延迟线）。使用射击与反弹射线（SBR）方法对多径效应进行建模，包含最多一次反射和三次衍射。

2. 状态表示与信念更新：

   • 系统维护一个贝叶斯信念向量，代表每个用户 $j$ 是攻击者的概率（$P_j$）。
   • 该信念基于预测信道容量与观测信道容量之间的偏差进行迭代更新，利用由异常评分导出的指数似然函数进行更新。
   • 为了稳定 Q 学习过程，连续的概率被离散化为置信水平（每个节点 5 个等级），从而形成由疑似节点 ID 及其置信水平定义的态空间。

3. 博弈论公式化：

   • 实现了两种用于预测行为和优化效用的博弈模型：纳什（Nash）和斯塔克尔伯格（Stackelberg）。
   • 效用函数： $U = \sum (1 - P_j)C_j - \beta_{risk} P_j C_j$，其中 $C_j$ 是信道容量，$P_j$ 是攻击者概率。该公式平衡了合法用户性能与安全风险。
   • 纳什模型： 发射机同时且独立地采取行动，寻求最佳响应均衡。
   • 斯塔克尔伯格模型： 采用层级结构，其中一个发射机充当“领导者”（根据服务用户数量优先排序），另一个充当“跟随者”。领导者通过预判跟随者的最佳响应来优化其策略。

4. 强化学习集成：

   • Q 学习智能体选择波束赋形角度（动作空间：每根天线 25 个离散角度），以最大化总信道容量并最小化干扰。
   • 探索与利用： 使用 $\epsilon$-greedy 策略，但探索过程由斯塔克尔伯格-贝叶斯模型引导，而非纯粹的随机探索。
   • 记忆机制： 研究对比了基于记忆的方法（使用包含 $(s, a, r, s')$ 元组的经验回放）与无记忆方法。基于记忆的模型旨在减少时间相关性并加速收敛。

核心贡献

• 混合框架： 本文引入了一种新颖的架构，将用于不确定性建模的贝叶斯推理、用于战略交互建模的博弈论以及用于长期优化的强化学习相结合，以解决 ISAC 安全问题。
• 斯塔克尔伯格模型的优越性： 研究表明，层级化的斯塔克尔伯格博弈结构在攻击者检测方面优于同步纳什方法。领导者-跟随者动态减少了内部网络干扰，为贝叶斯算法区分恶意行为与自然信道衰落提供了更清晰的信号。
• 安全领域中的经验回放： 研究证明，与无记忆更新相比，应用基于记忆的 Q 学习（经验回放）能显著提高检测准确性和系统稳定性。
• 城市射线追踪验证： 该方法通过使用真实的数字化城市地图（多特蒙德）进行射线追踪进行验证，而非简化的理论信道模型。

性能结果

• 攻击者检测：
  • 斯塔克尔伯格模型实现了 69.41% 的平均检测准确率，显著优于 38.38% 的纳什模型。
  • 在斯塔克尔伯格场景下，攻击者（RX3）的信念值迅速收敛并超过 0.9，而纳什模型未能以高置信度识别攻击者（数值保持在 0.5 以下）。
• 系统吞吐量：
  • 基于记忆的 Q 学习方法实现了 934 Mbps 的平均总信道容量，而无记忆方法为 841 Mbps（提升了 11.06%）。
  • 检测准确率从 70.13%（无记忆）提高到 75.46%（基于记忆）。
• 鲁棒性： 在所提出的框架下，即使存在严重的阴影效应和多径效应，系统仍能成功识别概率持续高于 0.9 的攻击者。系统能够从信道动态引起的临时信念下降中快速恢复，展现出韧性。
• 容量恢复： 尽管存在攻击者，优化的波束赋形使总系统容量在后期迭代中达到了约 2500 Mbps，满足 5G 新空口（NR）的要求。

意义与主张
论文声称，所提出的框架通过将系统从简单的数值优化器转变为“具备风险意识、不确定性驱动和行为敏感性的决策者”，有效地解决了动态 6G ISAC 系统中的安全挑战。将贝叶斯推理集成到博弈论效用函数中，使得与标准纳什方法相比，能够实现更准确的攻击者检测。此外，研究表明，在强化学习过程中引入记忆（经验回放）对于在噪声较大的对抗性城市环境中稳定学习和提高吞吐量至关重要。这项工作为将这些方法扩展到移动和实时 ISAC 场景奠定了基础，确保了未来网络中安全且高效的资源分配。