🤖 AI

Repeated Deceptive Path Planning against Learnable Observer

本文提出重复欺骗路径规划（RDPP）以应对从自适应、可学习观测者处隐藏智能体真实目的地的挑战，并引入一种名为欺骗式元规划（DeMP）的新型双层优化框架，该框架通过跨回合反馈与短期策略调整来缓解适应滞后，从而显著优于现有方法。

原作者： Shiyue Cao, Pei Xu, Likun Yang, Lei Cui, Shizhao Yu, Shiyu Zhang, Yongjian Ren, Xiaotang Chen, Kaiqi Huang

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Shiyue Cao, Pei Xu, Likun Yang, Lei Cui, Shizhao Yu, Shiyu Zhang, Yongjian Ren, Xiaotang Chen, Kaiqi Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《针对可学习观察者的重复欺骗路径规划》的解释。

大局观：一场永无止境的猫鼠游戏

想象你是一名试图潜入秘密基地（你的真实目标）的间谍。有一名守卫（观察者）正在监视你。

在大多数老式间谍电影中，守卫反应迟钝。他观察你的路径，猜测你的去向，仅此而已。他不会学习。如果你骗过他一次，你很可能会用同样的招数再次骗过他。

但在现实世界中，守卫很聪明。 他们带着笔记本。每次你试图潜入，他们都会观察你的路径，记录下来，并更新他们的《如何识别间谍》手册。下次你尝试时，他们对你旧招数的了解会更深入。如果你继续使用同一条假路径，他们会立刻抓住你。

这篇论文提出了一个新问题，称为重复欺骗路径规划（RDPP）。这不仅仅是关于骗过守卫一次，而是关于欺骗一个在你每次与其互动时都在不断学习、变得越来越聪明的守卫。

问题所在：“滞后”陷阱

作者发现，现有的欺骗观察者的方法存在一个致命缺陷：它们总是慢半拍。

这就像和一个会学习你习惯的机器人玩“石头、剪刀、布”游戏：

你出石头。
机器人看到你出了石头，所以下次它出布来赢你。
你看到它出了布，所以你切换到剪刀。
机器人看到你切换到了剪刀，所以下次它出石头。

如果你只是在机器人改变策略之后才做出反应，你就永远在被动追赶。当你弄清楚机器人的新招数时，它已经学会了你的新招数。这被称为适应滞后。经过多轮博弈，这种滞后会累积，导致你的欺骗彻底失败。

解决方案：DeMP（“面向未来”的间谍）

为了解决这个问题，作者创造了一种新方法，称为欺骗性元规划（DeMP）。

想象一名间谍，他不仅对守卫当前的手册做出反应，还试图预测守卫将如何编写下一本手册。

DeMP 就像为间谍设立的两个级别的训练营：

第一级：日常演练（回合级适应）
在每一次任务后，间谍都会查看守卫的猜测。如果守卫猜错了，间谍会为第二天微调计划。这是标准的“反应式”方法。
第二级：宏大战略（元级别更新）
这是神奇的部分。间谍不仅仅关注今天的错误，而是审视过去几周错误的模式。
- 类比： 想象一位棋手。普通棋手会想：“他把马跳到了这里，所以我要把兵走到那里。”
- DeMP 棋手则会想：“每次我走兵，他都会把马跳到这个格子。但如果我开局时把马放在这里而不是那里，他将被迫把马跳到另一个格子，而这实际上对我更有利。”
DeMP 利用高级数学（称为元学习）来调整间谍的初始心态（初始策略）。它会问：“如果我带着这一套特定的习惯开始，守卫在接下来的 10 次任务中会如何学习？我该如何布局，使得即使守卫学会了，我依然能领先一步？”

他们是如何测试的

研究人员在一个数字世界（网格地图）中，配合计算机化的守卫对他们的方法进行了测试。

设置： 他们进行了 400 轮游戏。
竞争对手：
- 诚实代理： 径直走向目标（立即被抓）。
- 旧招数（AM/DEAM）： 使用静态欺骗。它在最初几轮有效，但守卫学会了模式，代理随后被抓。
- ** naive 反应者：** 试图在每轮后对守卫做出反应，但陷入了“滞后陷阱”。
- DeMP（作者的方法）： 使用两级策略。

结果：

守卫的成功率： 在所有其他方法中，守卫最终都以高置信度猜出了真实目标。
DeMP 的成功率： 即使在 400 轮之后，守卫仍然感到困惑。间谍不断改变路径，这种变化对守卫来说感觉是随机的，阻止了守卫建立可靠的“间谍手册”。
代价： 为了保持欺骗性，DeMP 有时会走一条稍长的路径（就像为了避开检查站而选择风景路线），但为了保持隐蔽，这是值得的。

视觉证据

论文包含了一些很酷的可视化图表：

热力图： 如果你看“旧招数”的路径，它们都是相同的直线。守卫学会了这条线并抓住了它们。
DeMP 的路径： 这些看起来像是一个旋转、混乱的云团。间谍从不以可预测的方式重复同一条路线。它让守卫始终在猜测，通过不断改变游戏规则，有效地“大隐于市”。

总结

简而言之，这篇论文指出：如果你想躲避一个从历史中学习的高明敌人，你就不能仅仅对它们当前的动作做出反应。 你需要一种能够预判它们未来如何学习的战略。

作者的方法 DeMP 就像一位大师级战略家，它不仅规划下一步，还规划接下来的十步，确保无论敌人学到多少，欺骗始终有效。

技术摘要：针对可学习观察者的重复欺骗性路径规划

问题定义

本文解决了欺骗性路径规划（DPP）中的一个关键缺口。传统的 DPP 假设观察者是非学习的静态实体，试图从轨迹中推断智能体的真实目标。然而，在现实世界的对抗场景中（例如军事行动、关键货物运输），对手是可学习的；他们会通过分析重复交互中的历史轨迹来调整其推理模型。

作者形式化了重复欺骗性路径规划（RDPP），这是一种智能体必须向观察者隐瞒其真实目的的设置，而该观察者会在每次交互回合后更新其识别模型。 identified 的核心挑战是适应滞后：标准的反应式策略（即智能体仅在观察到观察者改进后的预测后才更新其策略）不可避免地会落后于观察者的学习进度。随着时间的推移，这种滞后会累积，使得先前有效的欺骗行为变得可预测且无效。

方法论：欺骗性元规划（DeMP）

为了克服反应式适应的局限性，作者提出了欺骗性元规划（DeMP），这是一种两级优化框架，旨在预测观察者的学习动态，而不仅仅是对其做出反应。

1. 问题形式化

RDPP 被建模为一个元组 $(M_{DPP}, \Phi, K)$ ，其中 $M_{DPP}$ 是一个欺骗性马尔可夫决策过程， $\Phi$ 是可学习观察者的参数空间， $K$ 是重复交互的次数。

交互协议：在每个回合 $k$ 中，智能体生成一条轨迹 $\tau^{(k)}$ 。观察者看到前缀 $\zeta^{(k)}$ 并预测目标分布。回合结束后，观察者利用完整轨迹和真实目标更新其参数 $\phi$ ，而智能体则接收观察者的预测作为反馈。
目标：智能体旨在最大化 $K$ 个回合内的累积信念诱导奖励，最小化观察者分配给真实目标的概率。

2. DeMP 框架

DeMP 通过涉及回合级适应和元级更新的嵌套结构运行：

回合级适应：在每个回合后，智能体根据观察者当前的预测更新其策略参数 $\theta^{(k)}$ 。损失函数结合了标准的强化学习目标与一个代理欺骗奖励，该奖励对观察者对真实目标的高置信度进行惩罚。此外，KL 散度正则化项鼓励观察者的后验分布保持接近均匀分布（最大化混淆）。
$\theta^{(k+1)} = \theta^{(k)} - \alpha \nabla_{\theta^{(k)}} \mathcal{L}^{(k)}(\theta^{(k)})$
元级更新：关键在于，DeMP 不止步于回合级更新。在 $M$ 个回合的块之后，它对策略初始化 $\theta^{(0)}$ 执行元更新。此更新利用二阶梯度信息（高阶导数）来计算智能体的初始参数如何影响经过 $M$ 步适应后的最终性能。
$\theta^{(0)} \leftarrow \theta^{(0)} - \beta \nabla_{\theta^{(0)}} \mathcal{L}^{(meta)}$
通过优化 $\theta^{(0)}$ ，DeMP 学习出一种对观察者未来学习轨迹具有鲁棒性的策略初始化。这使得智能体能够“预测”观察者将如何更新其模型，从而有效缓解适应滞后的累积。

3. 理论依据

本文提供了支持 DeMP 的理论分析：

代理一致性：在理性观察者的假设下，最小化基于显式预测的 DeMP 代理损失与最大化基于潜在信念的真实信念诱导奖励是一致的。
预测机制：元梯度包含一个依赖于观察者学习梯度的项。这在理论上降低了智能体策略对观察者未来更新的敏感性，从而实现主动适应而非被动反应。

主要贡献

RDPP 的形式化：本文引入了 RDPP 问题，将标准 DPP 扩展到具有可学习、自适应观察者的场景，突显了一次性方法在重复设置中的失效。
DeMP 框架：一种新颖的两级优化方法，结合了快速的回合级适应与元级更新。这是第一种在路径规划中明确建模并抵消观察者学习动态的方法。
实证验证：大量实验表明，DeMP 在数百次交互中保持了高欺骗性能，而现有方法（包括基于标准 RL 的 DPP 和简单的反应式方法）随着观察者的学习而迅速退化。

实验结果

作者在网格世界环境（49x49 和 100x100）以及涉及主动追逐的“海盗欺骗”场景中评估了 DeMP。

持续欺骗：在 400 次交互回合中，DeMP 始终维持着观察者识别真实目标的最低概率。相比之下，模糊模型（AM）和简单智能体等基线方法的欺骗能力随着观察者的适应而崩溃。
路径多样性：可视化（热图和 t-SNE 投影）显示，虽然基线智能体收敛于静态或僵化的路径，但 DeMP 不断演变其轨迹模式，防止观察者建立稳定的推理关联。
成本权衡：与最优路径相比，DeMP 产生的路径成本略高，这是为了长期鲁棒性而必须做出的权衡。
主动追逐：在海盗欺骗设置中，与基线相比，DeMP 显著降低了智能体被捕获率，证明了即使对手基于预测进行主动拦截，该方法依然有效。
超参数敏感性：研究发现，在元更新之前进行中等数量的回合（ $M$ ）能在纳入历史信息与保持及时适应之间提供最佳平衡。

意义与主张

本文声称，DeMP 通过将适应从反应式转变为主动式，为欺骗性规划带来了根本性转变。通过利用元学习原则，DeMP 解决了序对抗交互中固有的适应滞后这一结构性限制。

作者强调，他们的工作突显了对与可学习对手的重复交互进行建模的重要性。他们认为，忽视观察者的适应性会导致现实场景中欺骗效果的迅速退化。虽然目前的实验是在网格世界中进行的，但该框架为多智能体系统中的隐私和安全提供了新见解，在这些系统中，对手会持续从历史数据中学习。作者谦逊地指出，未来的工作需要在更复杂、高维和动态的现实领域探索该框架的有效性。