🤖 AI

The Curious Case of Exploding DecPOMDPs: Containing the Fire through Policy Counting

本文通过从智能体计数转向策略计数，从而通过一种利用对称性进行紧凑表示的新型策略计数动态规划方法，解决了去中心化部分可观测马尔可夫决策过程（DecPOMDPs）的指数级复杂度问题。

原作者： Nazlı Nur Karabulut, tanya Braun

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Nazlı Nur Karabulut, tanya Braun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代计算那广袤而混沌的景观中，存在着一个根本性的挑战：当许多独立的思考者都无法看到全貌时，该如何协调他们的行动。想象一群无人机试图在烟雾弥漫的大楼中营救幸存者，或者一支自动驾驶车队在暴风雨中的城市网格中穿行。每个单元必须基于有限的、局部的局部信息进行决策，然而它们的集体成功取决于它们协作得如何。科学家使用一种称为“去中心化部分可观测决策过程”的框架来模拟这些场景。在这种模型中，一组智能体在一个不确定的世界中运行，每个智能体只能看到现实的一个碎片，并采取行动以实现一个共同的目标。困难在于随着智能体数量的增加。随着系统中加入更多的单元，它们协调行动的可能方式不仅仅是增长，而是呈爆炸式增长。这种指数级的增长创造了一道复杂性的高墙，使得寻找最佳策略变得不可能，甚至让系统陷入一种无法决策的停滞状态。

多年来，研究人员一直试图通过寻找模式来突破这道墙。如果智能体是相同的——这意味着它们具有相同的能力并面临相同的规则——科学家意识到可以将它们归为一类。他们不再追踪每一个单独的智能体，而是简单地统计有多少智能体在做某事，又有多少在做另一件事。这种被称为“提升”（lifting）的方法将群体视为计数的集合，而非个体的列表。它成功地简化了对环境的描述以及检查一个计划是否有效的成本。然而，一个奇特且令人沮力的问题依然存在。虽然世界的描述变得易于处理，但智能体可以遵循的策略空间仍然在爆炸。这就像是领土的地图已经缩小到了可以管理的规模，但穿越该领土的可能路径却变得如此之多，以至于没有人能找到最佳路径。策略空间，即智能体决定如何行动的所有可能方式的集合，依然过于庞大而难以驾驭。

在一项新的研究中，来自明斯特大学的 Nazlı Nur Karabulut 和 Tanya Braun 研究人员颠转了这一问题。他们意识到，这种爆炸并非不可避免，而是由于统计策略本身的方式造成的。在之前的尝试中，统计智能体的方法被应用于环境，但策略仍然被视为个体选择的独特组合。作者提出了视角的转变：他们不再仅仅统计智能体，而是开始统计策略。他们开发了一种定义这些决策过程的新方法，其中智能体仍然按其相似性进行分组，但它们可以遵循的计划也被分组并计数。通过将一种策略不再视为每个单个智能体的独特剧本，而是视为有多少智能体遵循几种代表性计划的分布，他们转化了这个难题。

结果是一个这样的系统：寻找最佳解决方案的复杂度不再以一种会导致爆炸的方式依赖于智能体的总数。研究人员证明，通过使用这种“策略计数”（policy-counted）方法，即使在智能体数量增加时，可能的策略数量也以可控的多项式速率增长。他们从数学上证明了这种新方法与旧的、更复杂的方法是等效的，这意味着它能找到完全相同的最佳解。此外，他们创建了一种新的算法，即在这一新的、简化的框架内高效寻找最佳解的逐步程序。这意味着对于拥有大量相同智能体的系统，例如大型机器人集群或传感器舰队，现在计算它们协调的最佳方式已成为可能，而这在以前被认为在计算上是不可能的。指数级复杂性的火焰已被遏制，不是通过用更多的力量去对抗它，而是通过改变观察问题的视角。

技术摘要：爆炸式增长的 DecPOMDP 之谜：通过策略计数控制火势

问题陈述

分散式部分可观测马尔可夫决策过程（DecPOMDPs）为不确定性下的协作式多智能体决策提供了一个框架。然而，由于相对于智能体数量 ( $N$ ) 的策略空间呈指数级增长，求解 DecPOMDPs 是极其困难的。

最近关于“提升”（lifting）的研究试图通过利用智能体之间的对称性来缓解这一问题。通过将智能体划分为不可区分的智能体集合，研究人员成功地将模型复杂度（转移、奖励和传感器函数）以及评估成本从关于 $N$ 的指数级降低到了多项式级。这是通过使用计数随机变量（CRVs）将动作和观测表示为直方图（例如，统计执行动作 $a$ 的智能体数量，而不是追踪具体是哪个智能体执行了该动作）来实现的。

然而，现有的“计数 DecPOMDP”（如 Braun 等人 [1] 所定义）的公式中仍存在一个关键局限：虽然模型复杂度降低了，但策略空间本身仍然随 $N$ 指数级爆炸。之前的方法是将计数应用于用于构建策略的动作和观测，但由此产生的策略空间大小仍然依赖于 $N$ 的指数。本文指出，这种“爆炸式增长的 DecPOMDP”现象是实现可处理性的障碍，即使其底层模型是紧凑的。

方法论

作者提出了一个根本性的计数策略转变：不再通过计数智能体的动作和观测来构建策略，而是提议对策略进行计数。

1. 策略计数 DecPOMDPs

论文引入了一种新的 DecPOMDP 定义，称为策略计数 DecPOMDPs。其核心区别在于动作集和观测集是如何定义的：

以往方法（计数动作/观测）： 动作和观测集被替换为 CRVs（动作/观测的直方图）。这降低了模型复杂度，但留下了指数级的策略空间。
新方法（计数策略）： 动作和观测集保持为“普通变量”（代表某个划分的动作/观测）。然而，属于一个划分内的智能体所拥有的可用策略被视为一组代表性策略 ( $\Pi_k$ $Π_{k}$ )。
- 由于属于同一划分的智能体是不可区分的（共享相同的动作/观测空间以及对称的转移/奖励函数），它们共享相同的局部策略空间。
- 系统不再追踪单个智能体的策略，而是追踪策略的直方图。一个“计数划分策略”被定义为一个直方图 $h^\Pi_k = \{(\pi_j, m_j)\}$ ，其中 $m_j$ 是遵循代表性策略 $\pi_j$ 的划分 $k$ 中的智能体数量。
- 因此，联合策略空间即为所有有效划分策略计数直方图的集合。

2. 更新后的效用计算

论文重新定义了最大期望效用（MEU）的计算，使其在这些计数策略上运行。

效用函数 $U^{\bar{M}}(h^\Pi)$ 在时界 $\tau$ 上进行递归计算。
至关重要的是，对观测的求和被转化为对计数观测的求和。给定一个联合计数策略，智能体按其遵循的代表性策略进行分组。在这些组内，观测被聚合为直方图。
计算利用多项式系数 ( $Mul(h^{o,\Pi})$ ) 来解释直方图中所编码的地面排列（ground permutations）数量，从而确保效用与地面 DecPOMDP 相匹配。
定理 4 确立了地面 DecPOMDP 的 MEU 等于策略计数 DecPOMDP 的 MEU。

3. 策略计数动态规划

为了高效解决这些问题，作者扩展了标准的多元动态规划（MA-DP）算子：

穷举回溯（Exhaustive Backup）： 该算子不再为单个智能体生成策略，而是基于深度 $t-1$ 的代表性策略，为每个划分生成深度 $t$ 的代表性策略。
价值计算： 使用由代表性策略导出的计数联合动作和观测直方图（公式 13）来计算代表性策略的价值向量。
剪枝： 根据其相对于其他划分中所有可能计数策略的价值（公式 14），对弱支配的代表性策略进行剪枝。

主要贡献

本文做出了三个主要贡献：

一种新定义： 它定义了策略计数 DecPOMDPs，这一形式将计数重心从智能体的动作/观测转向了智能体的策略。这防止了策略空间的爆炸。
可处理性分析： 它提供了一种分析，表明对于固定的划分数量 ( $K$ )、固定的动作/观测空间以及固定时界 ( $\tau$ )，模型复杂度和策略空间大小都与智能体数量 ( $N$ ) 呈多项式关系。这与以往计数方法中策略空间仍保持指数级的做法形成了对比。
求解算法： 它提出了一个策略计数动态规划算子，能够高效求解策略计数 DecPOMDPs。作者证明了该算子与标准动态规划在地面模型上是等价的（定理 6），且其运行时间是关于 $N$ 的多项式时间（定理 7）。

结果

复杂度降低： 论文证明，通过对策略而非动作/观测进行计数，可以将 $N$ 对策略空间大小的指数级依赖关系消除。联合计数策略空间的大小以及评估联合策略的成本均被证明是关于 $N$ 的多项式。
等价性： 理论证明确认，策略计数公式在最大期望效用方面与地面 DecPOMDP 是等价的（定理 4），并且所提出的动态规划算子能产生与标准 DP 等价的正确结果（定理 6）。
运行时间： 假设划分数量和时界相对于 $N$ 是固定且较小的，策略计数动态规划算法的运行时间为 $N$ 的多项式时间。

意义

本文解决了一个特定的“奇特案例”，即在通过对称性（提升）简化 DecPOMDPs 的尝试中，由于策略空间仍然难以处理，导致之前的尝试未能实现完全的可处理性。通过将计数机制从输入（动作/观测）转向输出（策略），作者成功地“控制了火势”，即控制了指数级复杂度的蔓延。

其意义在于提供了一种专门的求解方法，使得在假设存在不可区分划分的前提下，DecPOMDPs 在智能体数量方面是可处理的。这使得在智能体数量庞大的大规模智能体系统中计算最优联合策略成为可能，只要这些智能体可以被分组到少量的对称划分中。这项工作将“提升”技术的应用范围从仅仅降低模型评估成本，扩展到了能够实际解决大规模 $N$ 情况下的决策问题。