⚡ electrical engineering

Joint Communication-Control Strategy Optimization with Partially Nested Information Structures: The Linear-Quadratic Case

本文将部分嵌套信息结构下多智能体线性二次系统的通信-控制联合优化问题形式化，建立了保持嵌套性的条件，并开发了一种动态规划方法，从而为开环和闭环通信策略推导出闭式代数黎卡提方程。

原作者： Haoyi You, Kaiqing Zhang

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyi You, Kaiqing Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：一群朋友正试图一起解开一个谜题，但他们无法看到全貌。每个朋友只能看到谜题中一小块模糊的碎片，而他们必须仅根据这块碎片来决定下一步该做什么。这就是分布式控制（decentralized control）的核心——这是一个研究许多独立智能体（如机器人、自动驾驶汽车，甚至是你体内的细胞）如何在没有单一指挥官指示的情况下协同工作的科学分支。棘手之处在于，他们掌握的信息并不完全相同。一位朋友可能知道谜题碎片是蓝色的，而另一位可能知道它是圆形的，但两人都不知道对方的秘密。为了高效地解决谜题，他们需要进行通信。但问题在于：说话是需要时间和能量的。如果他们向每个人大声喊出每一个微小的细节，可能会让他们不堪重负或耗尽电池；如果说得太少，则可能会犯错。科学家们正在问的一个大问题是：这些智能体究竟如何决定在什么时候、说什么内容，才能在完美解决谜题的同时，最大限度地减少能量消耗？

这篇论文针对一种非常常见的谜题类型探讨了这个问题：在这种谜题中，规则是直线型的，且犯错的“代价”呈曲线增长（数学家称之为线性二次型（Linear-Quadratic）问题）。作者 Haoyi You 和 Kaiqing Zhang 希望为这些智能体找到一套完美的配方，让他们能够共同优化他们的交谈与行动。他们问道：“我们能否找到一种策略，让智能体只需分享足够的信息来保持进度，而不至于陷入计算机无法处理的复杂、混乱的数学泥潭中？”

机器人团队与“秘密握手”

想象一支机器人团队正在试图驱赶一群羊。每台机器人都有一个摄像头（它的眼睛）和一个电机（它的腿）。它们需要把羊群赶进圈栏，但它们无法同时看到整个羊群。机器人 A 看到了左边的羊；机器人 B 看到了右边的羊。如果机器人 A 在没有告知机器人 B 的情况下就行动，机器人 B 可能会把羊群往错误的方向推，导致整个团队失败。

过去，科学家们尝试通过让机器人分享它们看到的一切来解决这个问题。但这就像是在马拉松比赛中一边跑一边向队友倾诉你脑海中的每一个念头——既累又慢。其他科学家尝试让机器人什么都不分享，但那样的话，由于它们一直在靠猜测行动，经常会犯低级错误。

本文的作者意识到，对于这些特定的“直线型”问题，存在一个平衡点。他们发现，如果机器人遵循一套关于谁在何时知道什么的具体规则，它们就能找到完美的平衡。他们称之为部分嵌套信息结构（Partially Nested Information Structure）。这就像一场接力赛，接力棒（信息）按照非常特定的顺序传递。如果机器人 A 的动作会影响机器人 B 的视野，那么机器人 B 必须知道机器人 A 做了什么。但如果机器人 A 的动作对机器人 B 没有任何影响，那么机器人 B 就不需要知道。这是一种“按需分配”的机制，能保持团队的高效。

“开环”与“闭环”的魔力

论文探讨了机器人决定说话内容的两种方式：

开环（Open-Loop，预设剧本）： 想象机器人在比赛开始前就商定好了一个剧本。“在 1:00，我会大喊‘向左！’；在 1:05，你喊‘向右！’”它们不会根据比赛过程中的情况改变主意。作者发现，如果机器人坚持执行这个预设剧本，并且遵循“按需分配”的规则，它们可以使用一种非常精妙的数学工具——**黎卡提方程（Riccati Equations）**来计算完美的动作。这就像是在解一个巨大的、复杂的拼图，其中的碎片能够完美地契合进一个平滑、可预测的模式中。计算机可以快速且轻松地解决这个问题。
闭环（Closed-Loop，实时聊天）： 现在，想象机器人可以在比赛进行时修改剧本。“噢，羊群往左跑了！我要改喊‘停！’而不是‘向左！’”这要难得多。作者指出，如果机器人试图做得太聪明，在过程中随时改变主意，数学计算就会变得混乱，并破坏掉之前发现的那种“平滑模式”。然而，他们并没有放弃！他们开发了一种处理这种“实时聊天”场景的新方法。他们创建了一个特殊的“扩展”版本的问题，让他们假装机器人已经知道了一些目前尚不知道的事情，仅仅是为了让数学运算能够顺利进行。然后，他们使用一种逐步迭代的方法（动态规划）来寻找最佳动作。这就像拥有一个每秒都在重新计算路线的 GPS，而作者们想出了如何让这个 GPS 运行得足够快，从而具备实用价值。

他们的实际发现

论文证明了对于这类特定的机器人团队：

如果它们遵循“按需分配”的规则（部分嵌套）， 它们可以找到一个完美的线性策略。这意味着它们的动作是简单的、基于所见信息的直线型计算。不需要那些疯狂、扭曲、不可预测的数学运算。
如果它们打破了这些规则， 完美的策略可能根本不存在，或者会变得极其复杂，以至于任何计算机都无法解决。作者通过实例展示了违反规则会导致团队无法找到好的解决方案。
他们为“开环”情况构建了一个计算器。 他们写下了一组方程（黎卡提方程），任何人都可以利用这些方程来为机器人找到完美的预设剧本。
他们将此扩展到了“闭环”情况。 他们展示了如何通过扩展问题来处理“实时聊天”场景，使其可以通过动态规划来解决，而这种方法比以往的方法更容易计算。

为什么这很重要

你可能会想：“我为什么要关心驱赶羊群的机器人？”这不仅仅关乎羊群。这种数学方法适用于自动驾驶汽车在高速公路上协调行驶、无人机在城市中配送包裹，甚至是电网在全国范围内平衡电力。在所有这些案例中，机器都需要相互通信，以避免碰撞并节省能量。

作者表明，对于这种通信，存在一条“黄金法则”。如果机器遵循这条规则，我们就可以计算出它们协作的最佳方式。如果它们不遵守，系统可能会崩溃或运行成本过高。通过提供一种清晰、循序渐进的方法来寻找这些完美策略，本文为工程师们提供了一个强大的新工具，用以构建更聪明、更高效、更安全的自主系统。它将一个混乱、听起来不可能完成的问题变成了一个可解的谜题，证明了有时，最好的协作方式就是明确知道该说什么，以及何时该说。

技术摘要：具有部分嵌套信息结构的联合通信-控制策略优化

问题阐述

本文研究了多智能体线性系统中基于**共同信息（Common-Information-Based, CIB）框架下的联合通信-控制策略优化（JCCO）**问题。该设定涉及在有限时间跨度 $H$ 内运行的 $n$ 个智能体，其系统动力学为线性，观测存在噪声（高斯噪声），构成了一个去中心化的线性-二次-高斯（LQG）控制问题。智能体必须同时优化以下内容：

控制动作： 以最小化状态和控制成本。
通信动作： 确定向其他智能体分享哪些私有信息，并承担与共享数据量成正比的通信成本。

核心挑战在于通信与控制之间的耦合关系：通信策略的选择会改变智能体可获得的信息结构（Information Structure, IS），而信息结构反过来又决定了最优控制策略。作者特别关注那些基准信息共享（在额外通信之前）形成**部分嵌套（Partially Nested, PN）**结构的场景，这种结构已知能确保固定信息结构下去中心化 LQG 问题的线性与可处理性。

方法论

作者开发了一种动态规划（DP）方法来解决 JCCO 问题，并区分了**开环（Open-loop）和闭环（Closed-loop）**通信策略。

1. 线性性的结构条件

论文首先建立了一种结构性条件，即在追加通信的情况下，最优控制策略保持线性（从而具备计算可行性）必须满足的条件。即使基准 IS 是 PN 的，任意的额外共享也可能破坏这一特性，导致产生非线性或不存在最优策略。作者确定了三个关键假设：

假设 II.1： 标准的信息演化规则（基准共享、私有信息更新）。
假设 III.2： 智能体不共享或利用对系统状态没有影响的控制动作（即如果 $B_{i,h} = 0$ ，则不共享其控制动作 $U_{i,h}$ ）。
假设 III.4： 如果一个智能体的控制动作会影响状态，则至少有另一个智能体能够观测到该影响（即 $E_{-i, h+1}B_{i,h} \neq 0$ ）。

作者通过反例（引理 III.1, III.3, III.5）证明，违反这些假设会导致策略变为非线性或导致团队最优策略不存在。

2. 开环通信策略

对于固定的开环通信策略（即通信动作是预先选定的），该问题简化为具有固定 IS 的去中心化 LQG 控制问题。

严格扩展（Strict Expansion）： 作者通过将共同信息进行扩充来构建一个“严格”扩展问题 $\tilde{D}$ ，扩充内容包括所有会影响其他智能体的过去控制动作。
SI-CIB 条件： 他们证明了在上述识别出的结构假设下，该扩展问题满足**策略无关的共同信息（Strategy-Independent Common-Information-Based, SI-CIB）**信念条件。这意味着条件信念（给定共同信息后，状态和私有信息的后验分布）是一个高斯分布，其参数（均值和协方差）的演化独立于控制策略。
Riccati 方程： 利用 SI-CIB 条件，作者推导出了一个有限维度的动态规划过程。他们证明了最优控制策略在状态和私有信息的条件均值上是线性的。最优增益矩阵通过一组闭式 Riccati 方程计算得出，避免了对无限维信念空间的需求。

3. 闭环通信策略

该方法被扩展到闭环策略，其中通信动作取决于当前的私有信息和过去的通信历史。

假设 V.1： 通信策略必须以共同信息和过去的通信动作作为输入。
扩展与 DP： 与开环情况类似，问题经过扩展以满足 SI-CIB 条件。作者提出了一个在通信历史空间以及有限维条件均值/协方差状态上运行的动态规划算法（算法 1）。这提供了一个比直接在无限维信念空间上求解更具计算效率的可处理解。

核心贡献

形式化： 论文在 CIB 框架下将 JCCO 正式化为一个多智能体线性系统下的最优控制问题，并将通信动作显式建模为决策变量。
结构特征化： 确定了在追加信息共享时能保持部分嵌套性的必要且充分的结构条件（假设 III.2 和 III.4）。论文表明，违反这些条件通常会导致非线性最优策略或解不存在。
开环算法解法： 开发了一种使用 Riccati 方程的闭式动态规划方法，用于求解给定固定开环通信协议下的最优控制策略。这推进了现有的关于具有 PN IS 的输出反馈去中心化 LQG 控制的研究 [17]。
闭环扩展： 将该方法扩展到闭环通信策略，提供了一个比标准基于 CIB 信念的方法更具计算效率的降维动态规划方案。
新颖联系： 本工作建立了严格部分嵌套信息结构与 SI-CIB 条件之间的全新联系，使得将去中心化问题简化为具有有限维充分统计量的集中式马尔可夫决策过程（MDP）成为可能。

结果与实验验证

数值示例： 一个具体的 2 智能体、2 步长示例展示了所提方法的逐步实现过程，演示了如何计算滤波器矩阵、协方差更新以及最优线性控制增益。
实验分析： 作者在四种不同的基准信息结构（单控制器、轮流控制器、单步延迟、单向单步延迟）及变化的通信成本 ( $\alpha$ $α$ ) 下评估了该方法。
- 权衡： 结果证实了预期的权衡关系：较低的通信成本促使智能体共享更多信息，从而降低控制成本和总目标值。相反，高额的通信成本会惩罚信息共享，导致信息交换较少的策略。
- 性能： 所提方法成功计算了在这些不同拓扑结构和成本参数下的最优策略。

重要性与声明

本文声称为解决线性环境下联合通信-控制问题提供了一个计算可处理的框架，而该领域通常因去中心化控制中的“维度灾难”而面临计算不可行的问题。

理论进展： 通过证明特定的结构条件可以保持部分嵌套性并允许使用 Riccati 方程，本文为启发式“学习通信”算法（如 [8, 9]）或协同设计中的范数最小化方法提供了一个严谨的替代方案。
独立价值： 针对具有 PN IS 和输出反馈的去中心化 LQG 控制所推导的动态规划方法被视为一项具有独立价值的贡献，它超越了以往仅限于状态反馈或特定图结构的既有研究。
局限性说明： 作者承认了局限性，指出结果依赖于高斯噪声和线性动力学。他们明确表示，将研究扩展到非高斯噪声、非合作环境以及具有因子化状态的系统是未来的研究方向，而非当前能力。本工作的重点在于最优策略的理论推导，而非在复杂的非线性环境中的实时部署。