💻 computer science

Scalable Multi Agent Diffusion Policies for Coverage Control

本文介绍了 MADP，这是一种新颖的分布式多智能体扩散策略，它利用空间变换器和同伴感知嵌入来生成用于覆盖控制的协同动作，在变化的群体密度和环境条件下，展现了优于最先进基线的泛化能力和性能。

原作者： Frederic Vatnsdal, Romina Garcia Camargo, Saurav Agarwal, Alejandro Ribeiro

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Frederic Vatnsdal, Romina Garcia Camargo, Saurav Agarwal, Alejandro Ribeiro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一大群机器人，就像蜂群一样，需要覆盖一个巨大的区域来寻找重要目标。棘手之处在于，它们无法一次性看到整个区域，无法同时与所有人通信，也没有一个单一的“蜂后”来下达指令。它们必须自行找出如何分散开来并协同工作。

本文介绍了一种让这些机器人集群协作的新方法，称为MADP（多智能体扩散策略）。其工作原理可分解为以下简单概念：

1. 问题所在：“盲目”的集群

通常，当你告诉机器人该做什么时，你会给它一套严格的规则。但在一个庞大而混乱的世界中，严格的规则会失效。如果你有 32 个机器人，而它们需要覆盖的区域发生变化，或者你突然有了 50 个机器人，旧规则往往会崩溃。机器人可能会互相碰撞，或者错过重要地点，因为它们无法足够快地适应。

2. 解决方案：“创意艺术家”方法

作者没有给机器人一本严格的规则手册，而是赋予了它们一位创意艺术家。这位艺术家是一种名为扩散模型的人工智能。

类比：想象一下，试图从一块充满静态噪点的画布开始作画（就像一台没有信号的旧电视）。扩散模型就像一位艺术家，逐步、一步步地去除噪点，直到一幅清晰、美丽的图像显现出来。
如何帮助机器人：在这篇论文中，“图像”不是画作，而是一份移动计划。机器人从对去向的混乱、随机的猜测开始。然后，人工智能逐步“去噪”这一猜测，将其提炼成一条智能、平滑的路径，既能避开障碍物，又能很好地覆盖区域。

3. 秘密武器：“空间变换器”

论文在人工智能内部使用了一种特殊工具，称为空间变换器。将其想象成一个超级组织者。

类比：想象你身处一个拥挤的派对。你只能听到站在你旁边的人的声音。普通人可能会搞不清谁是谁。但“空间变换器”就像拥有一种神奇的能力，能够瞬间理解周围每个人的相对位置，无论人群如何移动。
为何重要：这使得每个机器人都能理解邻居的位置及其局部视野，即使群体规模扩大或缩小。它让机器人通过分享所见内容的简要摘要（而非原始数据）来相互“交流”。

4. 训练过程：向“上帝模式”专家学习

机器人并非通过在现实世界中试错来学习。相反，它们是通过观察一位全知专家进行训练的。

类比：想象一款电子游戏，你拥有“上帝模式”（你可以看到整张地图，确切知道每个敌人的位置）。人工智能观看了这位专家完美地玩了几千次游戏。
结果：人工智能学会了模仿这位专家的决策。但这里的奇妙之处在于：尽管专家能看到一切，人工智能却学会了仅利用真实机器人所拥有的有限、局部信息来做出明智决策。

5. 结果：更好、更快、更灵活

研究人员在“覆盖控制”游戏（尝试用兴趣点覆盖地图）中测试了该系统。

测试：他们向机器人提出了各种挑战：改变机器人的数量、改变需要覆盖的区域大小，甚至使用美国城市（如纽约或芝加哥）的真实地图，其中“重要地点”是交通信号灯。
结果：MADP 系统始终胜过现有的最佳方法。
- 它比其他任何方法都能更好地处理更小、更难发现的区域。
- 即使改变机器人数量（扩大或缩小规模），它也表现良好，无需重新训练。
- 它在探索新的、未见过的环境方面非常擅长。

总结

简而言之，作者构建了一个机器人“大脑”，它不仅仅遵循地图。相反，它利用一种创造性的、去噪的过程来构想许多可能的路径，根据邻居的行为选择最佳路径，并即时适应团队规模或环境的变化。这就像教导一群蜜蜂完美地共舞，即使你在舞蹈中途增加或移除蜜蜂，也无需告诉它们舞步。

技术摘要：用于覆盖控制的可扩展多智能体扩散策略

问题陈述

本文解决了在感知受限和通信范围有限的环境中，大规模机器人集群进行去中心化覆盖控制的挑战。具体任务涉及协调一组全向机器人，以最小化基于**重要性密度函数（IDF）**定义的覆盖成本。

该领域的主要难点包括：

可扩展性：现有的去中心化策略往往难以随着团队规模的增加而有效适应。
多样性：智能体必须根据具体情境需求调整其行为，而非遵循单一的僵化策略。
部分可观测性：机器人仅拥有局部传感器数据和有限的通信半径，使得全局协调变得困难。
高维性：多智能体系统的动作空间复杂且高维，捕捉了智能体之间的相互依赖性。

方法论：MADP

作者提出了MADP（多智能体扩散策略），这是一个结合**生成扩散模型（GDMs）与空间变换器（Spatial Transformers）**以实现去中心化推理的新颖框架。

1. 核心架构

MADP 在学习感知–动作–通信（LPAC）循环中运行。该系统通过模仿学习从拥有全状态访问权限的“全知”专家（质心 Voronoi tessellation）处进行集中训练，但执行过程完全去中心化。

感知模块：每个机器人使用卷积神经网络（CNN）将其局部传感器数据（密度函数、边界、障碍物和邻居位置）编码为紧凑的特征向量。
通信：机器人将这些特征嵌入广播给通信半径内的队友。
空间变换器（ST）：策略的核心是一对参数化为**旋转位置嵌入（RoPE）**的空间变换器（编码器和解码器）。
- 编码器：融合局部观测与接收到的同伴嵌入。它利用注意力掩码，结合空间窗口（通信半径）和图连通性，以确保在不同密度下的稳定性。
- 解码器：执行去噪以生成控制指令。它使用自注意力和交叉注意力，将去噪过程条件化于融合表示之上。
- 去中心化：ST 架构具有置换不变性和平移等变性，允许集中训练的模型部署在任意数量的机器人上而无需重新训练。

2. 扩散过程

该策略将动作分布建模为扩散过程：

前向过程：专家动作被迭代地用高斯噪声破坏。
反向过程（推理）：模型学习预测每一步添加的噪声，以便从纯噪声中重构动作。
采样：系统使用**去噪扩散隐式模型（DDIM）**进行确定性且加速的采样（50 步），使机器人能够生成有限时域轨迹。
条件化：去噪过程以机器人自身历史的融合表示以及邻居的感知嵌入为条件。

主要贡献

新颖的控制架构：将扩散模型与空间变换器相结合，以处理去中心化环境中的高维、多模态动作分布。
可扩展的去中心化推理：一种方法，允许集中训练的策略由每个机器人在本地执行，适应不同的团队规模和通信拓扑，而无需集中式轨迹生成。
随机探索：利用扩散模型固有的随机性生成多样化的轨迹，增强复杂覆盖任务中的探索能力。
对分布偏移的鲁棒性：证明了该策略能够泛化到未见过的机器人数量、特征密度和特征尺寸（分布外场景）。

实验结果

作者在 $1024 \times 1024$ 米的环境中，针对 $N=32$ 个机器人和 $F=32$ 个高斯特征的平面覆盖控制任务评估了 MADP。

基线比较：MADP 始终优于最先进的基线，包括去中心化 CVT（DCVT）和LPAC-K3（一种先前的基于学习的去中心化方法）。
分布内性能：在标准设置下，MADP 实现了比基线更低的归一化覆盖成本，通常收敛更快（约 100 步后）至最优覆盖。
分布外泛化：
- 特征尺寸：MADP 有效适应了具有显著更小高斯特征的环境（模拟更高海拔或不同传感器尺度），而基线在此类情况下表现挣扎。
- 现实世界场景：在 50 个真实城市地图（使用交通灯位置作为 IDF 源）上测试，MADP 在 32/50 个城市中取得了最佳性能，并在所有城市中具有最低的均值覆盖成本。
- 初始化鲁棒性：该策略在多种初始机器人配置（均匀分布、聚类方形和线性带状）下保持了优越的性能。
可扩展性：当在超出训练配置的机器人数量（ $N$ ）和特征数量（ $F$ ）上进行测试时，随着团队规模的增加，MADP 显示出比基线更明显的优势，证明了其强大的可迁移性。

意义与主张

本文声称，MADP 通过成功利用扩散模型的可扩展性和表达力，代表了去中心化多机器人控制的重要进步。

适应性：作者认为，GDM 的随机性质使策略能够探索多样化的解决方案，使其在兴趣区域较小或环境高度动态等具有挑战性的场景中特别有效。
可扩展性：与先前集中生成轨迹的基于扩散的方法不同，MADP 实现了完全去中心化的执行，解决了扩展机器人集群的关键瓶颈。
未来方向：作者建议，MADP 生成的轨迹多样性可以在未来的工作中进一步利用，通过引导控制或模型预测路径积分（MPPI）控制来优化性能。

该工作得到了 ARL DCIST CRA W911NF-17-2-0181 的支持，由宾夕法尼亚大学和印度理工学院孟买分校的研究人员完成。