Collaborative Deep Q-Network for Multi-Robot Coverage Path Planning in Complex Environments
本文提出了一种协作深度Q网络（CD-DQN）框架，该框架利用多头注意力机制和动态区域分配，使多机器人团队能够高效地覆盖未知的复杂环境，同时对变化的团队规模和地图布局具有高适应性，并最大限度地减少冗余和运动冲突。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一支由小型机器人组成的团队被送入一个从未见过的巨大黑暗仓库。他们的任务不仅仅是寻找特定物品，而是要走遍每一寸地面，确保没有任何遗漏。这被称为覆盖路径规划（coverage path planning）。在现实世界中，这是机器进行大型工厂清洁、绘制灾区地图或检查建筑工地的实现方式。挑战在于，机器人无法一次性看到整个房间；它们只能感知到周围即时的情况。如果它们单独行动，可能会多次走过同一个地方，从而浪费时间和能量，或者可能留下未被触及的地面空白。为了解决这个问题，机器人必须相互交流、分享所见到的信息，并共同决定各自该去哪里。
多年来，科学家们一直尝试通过让计算机程序从经验中学习（就像人类通过试错法学习如何在陌生城市中导航一样）来教机器人完成这项任务。然而，现有的方法在团队规模发生变化或环境变得复杂时往往会遇到困难。一些系统依赖于不存在于未知环境中的预绘地图，而另一些系统则会在加入过多机器人时变得混乱，导致重复步骤。核心难点在于如何让机器人不仅理解自己的周围环境，还能实时理解队友的意图和位置。
在最近的一项研究中，来自湖北工业大学的研究人员提出了一种利用名为“协作深度Q网络”（Collaborative Deep Q-Network）的系统来解决这一问题的新方法。研究人员并没有给机器人一套僵化的规则，而是构建了一个学习系统，让机器人能够自行学会如何协作。研究人员在计算机模拟中训练这些虚拟机器人，让他们面对不同数量的队友以及从小型正方形到充满障碍物的各种规模网格布局。目标是观察机器人是否能学习到一种灵活的策略，无论团队中有三台还是九台机器人，无论房间是大是小，该策略都能奏效。
这个新系统的核心是一种让机器人关注彼此的方法。想象一群人在拥挤的房间里试图清理卫生。如果每个人都只盯着自己的脚下，他们会互相碰撞；如果大家同时大声叫喊，谁也听不清任何信息。研究人员设计了一种机制，让每个机器人专注于来自队友的最相关信息。它会自问：“谁在我附近？谁已经清理了这个区域？谁正朝着我应该去的某个点移动？”通过权衡这些问题，机器人可以做出符合当前情况的决策，而不是遵循固定的计划。这种注意力机制使团队能够根据情况即时调整，例如当一个机器人被卡住或出现新的障碍物时。
为了引导机器人产生高效行为，研究人员还创建了一个奖励与惩罚系统。当机器人踏上一个尚未被任何人访问过的地面区域时，它会获得奖励；如果它踏上了另一个机器人已经清理过的地点，它则会受到惩罚，因为这属于浪费精力。该系统还鼓励机器人留在其分配的区域内，而这些区域会随着团队的移动而不断变化。如果一个机器人走进了队友的领地，它会被轻轻地推回。这创造了一种自然的劳动分工，使机器人能够向外扩散以覆盖整个区域，而不会互相干扰。
研究结果在数千个模拟场景中进行了测试。研究人员发现，无论团队中有多少机器人，也无论地图有多大，新系统都能稳定地覆盖超过99%的可利用地面空间。在三台机器人在30x30网格上的测试中，新方法大约在618步内完成了任务，而旧方法则需要超过1,000步。更重要的是，新系统显著减少了无效移动。旧方法经常让机器人反复走过相同的路径，而新方法将这种冗余度控制在了10%以下。机器人学会了如此高效地协作，使得它们完成工作的速度更快，且重叠更少。
为了确保这不仅仅是计算机层面的技巧，研究人员还在一个模拟真实物理运动的物理引擎仿真中测试了该系统。他们使用了一个名为E-puck的小型轮式机器人模型，该机器人通过以不同的速度转动左右轮来移动。系统成功地将“移动到下一个方格”的高层决策转化为驱动轮子所需的底层指令。机器人绕过障碍物并在地面上平稳移动，证明了学习算法做出的抽象决策是可以由物理机器执行的。
这项研究强调，成功的关键不在于系统的某一部分，而在于多个部分的协同工作。当研究人员移除允许机器人相互关注的部分时，性能大幅下降，机器人开始频繁重复路径。同样，当他们移除那个为不同机器人分配动态区域的系统时，团队变得混乱且低效。这表明，对于要在未知环境中良好工作的机器人团队而言，它们既需要一种分享信息的方式，也需要一种随时划分工作任务的方式。
虽然本研究侧重于具有固定障碍物的静态环境，但研究人员承认，现实世界的场景可能会更加混乱，例如存在移动物体或可能发生故障的机器人。他们计划在未来测试该系统在更大规模团队以及更复杂、多变环境中的表现。目前，这项工作证明了通过教机器人相互倾听并实时调整角色，我们可以创造出比遵循僵化预设指令的机器人更高效、更可靠的团队。这种方法为在灾难救援、大规模清洁和未知领域探索中部署机器人团队提供了一条充满前景的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。