🤖 AI

Modular Reinforcement Learning For Cooperative Swarms

本文提出了一种模块化强化学习方法，将空间交互状态分解为独立的学习过程，以克服计算受限的机器人集群的内存限制，并在合作觅食任务中证明了其有效性。

原作者： Erel Shtossel, Gal A. Kaminka

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Erel Shtossel, Gal A. Kaminka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一大群微小、极其简单的机器人，像鱼群或蚁群一样协同工作。它们的目标是找到分散的物体（如食物），并将它们带回中央基地。这被称为“群体觅食”。

问题在于，这些机器人极其受限。它们的内存极少（少于一个微型手机应用），算力也极低。它们只能看到周围几英寸的范围，无法同时与整个群体通信。

核心难题：“状态爆炸”

为了让这些机器人学会协同工作，它们需要使用一种称为强化学习的学习方式。可以将其想象为机器人尝试不同的动作，并记住哪些动作效果最好。

然而，这里有个陷阱。如果机器人试图记住它可能面临的每一种情况，情况的数量会迅速增长到无法存储的地步。

类比：想象你试图 memorize 一张城市地图。如果你试图同时记住每一个街角、每一个交通灯和每一个行人的位置，你的大脑就会爆炸。在机器人领域，这被称为"状态爆炸"。一个试图记住所有这些组合的标准机器人需要一个大楼大小的硬盘，但它只拥有米粒大小的内存芯片。

解决方案：“模块化”方法

本文作者提出了一种巧妙的变通方案。他们不给机器人一个试图记住所有事情的巨大大脑，而是赋予它八个微小、专业化的大脑（每个传感器对应一个）。

类比：想象一个由八人组成的团队试图在拥挤的房间里导航。
- 旧方法（全状态）：一个人试图同时 memorize 房间里每个人的位置。他们不堪重负，忘记了事情。
- 新方法（模块化）：每个人只关注一个特定方向。第 1 号人员只看前方，第 2 号人员只看左侧。他们不担心整个房间，只关心自己特定的那一小部分。

这些“微型大脑”中的每一个都学习一条简单的规则：“如果我在我的方向看到机器人，就移开；如果前方畅通，就继续前进。”

“议会”

当这八个微型大脑都提出建议后，它们需要为机器人决定一个单一的动作。论文将这一决策群体称为"议会"。

类比：议会就像一个委员会会议。
- “前方”大脑说：“向前进！”
- “左侧”大脑说：“向右移动以避开那个人！”
- “右侧”大脑说：“向左移动！”
- 议会将所有这些冲突的投票混合在一起，使用数学公式（如取意见的平均值），并选出最佳的折衷方向。

他们的发现

研究人员在计算机模拟中测试了这种方法，涉及多达 36 个机器人在不同的房间布局中。

行之有效：模块化方法（八个微型大脑）的表现与那些试图同时记住所有情况的复杂方法一样好，有时甚至更好。
高效：它仅使用了极少量的内存。机器人不需要记住数百万种场景，而只需记住几十条简单的规则。这完美地适配了它们微小的微芯片。
鲁棒性强：即使研究人员改变了“奖励系统”（即告知机器人表现良好的方式），模块化方法依然有效，而复杂方法经常崩溃或失败。
简单动作更优：他们发现，指示机器人朝简单方向（向量）移动，比试图教它们复杂的、预编程的避障动作效果更好。

结论

这篇论文表明，要让一群机器人协同工作，并不需要超级计算机。通过将巨大、不可能的问题分解为许多微小、简单的问题，并让一个“议会”对最终答案进行投票，你可以创建一个既智能又协作，且能适配于非常小、非常便宜的机器人的群体。

技术摘要：面向协作蜂群的模块化强化学习

问题陈述

协作机器人蜂群由计算能力受限的机器人集体组成，它们仅通过局部交互共同追求一个目标。将多智能体强化学习（MARL）应用于此类系统的主要挑战是状态爆炸问题。为了学习有效的碰撞避免和导航，机器人必须表征空间交互状态。对这些状态进行朴素的全分解表示（例如，多个传感器方向上邻居的存在或不存在）会呈组合式增长。对于拥有 $k$ 个传感器的机器人，二进制状态表示会导致 $2^k$ 个状态。

这种指数级增长对于物理蜂群机器人而言是不可行的，因为它们通常内存有限（例如，RAM 低于 512KB）且处理能力受限（通常缺乏硬件浮点支持）。因此，需要深度神经网络或大型状态表的标准 MARL 方法并不切实际。此外，机器人作为独立学习者运行，无法访问全局蜂群状态或同伴的动作，这使得奖励对齐变得困难。

方法论

本文提出了一种模块化（分解式）状态表示，以解决蜂群机器人的内存和计算约束。核心方法包括：

状态分解：不是由单个学习者处理复杂的联合状态，而是按传感器方向对空间状态进行分解。每个 $k$ 个传感器（或空间特征）被分配一个独立的、分离的学习过程。
- 状态空间缩减：对于 $k$ 个特征，需要存储的状态总数变为线性（ $O(k)$ ），而非指数级（ $O(2^k)$ ）。在实验中，8 个具有二进制状态的传感器导致所有学习者的总状态数为 $8 \times 2 = 16$ ，而全状态学习者的状态数为 $2^8 = 256$ 。
- 学习过程：每个学习者是一个多臂老虎机算法（具体为连续 UCB-1），它将局部传感器读数（例如，“碰撞”或“畅通”）映射到推荐动作。
动作空间与融合（委员会）：
- 矢量动作：为了实现建议的融合，动作空间被定义为可组合的方向矢量（例如，8 个离散航向），而不是原子的碰撞避免算法。这使得不同学习者的输出可以在数学上结合。
- 聚合机制：一个称为“委员会”的固定过程聚合了 $k$ 个独立学习者的偏好。它根据高斯分布，为学习者推荐的方向分配高偏好值，为相邻方向分配较低的值。最终动作是从累积的概率分布中采样选择的。
- 信用分配：学习者之间没有信用分配。所有学习者都接收相同的奖励信号（基于融合动作结果的差异奖励）。
奖励对齐：系统利用差异奖励（ $\Delta$ ），该奖励近似机器人对集体效用的边际贡献。这使得独立学习者能够在没有全局通信的情况下，将其自利目标与蜂群的集体目标对齐。

主要贡献

空间状态的模块化表示：本文引入了一种分解式状态表示，其中每个空间特征（传感器方向）由单独的学习者处理。这将内存占用从相对于传感器数量的指数级降低为线性级。
可组合动作空间：作者证明了使用可融合的矢量动作空间的必要性和有效性，并将其与先前蜂群学习工作中使用的原子算法动作进行了对比，后者无法被任意合并。
对奖励变化的鲁棒性：模块化方法被证明对奖励函数的变化具有鲁棒性（例如，从差异奖励切换到自利奖励），而全状态学习者在这些条件下往往会失效。

实验结果

该方法在基于 Krembot 机器人的高保真仿真（ARGoS3）中进行了评估，任务为协作觅食，涉及三种竞技场配置（不同的基地位置和密度）。

与全状态学习者的性能对比：
- 在低密度场景中，模块化方法的性能与固定导航算法（动态窗口）和全状态学习者（R-Learner, Q-Learning）相当。
- 在高密度场景中，全状态学习者（特别是 R-Learner）最终超越了模块化方法，这可能是由于它们拥有更丰富的状态信息。然而，模块化方法在没有内存开销的情况下保持了稳定的性能。
- 在复杂环境（例如，导致高碰撞率的角落基地）中，模块化方法的性能与动态窗口相当，但随着密度增加，难以跟上全状态学习者的步伐。
鲁棒性：当奖励函数从对齐的差异奖励（ $\Delta$ ）更改为原始自利奖励（ $\Omega$ ）时，模块化表示保持了其性能，而状态化的 R-Learner 则显示出急剧下降。
动作空间比较：比较使用矢量动作学习与使用原子碰撞避免算法（排斥、动态窗口、攻击）学习的实验表明，学习使用矢量动作产生了更好的结果。

意义与主张

本文声称，模块化表示为在资源受限的蜂群机器人上部署 MARL 提供了一种实用解决方案。虽然在高密度场景的原始性能方面，它并不总是优于全状态学习算法，但它提供了巨大的内存节省和鲁棒性，而在这些方面全状态方法会失效或不可行。

作者强调，这种方法特别适合空间状态，因为它镜像了势场的结构，并自然地允许可组合的动作空间。这项工作表明，对于 RAM 有限（通常 <200KB）的物理蜂群而言，为了能够进行学习而牺牲高密度场景下的略微最优性，是一个重要的权衡。文章最后指出，模块化表示使得在传统状态爆炸问题会使强化学习变得无关紧要的设置中也能进行学习。