🔬 condensed matter

Learning to flock in open space by avoiding collisions and staying together

本文证明了通过多智能体强化学习可以实现开放空间中具有凝聚性的高阶集群行为，其中智能体通过优化局部代价函数来平衡碰撞规避与群体凝聚力，从而产生在结构和行为特征上与真实椋鸟群高度相似的动力学特性。

原作者： Martino Brambati, Antonio Celani, Marco Gherardi, Francesco Ginelli

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Martino Brambati, Antonio Celani, Marco Gherardi, Francesco Ginelli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大而混乱的舞池，成千上万的舞者（即“智能体”）正试图在移动时既能保持同步，又不至于互相碰撞或在人群中迷失方向。长期以来，科学家们一直在思考：像椋鸟这样的鸟群，是如何在不发生碰撞的情况下，实现如此完美且同步的波动飞行的？

这篇论文使用了一种计算机模拟方法，通过一种被称为**强化学习（Reinforcement Learning）**的方法，教会了一群数字“舞者”如何做到这一点。这就像是在训练一只狗：当它做得对时，你给它奖励；当它做得不对时，你给它一个温柔的“不”。久而久之，它们就会学会如何表现得最好。

以下是研究人员发现的过程，通过简单的概念进行了拆解：

1. 舞池的两条规则

研究人员给了数字舞者两个主要目标来平衡：

保持在一起： 不要离你的邻居太远，否则群体就会瓦解。
避免碰撞： 不要靠得太近，否则你会发生碰撞。

他们为舞者设定了一个“计分卡”（代价函数）。如果一名舞者离群体太远，分数会降低；如果他们靠得太近并面临碰撞风险，分数会降低得更厉害。舞者必须学会如何移动，以保持尽可能高的分数。

2. “顿悟”时刻：避免碰撞才是关键

最令人惊讶的发现是：避免碰撞实际上是实现“集群”（flocking）的秘诀。

“集群运动”（Swarm）的错误： 当研究人员只要求舞者保持在一起（忽略碰撞风险）时，群体变成了一个混乱、无序的团块。他们紧紧挤在一起，但移动方向各异，就像一群蜜蜂或者拥挤在门口的人群。这被称为**“集群运动”（swarming）**。
“成群飞行”（Flock）的成功： 当研究人员加入了对靠得太近的惩罚（模拟对碰撞的恐惧）后，行为发生了彻底的变化。舞者学会了保持适当的距离，以避免撞到彼此。这迫使他们对齐（align）彼此的运动——朝向同一个方向，并以平滑、协调的波动方式移动。这就是“成群飞行”（flocking）。

类比： 想象你在高速公路上驾驶。如果你只关心如何留在你的拼车小组身边，你可能会开得很不稳定。但如果你同时也非常害怕撞到前方的车，你自然会进入一条平滑、同步的车道，匹配每个人的速度和方向。对碰撞的恐惧创造了秩序。

3. 舞者是如何学习移动的

数字舞者根据邻居的距离远近，学会了一个简单的两步策略：

当邻居较远时： 他们结合了“吸引力”（靠近）和“模仿”（对齐方向）的策略。
当邻居较近时： 他们停止了“拉近”动作，转而几乎完全专注于**“模仿”**。他们完美地对齐了邻居的移动方向。这种在近距离下的强对齐能力，使得整个群体能够紧密结合并作为一个整体移动。

4. 中心化学习 vs. 去中心化学习

研究人员测试了两种教学方式：

中心化（集体思维）： 所有舞者共享学习成果。如果一名舞者掌握了一个好动作，所有人都会立即学会。这种方式效果非常好。
去中心化（独立学习）： 每位舞者都在没有交流的情况下独立学习。这也奏效，但对于规模较大的群体，学习过程更慢且更困难。然而，对于中等规模的群体（如典型的椋鸟集群），两种方法最终都导向了同样优美、同步的结果。

5. 结果：液态般的鸟群

最终的结果看起来就像真实的鸟群。整个群体像一个单一的、具有高度凝聚力的单元在移动（具有高度的有序性，即每个人都朝向同一方向）。有趣的是，这些舞者并不像士兵那样占据固定位置；他们像液体一样相互流过，不断更换邻居，同时仍能维持鸟群的整体形状。这与我们在自然界中观察到的椋鸟集群现象完全吻合。

核心结论

这篇论文表明，某些动物（如椋鸟）之所以能进行有组织的集群飞行，而其他动物（如摇蚊）只是杂乱地聚集成一团，其原因可能很简单：“成群飞行”是在不发生碰撞的前提下，保持在一起最聪明的方式。 对避免碰撞的需求迫使群体进行对齐，从而创造出我们在自然界中看到的这种令人叹为观止的同步舞蹈。

技术摘要：通过避免碰撞与保持聚集实现开放空间中的集群学习

问题陈述
本文探讨了集体运动建模中的一个基本挑战：如何在开放、无界的空间中维持群体凝聚力。虽然像 Vicsek 模型这样的极简模型通过对齐交互在周期性系统中成功实现了长程有序，但在开放系统中却会失效。纯粹基于对齐的交互会导致扩散性扩张和群体解体，而纯粹基于吸引力的交互通常会导致无序的集群（swarming）或环绕运动（milling），而非凝聚的集群（flocking）。作者研究了自驱动粒子（SPPs）如何通过学习来平衡对齐与吸引，从而在不依赖预定义交互规则或基于度量区域的情况下，实现具有凝聚力且高度有序的集群行为。

方法论
作者采用多智能体强化学习（MARL）框架，从第一性原理出发推导出集群动力学。

智能体动力学： $N$ 个智能体在二维无界空间中以恒定速度 $v_0$ 运动。智能体仅感知其拓扑（Voronoi）邻居。其运动通过选择一个新的航向进行更新，该航向是邻居平均取向（ $V_i$ ）与指向局部质心方向（ $R_i$ ）的加权组合。
控制参数： 对齐与吸引之间的相对权重 $\beta \in [0, 1]$ 是可学习的动作。 $\beta=0$ 对应纯对齐（类 Vicsek 模型）， $\beta=1$ 对应纯吸引。
学习框架： 研究采用了两种训练范式：
1. 集中式训练 (CT)： 智能体共享一个 Q 矩阵，并从共享的经验池中学习。
2. 分布式训练 (DT)： 每个智能体维护自己的 Q 矩阵，并根据其特定的轨迹独立学习。
代价函数： 智能体通过最小化基于邻居平均距离 $d$ 的代价函数 $L(d)$ 进行训练。该函数是一个非凸的、类 Lennard-Jones 的势函数： $L(d) = a/d - b/\sqrt{d}$ 。该函数惩罚过度的分离（ $d \to \infty$ ）和近距离的拥挤（ $d \to 0$ ），其最小值位于最优距离 $\bar{d}=1$ 处。
优化： 智能体使用带有 $\epsilon$ -greedy 探索机制的 Q-learning 算法，以寻找能够使累积代价最小化的最优策略 $\beta^*(d)$ 。

核心贡献与结果

凝聚性集群的涌现： 研究表明，通过使用惩罚大间距和小距离的代价函数进行训练，智能体会自发学习到一种产生高极性序（ $\Phi \approx 0.95$ ）的凝聚性集群策略。这种行为在中小规模群体（ $N < 800$ ）下，在 CT 和 DT 范式中均表现出鲁棒性。
碰撞避免的作用： 一个关键发现是，针对小距离的惩罚对于集群至关重要。当修改代价函数以移除小 $d$ 处的发散性（即实际上移除了碰撞惩罚）时，智能体会学习到一种由吸引力主导（ $\beta \approx 1$ ）的策略，导致产生无序的凝聚性集群（swarming）状态而非集群（flocking）。这表明，避免碰撞的需求是产生基于对齐的集群行为的主要驱动力。
距离依赖型策略： 对学习到的 Q 矩阵的分析揭示了一个明显的机制划分：
- 短距离阶段 ( $d < d^*$ )： 最优策略由强对齐主导（ $\beta \approx 0$ ）。
- 长距离阶段 ( $d > d^*$ )： 策略涉及对齐与吸引的灵活结合。作者通过“策略蒸馏”证明，在此阶段精确的平衡并不关键；只要存在一定的吸引力，系统就能维持凝聚性。
结构特征： 生成的集群展现出与生物观察一致的结构特征（例如星雀的集群行为）。它们表现为一种“无结构的非平衡液体”，具有有限但较低的邻居交换率（混合率），且径向分布函数 $g(r)$ 缺乏典型液体的振荡结构，与实验数据相符。
可扩展性与鲁棒性： 在集中式训练下，该算法在 $N=1600$ 个智能体时仍能有效扩展。分布式训练在超大规模群体（ $N > 800$ ）中表现出性能下降，这是由于单个智能体在有限训练时间内难以探索完整的状态空间，但这可以通过调整探索指数来缓解。
边界条件： 作者测试了一种基于 Voronoi 胞腔面积（用于区分内部与边界智能体）的替代代价函数，发现其产生的集群行为在定性上与基于距离的代价函数没有差异。

意义与主张
本文声称解决了为何某些群居物种表现出集群（flocking）而非集群（swarming）行为的问题。作者认为，集群不仅是维持群体凝聚的一种机制，更是一种能够同时满足“保持聚集”与“避免危险碰撞”这两大需求的优化策略。学习到的动力学对噪声和算法细节具有鲁棒性，这表明，由距离依赖的碰撞避免所调节的对齐与吸引之间的相互作用，是复杂集体运动自发涌现的充分条件。研究结果在生物学上对于真实的鸟类（由于其准二维飞行特性）具有合理性，并可能应用于集群机器人领域，为预设交互规则提供了一种基于学习的替代方案。