🌀 nonlinear sciences

Ant swarm functional control via stigmergic Reinforcement Learning agents

本文提出了一种新颖的框架，该框架利用采用中心化训练、去中心化执行的强化学习智能体，通过仅通过共享的信息素场与蚁群进行交互，从而成功地改变系统的相变，并在通常由随机性主导的机制中诱导有序路径的形成。

原作者： Alessio Pitteri, Andrea Guizzo, Laura Ferrarotti, Bruno Lepri, Riccardo Gallotti

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Alessio Pitteri, Andrea Guizzo, Laura Ferrarotti, Bruno Lepri, Riccardo Gallotti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个由数百万个微小的、独立的个体组成的领域，它们在没有老板、没有地图、也没有总计划的情况下四处移动。这就是复杂系统的领域，这是一个研究个体遵循简单规则如何从混沌中创造出大规模、有序模式的科学分支。想想在天空中盘旋的鸟群、高速公路上形成的交通拥堵，或是成群结队的鱼类同步转向。这些生物都没有指挥官；它们只是对邻居和环境做出反应。其中最著名的例子之一是蚁群。蚂蚁没有巢穴或食物路径的设计蓝图。相反，它们使用一种被称为信息素的化学语言。当一只蚂蚁行走时，它会留下微小的气味轨迹。其他蚂蚁闻到这种气味后，更有可能跟随这条路径，这使得轨迹变得更强，从而吸引更多的蚂蚁。这是一种自组织的舞蹈，环境本身充当了记忆和向导。

但棘手之处在于：有时这种舞蹈会出错。如果蚂蚁被噪音干扰得太厉害，或者无法很好地闻到气味，轨迹就会消散，蚁群就会陷入混乱，每个人都漫无目的地游荡。科学家们长期以来一直在思考：如果我们无法控制每一只蚂蚁，我们能否通过某种方式将整个系统重新引导回有序状态？这就是功能性可控性的问题。这并不是要强迫每一只蚂蚁都走直线；而是要寻找一种方法，轻轻地引导整个集群，使美丽的、有序的模式自然显现，即使在条件看起来过于混乱而无法自发形成模式的情况下也是如此。

在这篇论文中，一个研究小组决定尝试一种新方法来修复混乱的蚁群：他们引入了一支由人工智能训练的“智能”机器人蚂蚁小队。他们并没有为这些机器人编写严格的规则。相反，他们使用了一种称为**强化学习（RL）**的技术。你可以把它想象成训练一只狗，但不同于给它零食，这个“狗”每做出一件有助于群体的事情时，都会得到一个数字版的“击掌”。研究人员建立了一个模拟场景，其中一大群“普通”蚂蚁（模仿真实的生物蚂蚁）在四处游荡，有时会形成整齐的路径，有时则陷入混乱的挪动。

在这些普通蚂蚁中，他们投放了一小群“智能体”。这些不仅仅是普通的蚂蚁；它们是特殊的智能体，可以留下比其他蚂蚁强烈得多的气味轨迹。但神奇之处在于：它们并不知道该往哪里走。它们必须学习。通过强化学习算法，这些智能体进行了数千场“蚂蚁捉迷藏”游戏，尝试不同的移动方式。每当它们的移动有助于普通蚂蚁形成一条整齐、细长的线（即“路径”）时，它们就会获得奖励。每当它们造成混乱或巨大的、团块状的堆积时，它们就什么也得不到。随着时间的推移，智能体学会了一种秘密策略：它们学会了精确地通过如何移动，为普通蚂蚁创造完美的跟随条件。

结果非常有效。在模拟中，当普通蚂蚁本应因为过于困惑或噪声太大而永远无法形成路径时，智能体的出现改变了一切。研究人员发现，智能体可以改变系统的“相变”。用物理学术语来说，相变就像水变成冰一样；它是系统从一种状态（混沌）转变为另一种状态（有序）的时刻。论文表明，智能体推动了这个临界点，使得在通常无法产生有序路径的情况下，有序路径得以形成。

然而，论文谨慎地指出，这并不是万能药。研究人员明确测试了一个看似显而易见的理论：“也许智能体之所以奏效，仅仅是因为它们留下的气味更多？”他们进行了一项对照实验，添加了额外的蚂蚁，这些蚂蚁会留下大量气味，但其移动方式与普通蚂蚁一样是随机的。结果如何？失败了。路径并没有形成。这证明了秘密并不在于额外的气味，而在于智能体的智能移动。它们必须知道去哪里才能构建出路径。

这项研究还发现了智能体数量的“金发姑娘区”（适中区间）。你不需要一支军队。研究人员发现，在总共 330 只蚂蚁中，只要有 10 只智能体（约 3%）就足以开始看到路径，而 30 只智能体（约 9%）则足以让其可靠运行。增加更多智能体并不能比这带来更多的帮助。但也有一个极限：如果环境噪声过大，且普通蚂蚁对气味过于“耳聋”，即使是最聪明的 AI 智能体也无法强行让系统实现组织化。论文表明，虽然这种方法很强大，但它也有边界。

简而言之，这篇论文证明了你可以教一小群由 AI 驱动的智能体充当混乱集群的“指挥家”。通过学习在正确的地方留下正确的气味，它们可以引导大规模的简单智能体形成复杂的、有序的结构，即使在形势极其不利的情况下也是如此。目前这还只是一个模拟，尚未成为现实中的蚁群，但它暗示了一个迷人的未来：我们或许可以使用少量的智能机器人来帮助管理交通、组织人群，甚至引导无人机集群，方法就是教会它们如何通过微调环境，让秩序从混沌中自然浮现。

技术摘要：通过基于信息素强化学习智能体的迹迹强化实现蚁群功能控制

问题陈述
复杂的系统（如蚁群）通常表现出涌现的全局行为（例如，有序路径与无序运动），即使在局部交互规则清晰可辨的情况下，这些行为也难以预测或控制。传统的控制理论旨在驱动系统达到特定状态，但作者提出了一个更宽松的概念——功能可控性（functional controllability）：即引导系统进入相空间中的某个区域，使期望的宏观行为（特别是有序路径的涌现）能够自发产生。挑战在于，如何在不直接干预个体或获取系统全局知识的情况下，影响这些动力学过程，特别是在那些由于内在参数（感知能力和噪声）通常会导致随机性的机制中。

方法论
作者提出了一种框架，通过引入一群基于信息素的强化学习（RL）智能体（称为“智能智能体”）进入标准的蚁群模型（ABM），以影响原生种群（“ABM蚂蚁”）的集体动力学。

系统模型： 环境是一个二维离散晶格，其中 ABM 蚂蚁根据依赖于局部信息素浓度、感知能力 ( $\delta$ ) 和信号噪声 ( $\beta$ ) 的概率场进行移动。信息素以速率 $\eta$ 沉积，并以速率 $\kappa$ 衰减。
控制智能体： 一部分智能体 ( $N'$ ) 被赋予了学习到的策略。与 ABM 蚂蚁不同，它们的运动由 RL 策略决定，并且会沉积显著更高量的信息素 ( $\eta' = 1$ 对比 $\eta = 0.01$ )。
RL 框架：
- 算法： 在**中心化训练、分布式执行（CTDT）**设置下使用近端策略优化算法（PPO）。
- 状态空间： 每个智能体观察一个包含四个通道的 $9 \times 9$ 局部邻域：局部信息素密度、ABM 蚂蚁密度、智能智能体密度以及智能体之前的运动方向。
- 动作空间： 向 8 个相邻晶格点的离散移动。
- 奖励设计： 奖励是个体且局部的，源自从智能体局部状态构建的基于图的度量。它惩罚高度分支或周期性的结构，并奖励：
  1. 双峰信息素分布（在特定区域高浓度，其他区域低浓度）。
  2. 种群对齐（ABM 蚂蚁集中在高信息素痕迹上）。
  3. 路径几何形状（细长、延伸、非分支的路径）。
训练场景： 策略在两种设置下进行训练：(1) 暴露于感官参数 ( $\delta, \beta$ ) 的完整相图；(2) 暴露于单一特定配置 ( $\delta^*=0.3, \beta^*=4.5$ ) 以测试泛化能力。

核心贡献

通过信息素实现功能控制： 本文证明，通过嵌入一小部分仅通过共享环境场（信息素）进行交互、而不直接操纵受控个体的 RL 智能体，可以实现功能控制。
相变偏移： 学习到的策略成功地移动了系统的相变线，在原本通常保持无序的参数机制（高噪声、低敏感度）中诱导出了有序路径的形成。
泛化性： 在单一特定配置下训练的策略能有效地在整个相图中进行泛化，这表明其学习到的是可迁移的导航原则，而非对特定环境条件的过拟合。
与简单信息素增强的区别： 研究严格区分了单纯增加信息素沉积的效果（这会导致聚集而非路径结构的形成）与学习到的运动策略的效果（后者能生成连贯、细长的路径）。

结果

路径形成： 在“智能设置”（存在 RL 智能体）中，系统达到了平均路径场景指标 ( $\langle TS \rangle_{50}$ ) 为 $-1.43 $，超过了定义路径形成所需的$ -1.6$ 经验阈值。相比之下，基准情况（无控制）和“增强设置”（仅增加信息素，无 RL）均未能稳定达到该阈值（分别为 $-5.99 $和$ -3.63$）。
序参数： 控制策略增加了信息素序参数 ( $m(T)$ ) 和种群序参数 ( $M(T)$ ) 同时超过 0.8（表示处于有序相）的配置数量，从基准情况的 13/42 增加到智能设置下的 28/42。
鲁棒性： 即使当智能智能体数量减少到 15 个（训练种群的一半）时，控制仍然有效，尽管性能有所下降；当减少到 5 个时，性能显著恶化。
局限性： 在极低感知能力和极高噪声（相图右下角）的极端机制下，系统仍表现为部分无序，这表明由 ABM 蚂蚁内在动力学所带来的功能控制存在根本限制。

意义
作者声称，这项工作通过展示如何利用局部观察和间接的环境交互，由少量智能体引导全局集体行为，从而为复杂系统的功能可控性研究做出了贡献。研究强调，强化学习可以发现能够利用集体效应来稳定随机环境中原本无法出现的有序相（路径）的局部策略。这种方法为群体机器人学和社会技术系统提供了一种可扩展的范式，在这些系统中，显式的全局协调是不可行的，且干预必须依赖于局部的、基于信息素的机制。该工作确立了学习型控制器能够主动塑造而非仅仅是放大预先存在的秩序。

技术摘要：通过基于信息素强化学习智能体的迹迹强化实现蚁群功能控制

类似论文