🤖 AI

AgentPSO: Evolving Agent Reasoning Skill via Multi-agent Particle Swarm Optimization

AgentPSO 是一个新颖的框架，它将智能体视为群优化过程中的粒子，通过结合个体最优与全局最优经验来迭代更新其自然语言推理策略，从而在不修改底层语言模型参数的情况下提升问题解决性能，以此演化多智能体推理技能。

原作者： Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyunmin Hwang, Jaemin Kim, Choonghan Kim, Hangeol Chang, Jong Chul Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支由四位天才侦探组成的团队，试图破解一个极其棘手的谜团。在过去，如果他们陷入僵局，要么会实时互相争论（来回辩论），要么就独自更加努力地思考。这两种方法都有问题：争论耗时太长，有时他们仅仅因为害怕反对而达成了一致，却得出了错误的答案；而独自思考则意味着他们不断重复同样的错误。

这篇论文介绍了一种训练这些侦探的新方法，称为AgentPSO。与在调查过程中争论不同，他们在案件开始之前一起训练，通过相互学习，永久性地提升解决问题的能力。

以下是其工作原理，使用一个简单的类比：

“蜂群”类比

将四位侦探想象成蜂群中的蜜蜂。在自然界中，蜜蜂通过共享信息来寻找最好的花朵。如果一只蜜蜂发现了一大片绝佳的花丛，其他蜜蜂就会从中学习。

在AgentPSO中，每位侦探（智能体）就像一只背着“背包”的蜜蜂，里面装着如何解决问题的指令。这个背包就是他们的技能。

目标：他们希望升级自己的背包，以便完美地解决数学和逻辑谜题。
过程：他们不是通过争论来改变背包，而是经历一个训练循环：尝试解决一批问题，观察其他人的做法，然后调整自己的指令。

三大核心要素

每次团队训练时，每位侦探都会利用三个特定的建议来源来更新自己的背包，这类似于计算机科学中的粒子群优化（PSO）算法的工作原理：

“个人最佳”（照镜子）：
侦探审视自己的历史。“嘿，上次我尝试这种特定的数学检查方式时，我答对了。我应该坚持这样做。”这就是他们的个人最佳技能。
“全局最佳”（观察明星选手）：
侦探观察整个团队。“哇，侦探 B 使用一个特殊技巧完美地解决了最后一个问题。我应该尝试学习那个技巧。”这就是整个团队发现的全局最佳技能。
“自我反思方向”（批判性教练）：
这是该论文的独特秘诀。侦探不是逐字复制明星选手的指令（这可能对这位特定的侦探没有意义），而是像教练一样行动。他们审视明星选手的思维过程并问道：“他们为什么成功了？我做错了什么？”
- 示例：如果明星选手检查了“边界情况”（破坏规则的怪异数字）而侦探没有，教练就会告诉侦探：“你需要增加一个步骤来检查怪异数字。”
- 这就产生了一个自我反思方向，即关于如何改进的具体指令，而不仅仅是复制答案。

训练循环

团队会运行这个循环 10 次：

尝试：每个人都使用当前的背包指令解决一组练习题。
观察：他们交换作业。他们看到谁做对了以及如何做到的。
反思：每位侦探给自己写一条笔记（自我反思方向），说明需要改变什么。
更新：他们结合旧的笔记、个人最佳、团队最佳以及新的反思，重写背包指令。
重复：他们使用新指令再次尝试。

为什么这很重要

论文表明，这种方法在两个主要原因上优于旧方法：

不再无休止的争论：在旧的“多智能体辩论”方法中，侦探们必须针对每一个问题进行相互交谈，这既缓慢又昂贵。而在 AgentPSO 中，所有的学习都在训练期间完成。当需要解决实际问题时，他们只需独立工作并对答案进行投票。这既快速又高效。
真正学习，而非死记硬背：论文证明，侦探们并没有死记硬背练习题的答案。当研究人员给他们新类型的谜题（或者甚至要求不同的 AI 模型使用相同的指令）时，侦探们仍然表现良好。这意味着他们学会了通用推理技能（例如“始终检查你的边界情况”），而不仅仅是死记硬背特定答案。

结果

到训练结束时，这支侦探团队已经进化。他们不再仅仅是四个随机的思考者；他们是一个高度优化的团队，其中每位成员都拥有一套经过提炼、可复用的指令，使他们比开始时更聪明，也比那些仅在实时中争论的团队更聪明。

简而言之：AgentPSO 是一种在 AI 智能体开始工作之前，教导它们从彼此的错误和成功中学习的方法。它将一组普通思考者转变为一个超级问题解决团队，无需改变 AI 的“大脑”，只需更新其“操作手册”。

技术摘要：AgentPSO

问题陈述

尽管大语言模型（LLM）在复杂推理方面已展现出显著进展，但其性能仍高度依赖于提示工程（prompt engineering）以及被指示使用的特定推理技能。现有的改进推理方法通常分为两类，但两者均存在局限性：

单智能体自进化：通过自我反思来优化单个智能体的提示或策略的方法，往往受限于探索多样性不足，容易陷入由模型固有偏见所约束的局部最优解。
推理时多智能体协作：多智能体辩论或聚合等方法允许智能体在推理过程中相互批判。然而，这些方法易受错误的同伴影响和偏见共识的干扰。关键在于，它们是静态的；智能体的底层推理技能不会随任务而进化，且测试时多轮辩论带来的计算开销巨大。

本研究解决的核心问题是：多智能体系统能否通过集体交互迭代地进化其底层推理技能，而不仅仅是优化单个实例的输出？

方法论：AgentPSO

作者提出了AgentPSO，这是一个将多智能体推理技能进化视为动态优化问题的框架，其灵感来源于粒子群优化（PSO）。与在连续数值向量上运行的标准 PSO 不同，AgentPSO 在自然语言技能空间中运行。

核心概念

智能体即粒子： $N$ 个智能体群体中的每个智能体 $A_i$ 被视为一个粒子。
状态（ $s_i^t$ ）：粒子的“位置”是智能体当前的推理技能，定义为一条自然语言指令。
速度（ $v_i^t$ ）：“速度”是语义更新方向，代表应用于该技能文本的修订内容。
个体最优（ $p_i^t$ ）与全局最优（ $g^t$ ）：分别代表基于验证准确率，由单个智能体和整个群体发现的最佳性能技能状态。

进化循环

该框架在 $T$ 次训练迭代中运行，仅优化技能指令而不更新骨干 LLM 的参数。每次迭代遵循四个步骤：

独立求解：所有智能体使用其当前技能（ $s_i^t$ ）独立求解相同的训练批次。此阶段不进行智能体间通信，以确保性能归因于特定技能。
同伴观察与自我反思：每个智能体观察整个群体（排除其自身的技能指令）的推理轨迹和正确性标签。基于此，智能体使用 Reflect 函数生成自我反思方向（ $d_i^t$ ）。该方向识别来自同伴轨迹的可复用经验（例如检查假设、分解问题），而非简单地复制同伴的提示。
受 PSO 启发的更新：智能体通过组合以下要素来更新其语义速度（ $v_i^{t+1}$ $v_{i}^{t + 1}$ ）：
- 前一步的速度（ $v_i^t$ ）。
- 自我反思方向（ $d_i^t$ ）。
- 个体最优技能（ $p_i^t$ ）。
- 全局最优技能（ $g^t$ ）。
  这一过程通过 VelocityUpdate 函数执行，其中 LLM 合成一条新的文本指令，描述如何修订当前技能。
技能重写：通过 SkillUpdate 函数将新速度应用于当前技能，生成下一个技能状态（ $s_i^{t+1}$ ）。
验证与选择：在验证批次上评估更新后的技能。仅当新性能超过先前最佳值一个阈值 $\epsilon$ 时，才更新个体最优和全局最优技能，以防止噪声破坏搜索稳定性。

在测试时，进化后的智能体独立解决问题，并通过多数投票聚合答案，从而消除了对昂贵多轮辩论的需求。

主要贡献

AgentPSO 框架：引入了一种受 PSO 启发的框架，通过在自然语言空间中利用个体最优、全局最优和自我反思方向更新智能体，从而进化多智能体推理技能。
持久技能进化：证明了 AgentPSO 能实现智能体能力的持久进化，其性能优于静态单智能体提示和基于辩论的多智能体基线，且无需昂贵的测试时交互。
可迁移性：证据表明，进化后的技能可迁移至不同的推理基准，甚至迁移至不同的骨干 LLM，这表明该方法学习的是通用推理行为，而非记忆特定任务的提示。

实验结果

作者在数学推理基准（DeepMath, MATH, AIME25, Minerva）和通用推理基准（BigBenchHard）上评估了 AgentPSO。

性能：AgentPSO 在所有基准上取得了最高的平均准确率（71.98%），优于普通单智能体方法（如思维链，64.50%）、高级单智能体方法（如自我优化，66.50%）以及静态多智能体基线（如 MAD 的 67.68% 和 DMAD 的 68.79%）。
渐进式改进：分析显示，个体最优和全局最优技能在迭代过程中均逐步提升，推动群体向更有效的技能配置演进。
跨基准迁移：在 DeepMath 上优化的技能在 BigBenchHard 上表现良好（反之亦然），且优于静态基线，表明其学习了可泛化的推理过程。
跨模型迁移：使用 GPT 优化的技能无需进一步训练即可成功应用于 Claude，将 Claude 的平均准确率从（使用标准提示时的）约 52-55% 提升至 58.37%。
消融研究：移除自我反思方向（ $d_i$ ）导致性能大幅下降，证实仅靠标准 PSO 引导（个体/全局最优）不足以优化复杂的推理技能。自我反思组件提供了提取可复用经验所需的必要行为指导。
效率：虽然 AgentPSO 需要训练阶段，但与基于辩论的方法（MAD, MoA）相比，它显著降低了推理时的延迟，因为进化后的智能体独立解决问题并通过投票聚合答案，避免了多轮通信开销。

意义与主张

本文主张，AgentPSO 证明了多智能体协作不仅可以作为推理时用于答案优化的机制，还可以作为一种无需模型参数的过程，用于在群体层面进化可复用的推理技能。

通过将智能体视为从彼此推理轨迹中学习的群体粒子，该框架使智能体能够在不更新底层模型权重的情况下，获取可复用的推理行为（如问题分类、边缘案例验证和格式合规）。作者认为，这种方法通过允许智能体内化可跨任务和模型迁移的通用推理过程，提高了推理系统的可靠性和效率，从而超越了静态提示或推理时辩论的局限性。

该工作承认了其局限性，指出其侧重于推理基准而非知识密集型领域（在这些领域中，领域知识检索可能比推理技能进化更为关键），且训练过程需要额外的 LLM 调用。然而，它确立了一种通过集体迭代交互来进化智能体能力的新范式。