🤖 AI

Discovering Multiagent Learning Algorithms with Large Language Models

本文证明大语言模型能够自动化发现适用于非完美信息博弈的竞争性多智能体强化学习算法，并表明将这些复杂且特定于环境的发现提炼为最小算法核心，可带来更优越的泛化能力并降低结构复杂度。

原作者： Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群机器人如何玩扑克、围棋，甚至是“吹牛骰子”游戏。几十年来，人类一直担任教练的角色，手动调整机器人的“大脑”，尝试不同的数学公式，并寄希望于它们能变得更强。这是一个缓慢、枯燥的试错过程。

本文描述了一种全新的教练方式：研究人员不再由人类手动调整代码，而是让一个大型语言模型（LLM）——一种能够理解代码的超级智能人工智能——扮演进化生物学家的角色。他们将此系统称为AlphaEvolve。

以下是他们发现的故事，拆解为几个简单的概念。

1. 进化实验室

研究人员建立了一个数字“实验室”，其中包含两种不同类型的游戏算法：

CFR（反事实遗憾最小化）：把它想象成一个通过审视自己犯下的每一个错误来学习的学生，他会问：“如果我当时做了别的，我会赢吗？”
PSRO（策略空间响应 oracle）：这就像一位教练，他组建一支由不同玩家组成的团队，让他们相互对抗，并不断在阵容中加入新的、更聪明的玩家，以击败当前的最佳选手。

研究人员将上述算法的源代码交给了 LLM，并指示它：“改进这些算法。减少机器人所犯的错误（可被利用性）。”

LLM 并没有只是微调几个数字，而是重写了代码本身的逻辑，像 DNA 突变一样对算法进行变异。经过许多代“适者生存”的演化后，LLM 生成了两个全新的、高度复杂的算法：

VAD-CFR：这是“遗憾”学生的一种变体，它能根据游戏的混乱程度进行剧烈适应。
SHOR-PSRO：这是“团队教练”的一种变体，它以非常具体且复杂的方式混合不同的策略。

2. “过度工程化”的陷阱

当他们测试这些由 AI 发现的新算法时，结果令人惊叹。在它们接受训练的具体游戏中，它们击败了所有人类设计的冠军。

然而，研究人员注意到了一些可疑之处。LLM 构建这些算法的方式，就像一位主厨为了一位极其挑剔的食客专门制作一道菜。代码中充满了复杂且纠缠的机制，这些机制在训练游戏中表现完美，但很可能只是“过拟合”——即死记硬背了训练数据，而非掌握了游戏的通用规则。

这就像 LLM 制造了一辆汽车，配备了涡轮增压、氮气加速系统以及专为某条特定赛道调校的悬挂系统。它能在该赛道上获胜，但如果你把它开到颠簸的土路上，它可能会散架。

3. “消融”手术（侦探工作）

为了找出究竟是什么让这些算法变得聪明，研究人员进行了“手术”。他们系统地移除代码的各个部分，观察会发生什么。这被称为消融。

他们发现，那些花哨、复杂的部分（例如追踪波动性或以特定方式混合策略）大多是多余的。它们帮助算法在训练赛道上获胜，但无助于将其泛化到新的游戏中。

当他们剥去“华丽的外衣”后，发现了真正让引擎运转的核心骨架。

4. 提炼后的赢家

通过只保留最本质、最基本的原则，并剔除过度复杂的代码，他们创建了两个新的、更简单的算法：

WOP-CFR（暖启动乐观预测性 CFR）：
- 类比：想象一个学生在上课的前 500 天拒绝记笔记（“暖启动”），以避免写下坏习惯。然后，他开始记笔记，但他持有“乐观”态度——他假设下一步会比实际情况稍好一些，这有助于他更快地学习。
- 结果：这个简化版本在泛化到新游戏方面实际上比复杂的原始版本更出色。它不太容易因新情况而感到困惑。
PM-PSRO（投影匹配 PSRO）：
- 类比：想象一位教练忽略了人群的“噪音”。与其查看每一个分数，他们关注的是球员相对于整个团队平均水平的表现。如果球员低于平均水平，他们会被立即遗忘；如果高于平均水平，他们就会获得聚光灯。
- 结果：这个精简版本也优于复杂的原始版本，证明了 LLM 复杂的混合逻辑并非必要。

5. 核心启示

该论文的结论是：LLM 擅长提出想法，但需要人类来提炼它们。

LLM 就像一位富有创造力的发明家，制造出了一台拥有 500 个运动部件的机器。而研究人员则像工程师一样意识到：“嘿，我们只需要其中的 3 个部件就能让它运转，移除另外 497 个部件会让它更快、更可靠。”

主张总结：
研究人员成功利用 AI 发现了击败人类专家的新游戏算法。然而，AI 的原始发现过于复杂且专用。通过手术式地移除不必要的复杂性，他们创造了更简单、更清晰的算法，这些算法在处理新的、未见过的游戏时甚至表现更好。这证明了 AI 可以成为科学发现的强大工具，前提是必须有人类在场来简化和解读结果。

技术摘要：利用大语言模型发现多智能体学习算法

问题陈述

历史上，不完美信息游戏多智能体强化学习（MARL）的进展依赖于对算法基线的繁琐、迭代式人工优化。研究人员主要凭借直觉和试错法，在更新规则和结构选择（例如，遗憾折扣、均衡推导）的庞大组合空间中探索，往往默认采用数学上易于处理的启发式方法，而这些方法未必是最优的。本文旨在解决人工设计的局限性，提出利用大语言模型（LLM）自动化算法发现过程本身。

方法论

作者部署了 AlphaEvolve，这是一个由大语言模型（具体为 Gemini 2.5 Pro）驱动的分布式进化编码智能体，用于自动化 MARL 算法的设计。该框架将算法的源代码视为基因组，利用 LLM 作为智能遗传算子，执行语义变异、重写逻辑以及注入新颖的符号操作。

本研究聚焦于两种不同的博弈论范式：

反事实遗憾最小化（CFR）： 搜索空间由三个可进化的 Python 类定义：RegretAccumulator（如何处理/折扣遗憾）、PolicyFromRegretAccumulator（如何从遗憾推导策略）以及 PolicyAccumulator（如何为最终平均值加权策略）。
策略空间响应 oracle（PSRO）： 搜索空间涉及两个独立的、可进化的类：TrainMetaStrategySolver（用于在 oracle 训练期间生成元策略）和 EvalMetaStrategySolver（用于计算用于评估的策略组合）。这种分离使得 LLM 能够发现训练与评估之间动态的、非对称的调度机制。

实验协议：

训练集： 算法在一组四个游戏（3 人 Kuhn 扑克、2 人 Leduc 扑克、4 张牌 Goofspiel、5 面骰子骗子骰）上进行进化，以最大化适应度（负的可剥削性）。
评估： 固定的进化后算法在更广泛的 18 个游戏套件中进行测试，包括更大的变体以及不同的游戏家族（扑克、Goofspiel、骗子骰、布洛托、战舰）。
通过消融进行蒸馏： 认识到 LLM 可能会通过在核心原则之上叠加复杂的协同机制而过拟合，作者采用了一种严格的训练 - 测试分割消融方法。他们使用对数改进分数的四分位均值（IQM）来隔离哪些组件驱动泛化，哪些组件仅仅最大化训练适应度。

主要贡献

1. 高性能算法的发现

进化搜索成功发现了两种新颖算法，其性能可与最先进的人工设计基线相媲美：

VAD-CFR（波动性自适应折扣 CFR）： 一种 CFR 变体，具有基于波动性跟踪的自适应折扣、瞬时遗憾增强以及乐观预测功能。
SHOR-PSRO（平滑混合乐观遗憾 PSRO）： 一种元求解器，将乐观遗憾匹配+（ORM+）与平滑的最佳纯策略相结合，利用非对称求解器分别进行训练和评估。

2. 过专门化的识别

通过系统的消融研究，本文表明，虽然原始 LLM 发现的算法在训练分布上非常有效，但它们通常包含“过度工程化”的组件（例如，特定的波动性跟踪、复杂的混合调度），这些组件与训练集紧密耦合，但无助于泛化。在某些情况下，这些复杂机制反而成为泛化的惩罚因素。

3. 最小求解器的蒸馏

通过剥离过度专门的启发式方法，仅保留消融研究中识别出的基础结构转变，作者生成了两个最小化、数学上纯粹的求解器：

WOP-CFR（预热启动乐观预测 CFR）： 该蒸馏版本保留了 VAD-CFR 的三个核心机制：
1. 硬预热启动（Hard Warm-Start）： 严格暂停策略平均 500 次迭代，以防止早期高方差噪声污染累积策略。
2. 极端非对称折扣： 对负遗憾使用负指数（ $\beta = -0.1$ ），作为瞬时“遗忘门”，使其比人工调优的基线衰减得更快。
3. 乐观预测： 通过非线性投影（指数 1.5）结合衰减的乐观因子来推导策略。
  结果： WOP-CFR 实现了比原始 VAD-CFR 更优越的泛化能力（更高的测试 IQM），同时显著降低了结构复杂度。
PM-PSRO（投影匹配 PSRO）： 该蒸馏版本用单一核心机制取代了 SHOR-PSRO 中复杂的混合混合与退火调度：
1. 切线投影效用： 在遗憾匹配中，用期望效用向量的切线投影（以群体均值为中心）替换遗憾信号。
2. 动态预算： 将内部求解器迭代次数与经验博弈规模成线性缩放。
3. 统一求解器： 在训练和评估中均使用时间平均求解器。
  结果： PM-PSRO 在泛化任务上优于原始 SHOR-PSRO，且具有简化、可解释的结构。

结果

性能： 原始发现（VAD-CFR, SHOR-PSRO）和蒸馏后的最小求解器（WOP-CFR, PM-PSRO）在 18 个游戏的评估套件中均 consistently 排名前三。
泛化能力： 蒸馏后的求解器在保留的测试游戏中往往优于其原始 LLM 对应版本。例如，WOP-CFR 在 18 个游戏中有 14 个实现了最低可剥削性（原始 VAD-CFR 为 15 个），但相比原始版本，其测试 IQM 提高了 +0.119。同样，PM-PSRO 相比 SHOR-PSRO 的测试 IQM 提高了 +0.059。
鲁棒性： 蒸馏后的算法在多样化的游戏家族（扑克、Goofspiel、骗子骰、布洛托、战舰）和不同规模（从 2 到 347,810 个信息状态）中均保持了高性能。
随机 NFG： 在随机生成的 N 人标准形式博弈评估中，SHOR-PSRO 和 PM-PSRO 均优于既定基线（Uniform, AlphaRank, PRD, RM），且随着迭代次数增加，性能差距进一步扩大。

意义与主张

本文主张，LLM 驱动的进化搜索是算法发现的强大提议机制，但其最有效的方式是嵌入在人机回环（human-in-the-loop）流程中。LLM 提出复杂的机制组合候选方案，但需要系统的训练 - 测试消融来揭示哪些组件真正具有泛化能力。随后，研究人员将这些幸存者蒸馏为最小求解器。

作者强调，他们的工作通过进化可解释的代码骨架，弥合了表达性神经元学习与符号发现之间的鸿沟。他们明确指出，其结果并未为蒸馏后的算法提供形式化的收敛保证（这些算法是基于经验动机而非理论证明的），并且由于需要精确计算可剥削性，评估仅限于基于表格的基线和信息状态少于 35 万个的游戏。研究结论认为，LLM 的真正价值在于其探索设计空间以发现非直观机制的能力，这些机制随后可以被简化为鲁棒且可泛化的算法。