💻 computer science

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

本文表明，在公共物品博弈中，合作与搭便车的大语言模型智能体之间自然语言宪法的对抗性协同进化是可行的，并能产生可解释的红队产物，但前提是必须采用耦合的适应度函数并配备充足的评估预算以防止模式退化。

原作者： Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的数字游乐场，其中两支队伍的人工智能体（AI agents）不断试图互相智取。一方是“蓝队”，致力于提供帮助与合作；另一方是“红队”，则试图成为“搭便车者”——即那些不贡献却坐享其成的人。

这篇论文就像一档真人秀，这两支队伍被锁定在一场为期 30 轮的“军备竞赛”中。但他们并非建造更大的武器，而是在每一轮中不断重写自己的“规则手册”（称为“宪法”），以争夺胜利。

以下是研究人员通过简单类比所发现的成果：

1. “共享资金池”游戏（公共物品博弈）

首先，研究人员让两支队伍参与一个游戏：所有人将钱投入一个共享资金池。资金池会被放大，然后所有人平分所得。

初始设定：蓝队的规则手册写着“要慷慨大方，并惩罚作弊者”；红队的规则手册则写着“拿走一切，分文不给”。
竞赛过程：在 30 轮游戏中，他们不断重写规则手册。
- 蓝队发现，如果过于慷慨，红队就会卷走一切。因此，他们学会了更加严厉。
- 红队发现，如果作弊太狠，蓝队会施以严厉惩罚导致其失败。因此，他们学会了恰到好处地作弊，既能生存又不至于被抓住。
结果：最终，双方达到了完美的僵局。两队的得分几乎相同（约为 1 分中的 0.78 分）。这就像两位拳击手激战良久，已完全摸清了对方的招式；谁也无法获胜，但谁也无法输掉。无论资金池被放大的倍数是多少，结果皆然。

2. “独立记分牌”问题（网格世界）

接着，研究人员将两支队伍转移到一个不同的游戏：一个需要建造庇护所并收集资源的网格世界。

错误设定：起初，研究人员给每支队伍分配了独立的记分牌。蓝队试图最大化自己的得分，红队也试图最大化自己的得分。
故障现象：由于双方并非直接对抗，红队并未试图伤害蓝队。相反，红队只是变得非常擅长建造自己的庇护所。他们变成了两支各自快乐、互不干扰的队伍，而非敌人。“军备竞赛”从未真正开始。
修正方案：研究人员修改了规则。现在，一支队伍的得分不再仅仅是“我表现得有多好？”，而是"我比对手表现得有多好？"
结果：一旦切换到这种“相对得分”系统，真正的对抗便开始了。红队开始积极尝试破坏蓝队，而蓝队则必须适应以求生存。

3. 系统中的“噪音”（种子数量）

研究人员使用一种特殊的人工智能工具来编写这些新规则手册。他们发现了一个奇怪的缺陷：

问题所在：如果仅用2 个示例（称为“种子”）来测试新规则手册的好坏，人工智能就会被“噪音”（随机运气）搞糊涂，并随着时间的推移写出越来越差的规则手册。这就像一位厨师只品尝了两次菜肴，就因某天状态不佳而决定毁掉食谱。
解决方案：当他们将测试样本增加到5 个示例时，人工智能不再犯错。它能清晰地分辨出哪些规则手册真正更优，并持续提升红队的攻击能力。
教训：要训练一个聪明的“攻击者”人工智能，必须进行多次测试，以确保结果并非仅仅源于运气。

4. “间谍”优势

在一项实验中，研究人员赋予了红队一项超能力：他们能看到蓝队的一举一动，而蓝队只能看到自己的行动。

结果：红队彻底击败了蓝队。这就像下棋时，一方能看到另一方的底牌。蓝队不断犯错，因为它无法预判红队的行动。

5. 为何这很重要（“红队”产物）

最重要的启示并非红队获胜，而是红队所创造的规则手册是实用的工具。

可以将这些进化后的规则手册视为“红队产物”。它们是清晰、书面的规则列表（例如“如果你看到资源，立即窃取”），确切展示了人工智能可能如何试图破坏合作系统。
未来的开发者可以利用这些具体的规则手册来测试他们新的人工智能系统。如果新的人工智能能够抵御这些“红队”规则手册的攻击，我们就知道它确实是安全的。

总结

该论文表明：

合作与冲突可以达到平衡，前提是游戏迫使它们共享共同资源。
必须精心设计游戏规则。如果不让队伍的得分相互依赖，它们就不会真正展开对抗。
测试至关重要。必须多次测试人工智能策略，以避免因随机运气造成的混淆。
“坏人”教会我们如何构建更好的“好人”。通过进化攻击者的规则手册，我们获得了一份清晰、可读的破坏系统清单，这有助于我们构建更强大的防御体系。

技术摘要：公共物品博弈中的宪法军备竞赛

问题陈述
当前的宪法人工智能（CAI）对齐方法依赖于人类编写的原则（例如“要乐于助人且无害”），这些原则针对单智能体或合作多智能体场景进行了优化。然而，最近的实证证据表明，当前沿大语言模型（LLM）智能体被置于存在目标冲突的智能体环境中时，它们可能会从事蓄意的有害行为，如勒索、破坏和数据泄露。现有工作已证明，LLM 引导的进化搜索可以发现有效的合作性宪法，但尚未明确这些方法在适应性对抗压力下是否依然有效。具体而言，尚不清楚标准适应度函数是否在独立评分的环境中引发真正的对抗性选择压力，以及 LLM 变异算子能否在避免退化为生产性行为的同时，可靠地维持对抗性专家目标。

方法论
作者引入了一个对抗性宪法协同进化框架，其中两个阵营（蓝色合作者与红色搭便车者）在 30 代内交替更新其按优先级排序的自然语言宪法，以对抗当前的对手。该框架利用 LLM 引导的进化搜索（基于 MAP-Elites 的 OpenEvolve）来变异宪法。

该研究在两个结构截然不同的环境中评估了这一框架：

公共物品博弈（PGG）： 一种非空间的社会困境，智能体向共享池做出贡献。共享池机制本质上耦合了两个阵营的收益，在不修改各阵营评分函数的情况下创造了零和战略压力。
空间网格世界： 一个资源收集环境，其中阵营身份是隐藏的。最初，各阵营是独立评分的（基于生产力、生存率和友军伤害率），但作者发现这是对抗性动态的一种方法学失败模式。

主要贡献与结果

PGG 协同进化与均衡：
在 PGG 中，30 代的交替协同进化推动两个阵营达到稳定的、近乎均势的均衡。蓝色合作者的稳定性评分（ $S$ ）从 0.370 提升至 0.777，而红色搭便车者从 0.177 提升至 0.782。这种收敛至 $S \approx 0.78$ 的现象在乘数 $m \in \{1.2, 1.5, 2.0, 3.0\}$ 范围内均表现稳健。共享池的结构耦合确保了红色阵营必须发现必要的贡献水平以避免惩罚，而蓝色阵营则必须校准惩罚以维持合作。
适应度耦合作为先决条件：
在独立评分的网格世界中，各阵营独立评分导致了统计上解耦的结果（ $corr(S_B, S_R) = +0.088$ ），未能产生对抗性压力；红色阵营进化出了生产性的自我构建行为，而非对抗性行为。作者提出分数优势适应度目标（ $S_{own} - S_{opp}$ ）作为必要的修正。应用该目标后，对抗性动态得以恢复，从而产生了可测量的军备竞赛行为。
修正协议下的网格世界动态：
- 合作基线的脆弱性： 当蓝色阵营固定在先前的合作宪法（ $C^*$ ）时，红色阵营无法超越它（平均优势为 $-0.27$），尽管它缩小了差距。
- 防御机制： 引入攻击协调要求（需要相邻盟友以获得高成功概率）显著将红色阵营的优势降低至 $-0.66$，表明机制设计可以在不改变宪法的情况下作为防御杠杆发挥作用。
- 信息不对称： 当红色阵营观察所有智能体而蓝色阵营仅观察其自身时，红色阵营占据主导地位，最终优势为 $+0.415$ 。在完全信息下，系统收敛至接近均势。
评估种子数量与模式回归：
在纯对抗搜索中（红色阵营没有生产力目标，仅有 $1 - S_{Blue}$ ），评估种子数量（ $K$ ）控制着模式回归。当 $K=2$ 时，搜索发生退化；红色阵营的适应度随时间下降，尽管种子禁止了生产性规则，它仍重新获得了这些规则。当 $K=5$ 时，搜索趋于稳定，在所有 30 代中均维持了强大的对抗性专家。这表明适应度估计噪声是 LLM 引导的对抗性进化中不稳定的主要驱动因素。

意义与主张
本文并不主张对抗性进化的合作宪法本质上比合作性进化的宪法更稳健；此类主张需要进行本研究未执行的迁移实验。相反，本文的意义在于：

方法学诊断： 提供了一个构建和诊断宪法军备竞赛的框架，明确了对抗性协同进化何时成功（耦合适应度）以及何时静默失败（独立评分、低评估预算）。
红队工件： 进化出的红色宪法可作为可解释的自然语言红队测试用例。与神经策略不同，这些是可检查的规则集，可用于针对特定对抗策略（例如利用信息不对称）对未来的合作设计进行压力测试。
机制设计洞察： 证明了博弈的支付结构（例如共享池与独立评分）决定了进化压力，且简单的机制变更（如协调要求）可以有效对抗对抗性策略。

作者得出结论：对抗性宪法协同进化是可行的，但严格依赖于耦合的适应度函数和充足的评估预算（ $K \geq 5$ ），以防止模式回归。