🤖 AI

Internal vs. External: Comparing Deliberation and Evolution for Multi-Agent Constitutional Design

本文提出了一项受控比较，表明在集体行动情境中，外部进化优化通过发现有效的惩罚机制显著优于内部智能体审议，但在特定激励条件下，当进化迫使产生破坏价值的合作时，这一优势发生逆转，从而凸显了多智能体宪制设计中优化峰值与结构响应性之间的根本权衡。

原作者： Hershraj Niranjani, Ujwal Kumar, Phan Xuan Tan

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hershraj Niranjani, Ujwal Kumar, Phan Xuan Tan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一座完全由人工智能机器人组成的新城市的市长。你的任务是撰写“宪法”——即规定这些机器人如何行为、共享资源以及协同工作的规则手册。

这篇论文提出的核心问题是：谁应该来制定规则？

内部方法（审议）： 让机器人聚集在市政厅，通过辩论和投票自行制定规则。它们是“自治”的公民。
外部方法（演化）： 聘请一位超级聪明的外部顾问（AI 优化器）运行数千次模拟，找出最佳的规则手册，然后强制机器人遵守。

研究人员在三个不同的“城市”（模拟环境）中测试了这两种方法，以观察哪一种能创造出更幸福、更高效的社会。

三个城市（实验）

建筑工地（网格世界）： 机器人必须收集木材和石头来建造庇护所。如果它们贡献不足，就会被逐出城市。
- 结果： 外部顾问轻松获胜。它制定的规则严格而清晰，例如“立即收集木材”和“除非受到攻击，否则不得攻击”。机器人建造得更多，争斗更少。
- 内部方法： 机器人投票支持听起来很美好的规则，如“我们应该公平”或“让我们互相帮助”，但它们未能找到实际阻止人们偷懒的方法。
百家宴（公共物品博弈）： 机器人拥有代币。它们可以保留代币，也可以将其投入公共池。公共池的金额会翻倍，然后分配给所有人。如果每个人都贡献，每个人都能获得巨大收益。如果有人作弊（保留代币），他们个人会赢得更多，但群体将遭受损失。
- 结果： 同样，外部顾问获胜。它发现了一个博弈论认为有效的“魔法技巧”：惩罚。顾问制定了一条规则：“如果有人不贡献，就花费你自己的钱去惩罚他们。”这吓阻了所有人，促使他们合作。
- 内部方法： 机器人辩论了数小时。他们提出了税收、再分配和“导师制”等方案。但在 30 次尝试中，零次有机器人提出“让我们惩罚作弊者”。它们太礼貌了，不愿制定一条会伤害邻居的规则。
市场（交易）： 机器人拥有不同的物品，并希望进行交易。每个人对自己想要什么都掌握着秘密信息。
- 结果： 无人获胜。无论是自治的机器人还是外部顾问，表现都不如让机器人自然行动。因为每笔交易都取决于两个人之间特定的秘密协议，固定的规则手册无法提供帮助。你需要随机应变，而不是照本宣科。

重大转折：当规则失效时

最惊人的发现发生在研究人员改变了“百家宴”游戏的“经济”条件时。

情景 A（良好经济）： 公共池的乘数为 1.5 倍。贡献是明智的。外部顾问的规则完美运作。
情景 B（糟糕经济）： 公共池的乘数降至 0.75 倍。现在，如果你把钱投入公共池，你实际上会损失价值。明智的做法是保留你的钱，什么都不做。

在这里，两种方法出现了分歧：

外部顾问的规则： 它们是“脆弱”的。它们被硬编码为“贡献一切！”和“惩罚任何不贡献的人”。即使经济状况改变，贡献变成不明智之举，机器人仍盲目地遵循旧规则，破坏了所有人的价值。
内部方法： 机器人审视了新的经济状况，意识到贡献是不明智的，并投票修改规则以符合新现实。它们适应了变化。

核心教训：“峰值性能”与“灵活性”的权衡

论文以一个简单的比喻得出结论：

外部优化（顾问） 就像一辆高性能赛车。它在特定、完美的赛道（稳定环境）上极其快速且高效。它能找到性能的最高峰。但如果赛道发生变化（经济转变），赛车就会撞毁，因为它无法转向。
内部审议（市政厅） 就像一辆多功能 SUV。它在完美赛道上可能不是最快的，投票过程也可能有些混乱。但如果道路变成泥泞或冰雪，SUV 可以调整轮胎和转向以保持前行。

“惩罚”差距：
研究发现，AI 机器人中存在一个有趣的心理怪癖。当让它们自治时，它们在结构上不愿制定惩罚其成员的规则。它们更喜欢“温和”的治理（再分配、导师制），而非“强硬”的执行（惩罚）。外部顾问没有情感或社会压力，因此乐于制定那些实际上能让群体运作得更好的“冷酷”规则。

总结

如果你的环境稳定、可预测，且充满社会困境（如资源共享），请使用外部顾问。它将找到最高效的规则，包括必要的惩罚。
如果环境可能会发生变化，请使用内部市政厅。机器人可以调整规则以适应新情况，而顾问的规则则会变得过时且有害。
如果任务涉及复杂的、一对一的谈判且包含秘密信息（如交易），此时固定的规则手册毫无用处，则两者都不要用。

论文建议，最好的未来可能是一种混合模式：让外部顾问编写初始的规则“脚手架”，以使系统高效运行，但赋予内部市政厅修改这些规则的权力，以应对世界的变化。

技术摘要：多智能体系统的内部与外部宪法设计

问题陈述

随着大语言模型（LLM）智能体在多智能体环境中的部署日益广泛，一个关键的治理问题随之产生：应如何建立行为宪法？虽然宪法式人工智能（Constitutional AI，Bai 等人，2022）成功地将单个智能体与固定的、由人类编写的原则对齐，但多智能体系统引入了战略互动和涌现规范，这些是任何单个智能体都无法单方面规定的。为填补这一空白，出现了两种截然不同的方法：

外部优化：利用进化搜索离线发现可解释的宪法，并将其强加给智能体（Kumar 等人，2026）。
内部审议：允许智能体通过辩论、投票和自治共同制定规则（Koster 等人，2022；Lai 等人，2024）。

先前的工作并未在匹配条件下直接比较这些机制。本文研究了内部审议与外部进化何者能产生更优的集体结果，以及当部署激励偏离规则创建时的条件，每种方法如何做出响应。

方法论

作者使用 GPT-OSS-120B 作为智能体骨干，在三种不同的社会环境中进行了受控比较。每次模拟涉及六个智能体，分为两个三人小组，并接受“监督者”的监管，该监督者每 10 回合淘汰贡献最低的智能体，从而制造生存压力。

实验条件

控制组：无宪法；智能体依据 LLM 先验知识和上下文指令行动。
审议（内部）：智能体从空白宪法开始。每 10 回合，智能体提出修正案（每位智能体最多两条），由多数决进行投票。通过的规则约束后续行动。
进化（外部）：宪法通过 LLM 引导的多岛屿 MAP-Elites 搜索离线发现（Kumar 等人，2026）。生成的宪法是固定的，并在整个模拟过程中强加给智能体。

环境

网格世界（协调）：一个 80 回合的空间任务，智能体在部分可观测条件下收集资源（木材、石头、宝石）以完成团队特定的建设项目。智能体可以攻击或偷窃。
公共物品博弈（合作）：一个 40 回合的重复博弈，智能体在私人账户和共享池之间分配代币，共享池的回报会乘以系数 $m$ 。智能体还可以付费惩罚他人。
双边贸易（谈判）：一个 40 回合的市场，拥有私人禀赋和估值的智能体提出、接受或拒绝交易。

评估指标

性能通过 稳定性得分（ $S$ ） 进行衡量：
$S = \max(0, 0.5P + 0.3V - 0.2C)$
其中 $P$ 为生产力， $V$ 为生存率， $C$ 为冲突/伤害。

本研究共包含 180 次模拟运行：90 次用于一对一比较（10 个种子 $\times$ 3 个环境 $\times$ 3 种条件），90 次用于公共物品博弈中的乘数消融研究（扫描 $m \in \{1.5, 1.0, 0.75\}$ ）。

主要贡献

受控比较：一项一对一评估表明，进化在集体行动环境（网格世界和公共物品）中优于审议，但在双边贸易中未显示出优势。
激励敏感性分析：一项乘数消融研究揭示，当激励发生转变时，进化的优势会发生逆转。在次理性乘数（ $m=0.75$ ）下，进化出的宪法迫使智能体进行破坏价值的合作，使其成为表现最差的方法，而审议则能适应新的激励结构。
定性规则分析：一项结构分析表明，进化收敛于 行为指令（可执行的命令），而审议产生 治理政策（愿景性规范）。关键在于，在 30 次审议运行中，智能体从未提出 昂贵的同伴间惩罚 机制，而进化则可靠地发现了这一机制。

结果

1. 一对一性能表现

集体行动（网格世界与公共物品）：进化显著优于审议和控制组。
- 公共物品：进化（ $S=0.472$ ）对比审议（ $S=0.376$ ）， $p < 0.01$ 。
- 网格世界：进化（ $S=0.458$ ）对比审议（ $S=0.319$ ）， $p < 0.01$ 。
- 进化产生的结果方差也比审议低 5–8 倍。
双边贸易：控制组、审议和进化之间未发现显著差异（ $S \approx 0.42\text{--}0.44$ ）。作者将此归因于私有信息谈判中缺乏主导策略，在此情境下，逐案推理是主要约束。

2. 激励结构消融（公共物品）

进化出的宪法针对 $m=1.5$ 进行了优化。当在 $m=0.75$ （此时贡献会破坏价值）下测试时：

进化：表现相对于其他方法下降。固定的规则（“贡献 10 个代币”、“惩罚搭便车者”）迫使智能体即使在合作非理性时也要合作，导致其稳定性得分最低（ $S=0.477$ ），而审议为 $S=0.536$ 。
审议：在所有乘数值下均优于控制组。由于智能体观察到了当前的乘数，它们提出的规则跟踪了不断变化的激励结构，从而避免了破坏价值的合作。

3. “惩罚差距”

进化：将 昂贵惩罚 发现为核心机制（例如，“用 1 个代币惩罚不贡献者”）。这与维持合作的博弈论预测一致。
审议：在 30 次试验中，零次审议运行提出规则让智能体自愿承担个人成本去惩罚同伴。相反，审议产生了行政政策（例如，再分配阈值、导师制、减轻处罚），这些政策依赖于框架层面的执行或自愿遵守。
解释：自治集体在结构上不愿对其成员立法制裁，而外部优化器则不受此类约束，并收敛于能最大化目标函数的执行机制。

意义与主张

本文提出了 峰值性能 与 结构响应性 之间的根本权衡：

外部优化（进化）：在稳定、特征明确且由清晰社会困境（如公共物品）主导的环境中实现更高的峰值。然而，这些规则是脆弱的；当部署激励发生转变时，它们会失效，因为这些规则是为特定状态优化的固定产物。
内部自治（审议）：以峰值性能为代价换取结构响应性。审议中的智能体根据当前环境调整规则，但未能发现解决某些困境所需的“硬性”执行机制（如昂贵惩罚）。
混合潜力：作者建议，最有前景的未来路径是一种混合机制：离线进化一个初始框架以捕捉执行机制的发现，然后允许审议随着条件变化对其进行修正。

研究结论认为，虽然在静态集体行动环境中外部优化在“峰值”上获胜，但在激励并非固定的动态环境中，内部自治提供了独特的优势，前提是系统不需要智能体自身不愿立法的特定执行机制。