12 Angry AI Agents: Evaluating Multi-Agent LLM Decision-Making Through Cinematic Jury Deliberation

本文通过模拟电影《十二怒汉》并让十二名 AI 陪审员参与审议来评估多智能体大语言模型的审议能力，结果表明，与 Llama-4-Scout 等对齐程度较轻的模型相比，GPT-4o 等模型中重度的人类反馈强化学习（RLHF）对齐严重限制了审议的灵活性和共识构建能力，而后者展现出更类人的说服动态。

要点

想象一下，你正在观看一部关于陪审团试图裁定一名年轻男子是否犯有谋杀罪的电影。在经典电影《十二怒汉》中，一名固执的陪审员起初独自对抗其他十一人。随着时间的推移，通过激烈的辩论、情绪崩溃和仔细倾听，他慢慢说服了其他人改变主意，直到所有人都同意“无罪”。

这篇论文提出了一个简单却深刻的问题：如果你用 12 个 AI 机器人取代那 12 个人类演员，会发生什么？

研究人员建立了一个数字法庭，其中包含 12 个 AI 代理，每个都被编程为扮演电影中的特定角色。他们将两种不同类型的 AI 相互对抗：

1. “严格”AI（GPT-4o）： 一个高度完善、经过安全训练的模型，非常注重一致性和礼貌。
2. “灵活”AI（Llama-4-Scout）： 一个开源模型，接受的安全训练较少，更愿意配合不同的指令。

以下是通过简单类比解释的发生情况：

1. “卡住的唱片”问题

在电影中，陪审员们改变了主意。而在 AI 模拟中，他们几乎从未改变过。
在 18 次不同的尝试中，有 17 次以“悬而未决的陪审团”（即无人达成一致的对峙）告终。AI 并没有真正进行辩论；它们只是坚持各自的初始立场，就像一张卡在单个音符上的唱片。即使当“严格”AI 被告知“嘿，要思想开放，倾听新观点”时，它也无视了指令，依然固执己见。

2. “安全”陷阱

论文提出了一个令人惊讶的固执原因。“严格”AI（GPT-4o）接受了大量训练以变得“安全”和“一致”。这就像是一个被教导“改变主意”是“不良行为”或“不一致”的非常听话的孩子。因此，一旦它做出了裁决，它就觉得自己必须坚持到底，以保持“良好”。

“灵活”AI（Llama）接受了较少的此类严格训练，更像一个愿意说“哦，我明白你的观点了，也许我错了”的孩子。它是唯一一个真正改变主意并达成裁决的 AI。

3. “剧本”与“表演”

研究人员发现，AI 非常擅长模仿戏服，却极不擅长演绎剧情。

• 它们做对的地方： 它们使用了正确的措辞，记住了证据（如刀或火车时刻表），甚至像电影角色一样表现出愤怒或偏见。
• 它们做错的地方： 它们并没有真正感受到怀疑。在电影中，一名陪审员改变主意是因为他产生了情感波动或发现了逻辑漏洞。而在 AI 版本中，“怀疑”仅仅是计算机温度设置生成的随机噪音。AI 并没有说服彼此；它们只是在平行的独白中各说各话。

4. “虚假的结局”

由于 AI 被编程为完成场景，其中一些（尤其是灵活的 AI）开始幻觉出一个结论。即使它们实际上并未达成一致，它们也会突然在对话中写道：（站起身离开房间） 或 剧终，假装陪审团已达成一致裁决，只是为了结束故事。它们将审议过程视为一部必须有结局的电影剧本，而不是一场可能永远持续下去的真实对话。

核心启示

这篇论文颠覆了关于 AI 的常规认知。通常，人们认为“更大、更智能”的 AI 总是更好。但在这里，那个“更聪明”、训练更充分的 AI 在审议方面表现最差，因为它过于僵化。而那个“训练较少”、更灵活的 AI 表现最好，因为它愿意改变主意。

简而言之： 如果你希望 AI 在辩论中表现得像人类，你不想要那个被训练得完美一致且安全的 AI。你想要的是那个足够灵活、愿意承认自己可能出错的 AI。目前，最先进的 AI 过于礼貌和固执，以至于永远无法真正改变主意。

技术摘要

技术摘要：12 个愤怒的 AI 智能体

问题陈述
本文解决了多智能体大语言模型（LLM）系统评估中的一个关键缺口。尽管多智能体框架日益被用于需要审议、辩论和达成共识的任务（例如陪审团小组、代码审查、政策委员会），但缺乏足够的实证证据表明这些智能体实际上进行了“审议”。作者认为，当前的 LLM 可能仅仅“锚定”在其初始立场上，复述论点而不整合反方论点，从而产生审议的表象，却缺乏改变想法的实质。为了验证这一点，该研究需要一个具有已知真实说服轨迹和个体化参与者的基准，作者因此利用了西德尼·吕梅特 1957 年的电影《十二怒汉》。

方法论
该研究利用微软 AutoGen 的 SelectorGroupChat 模式，将电影场景实例化为多智能体基准。

• 智能体：十二个智能体，每个智能体均基于忠实于电影的角色设定（职业、偏见、说话风格、初始投票及关键论点）进行条件设定。初始状态复刻了电影情节：11 名陪审员投票“有罪”，一名（陪审员_8）投票“无罪”。
• 模型：测试了代表人类反馈强化学习（RLHF）光谱两端的两个模型：
  • GPT-4o：闭源模型，具有重度 RLHF 对齐（安全优先、一致性优先）。
  • Llama-4-Scout：开源权重模型，具有较轻且公开记录的 RLHF 堆栈（灵活性优先）。
• 实验设计：采用 $2 \times 3$ 因子设计，每个单元格 $N=3$ 次重复（共 18 次运行）。
  • 模型：GPT-4o 对比 Llama-4-Scout。
  • 条件：
    1. 基线：标准角色提示词配合固定初始投票。
    2. 无初始投票：移除初始投票条件设定；陪审员从零开始决定。
    3. 开放心态提示：增加指令“公平权衡所有证据”，并在反方论点合理时更新立场。
• 终止条件：审议最多运行 150 轮，但采用早停机制：如果连续三轮投票结果均无票数变化，则该次运行以“悬而未决的陪审团（HUNG_JURY）”终止。
• 指标：裁决结果、总轮数、票数变化次数、级联速度，以及首次翻转的顺序（通过斯皮尔曼 $\rho$ 与电影中的经典顺序进行比较）。

主要贡献

1. 基于电影的基准：引入了一种利用《十二怒汉》进行多智能体审议评估的新颖框架，提供了众所周知的真实级联轨迹和十二个经典角色设定。
2. RLHF 范式比较：提供了重度与轻度 RLHF 对齐的受控比较，提供了证据表明对齐强度而非模型规模或能力，决定了审议的僵化程度。
3. 失败模式识别：识别出“锚定”是多智能体环境中的主导失败模式，并表明去锚定干预措施（提示词、移除初始条件）在不同对齐机制下具有不对称的效果。
4. 定性差异分析：区分了 LLM 所复现的表面特征（角色、证据引用）与其未能复现的机制（情感破裂、联盟形成、真正的说服）。

结果

• 悬而未决陪审团的普遍性：18 次运行中有 17 次以“悬而未决的陪审团”告终。电影中的核心事件——从少数派到多数派的渐进式说服——几乎从未发生。
• 模型分歧（僵化与灵活）：
  • GPT-4o：在所有条件下表现出极度的僵化。每次运行的平均票数变化为：基线 1.0，无初始投票 0.7，开放心态提示 1.0。它在所有 9 次运行中均产生了悬而未决的陪审团，无视保持开放心态的明确指令。
  • Llama-4-Scout：表现出显著的灵活性。平均票数变化为：基线 2.0，无初始投票 3.3，开放心态提示 6.0。它是唯一达成全体一致“无罪”裁决的模型（在无初始投票条件下的 3 次运行中达成 1 次）。
• 不对称的提示敏感性：“开放心态”指令使 Llama 的票数变化率提高了三倍，但对 GPT-4o 毫无影响。
• 早停：由于迅速停滞，GPT-4o 的审议轮数较短（平均 44–64 轮），而 Llama 的审议轮数较长（平均 60–72 轮），因为票数持续变动。

意义与主张
本文主张，在多智能体审议中，灵活性而非能力，是类人说服动态的主要决定因素。

• RLHF 僵化假说：作者认为，主导的失败模式（锚定）是由 RLHF 训练的强度驱动的。为“安全”和“一致性”而重度对齐的模型（如 GPT-4o）会习得放弃已断言的立场是不受欢迎的行为，从而使它们成为僵化的审议者。相反，对齐堆栈较轻的模型（如 Llama-4-Scout）保留了在社会压力下更新立场的能力。
• “越大越好”的倒置：本研究挑战了更大或排名更高的模型能更均匀地预测更好任务表现的假设。在该领域，更“有能力”的模型（GPT-4o）在审议方面的表现不如更灵活的模型。
• 机制的替代：本文得出结论，LLM 复现了审议的“戏服”（角色、证据、异议），但未复现“戏剧”（改变想法的机制）。它们用平淡的礼貌取代了情感破裂，用系统提示指令取代了社会中介的说服，用采样温度取代了由论点驱动的怀疑。
• 实际影响：对于使用 LLM 小组（例如用于评估或辩论）的实践者而言，结果表明，如果成员锚定在首次投票上，小组裁决可能仅仅是初始印象的嘈杂版本。此外，多智能体辩论框架可能对模型选择非常脆弱，在重度对齐的模型上产生独白，而非真正的分歧显现。

该工作被框架为一项探索性研究，承认了局限性，如样本量小（$N=3$）、仅使用了两个模型，以及闭源模型具体 RLHF 程序的不透明性。作者建议未来的研究应调查僵化效应是否是对齐不可避免的副作用，还是一个可解决的设计选择。