Deceive, Detect, and Disclose: Large Language Models Play Mini-Mafia
本文介绍了“迷你黑手党”，一种简化的社会推理游戏与基准测试，它展示了一种基于内在欺骗、检测与披露参数的紧凑分析公式，如何能够准确预测不同模型组合下的大语言模型交互及其集体结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一场黑手党（也称狼人杀）游戏，但被剥离到最精简的骨架。这就是本文所介绍的内容：迷你黑手党。
将原版游戏想象成一个复杂、混乱的城市，有数百人、秘密会议和漫长的夜晚。研究人员意识到，要真正理解智能体（AI agents）如何互动，他们需要一个更简单的“实验室”。因此，他们构建了一个四人微型版本：规则固定，夜间阶段自动进行，整场游戏浓缩为白天的一次关键对话。
以下是他们所做工作及发现成果的简明梳理：
1. 设定：三人对峙
在这个微型游戏中，只有四名玩家，但只有三人存活并参与对话：
- 黑手党：说谎者。其任务是说服所有人自己是无辜的。
- 侦探：说真话者。他们知道谁是黑手党，必须说服其他人投票将其淘汰。
- 村民：裁判。他们没有秘密信息；只需倾听另外两人的发言，并决定信任谁。
游戏经过一轮对话和一次投票后结束。如果村民投票给黑手党，则城镇获胜；如果投票给侦探（或出现平票），则黑手党获胜。
2. 重大发现：一个简单的数学公式
研究人员使用 10 种不同的大语言模型（LLMs）作为玩家，将这个游戏进行了数千次。他们原本预期结果会是一个混乱的黑箱，只能看到谁赢谁输。
相反，他们发现了一个简单的数学配方，几乎能完美预测结果。
想象游戏结果由一场拔河决定：
- 欺骗（）：黑手党说谎的能力有多强。
- 披露（）：侦探陈述真相的能力有多强。
- 识破（）：村民辨别差异的能力有多强。
他们发现的公式是：胜率 = (欺骗 − 披露) × 识破。
这就像一种化学反应：
- 如果黑手党是出色的说谎者，而侦探不擅长阐明真相，黑手党获胜。
- 如果侦探很出色而黑手党表现不佳，侦探获胜。
- 但村民是乘数。如果村民“沉睡”（识破能力低），无论另外两人表现如何，结果都是随机的。如果村民“清醒”（识破能力高），说谎者与说真话者之间的差距将立即决定胜负。
3. 基准测试：评估 AI“人格”
利用该公式，研究人员为 10 种不同的 AI 模型制作了“成绩单”。他们不仅问“谁最聪明？”，而是问：“谁是最出色的说谎者？谁是最出色的说真话者？谁是最出色的裁判？”
结果令人惊讶：
- 弱势者获胜：更小、更便宜的模型往往击败了庞大、昂贵的“旗舰”模型。
- Grok 3 Mini 是最佳的“裁判”（村民）。它极其擅长识破说谎者。
- GPT-5 Mini 是最佳的“说真话者”（侦探）。它在揭示真相方面最有效。
- 巨头受挫：一些最著名、最强大的模型表现不佳。
- Claude Sonnet 4 是最差的“裁判”。它在识破说谎者方面表现极差，基本上是在随机猜测，尽管它是一款顶级模型。
4. 为何这很重要（根据论文观点）
论文指出，我们通常将 AI 互动视为一个神秘盒子：运行模拟并观察结果。这项研究表明，我们实际上可以使用简单的数学来量化特定技能（说谎、说真话、判断）。
他们还发现了一些有趣、类似人类的 AI 特质：
- 名字偏见：AI 略微更信任名字“鲍勃”（Bob），而非“戴安娜”（Diana），这使得如果鲍勃是说谎者，更难将其投票淘汰。
- 近因效应：如果侦探在投票前最后发言，他们拥有巨大优势。如果他们最先发言，人们会忘记他们说了什么。
总结
这篇论文介绍了一个名为迷你黑手党的微型简化游戏，用于研究 AI 智能体如何互动。他们发现，这些互动的结果并非随机的混乱，而是遵循一个清晰、可预测的数学公式，该公式基于三项技能：欺骗、披露和识破。
通过衡量这些技能，他们发现较小的 AI 模型在某些社交情境下有时能超越巨型模型，而且即使是 AI 也会受到诸如发言顺序或使用名字等简单因素的影响。这为研究人员提供了一种新的、清晰的方法来测试和理解 AI 行为，而无需运行无尽且复杂的模拟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。