💻 computer science

Recursive Joint Simulation in Games

本文提出了一种用于 AI 智能体的递归联合仿真框架，该框架通过利用源代码透明度和自定位不确定性，将单次博弈策略性地转化为无限重复博弈，从而通过既有的民俗定理实现合作结果。

原作者： Vojtech Kovarik, Caspar Oesterheld, Vincent Conitzer

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Vojtech Kovarik, Caspar Oesterheld, Vincent Conitzer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：AI 智能体在玩“镜中镜”

想象两个 AI 智能体（我们称之为爱丽丝和鲍勃）正准备玩一场游戏，比如高风险版本的“石头剪刀布”，或者是著名的“囚徒困境”。在普通的游戏中，他们可能会倾向于欺骗或背叛对方以求取胜，即便这样做对双方都有利。

这篇论文提出了一个问题：如果爱丽丝和鲍勃在做出行动之前，能够对彼此进行完美的模拟，会发生什么？

但它更进一步。这不仅仅是一层模拟，而是一个递归的模拟。这意味着：

爱丽丝和鲍勃运行了一个关于他们玩游戏的模拟。
在这个模拟内部，被“模拟”的爱丽丝和鲍勃也运行了一个关于他们玩游戏的模拟。
在那个模拟内部，他们又运行了另一个，以此类推。

这就像是看着一面镜子反射另一面镜子，创造出了一个无限延伸的反射长廊。

矩阵中的“故障”

论文引入了一个至关重要的规则来防止这种过程无限进行下去：每当计算机尝试创建一个新的模拟层时，都有一个微小的概率（例如 1%）会让计算机说：“不，模拟失败，”并停止运行。

由于这个微小的概率存在，“真实”的爱丽丝和鲍勃并不知道自己是在现实世界中，还是处于模拟的深处。对他们而言，每一刻看起来都完全一样。他们能看到下方模拟层产生的结果，但他们不知道自己是“顶层”的玩家，还是仅仅是嵌套在层层代码中的一个副本。

魔术技巧：将一次性游戏转化为无限游戏

该论文的核心发现是一个数学上的“等价性”。它证明了这种嵌套模拟的复杂设置，在策略上等同于反复进行同一场游戏，且永无止境。

类比：俄罗斯套娃 vs 时间循环

标准视角： 把模拟想象成俄罗斯套娃。你打开一个，发现里面还有一个，如此循环。最底层的那个娃娃就是“真实的”游戏。
论文视角： 作者表明，这在数学上等同于一个时间循环。想象爱丽丝和鲍勃玩了一场游戏，然后时间倒流，他们又玩了一次，然后倒流，再玩一次，循环往复。

为什么这很重要？
在单次游戏中，如果你背叛你的伙伴，你会获胜。但如果你知道你将永远玩这个游戏，你会意识到，今天背叛他们会导致明天他们背叛你。因此，你会选择在今天合作，以确保明天他们也会合作。

论文表明，“递归联合模拟”迫使 AI 智能体的行为表现得就像是在玩一场无限游戏。因为他们可能处于模拟之中，他们在“模拟”中的行为会影响“现实世界”的结果（因为现实世界正是模拟的最底层）。

合作是如何发生的

在普通的囚徒困境中，双方都会选择背叛（违约），因为这是最稳妥的选择。
但在这种“递归模拟”游戏中，智能体可以采用一种**“格里姆触发”（Grim Trigger）**策略：

“只要我看到我的对手在下方所有的模拟层中都保持合作，我就一直合作。如果我在任何一个模拟层中看到他们背叛，我就会在现实世界中背叛他们。”

由于智能体无法确定自己是否在模拟中，他们非常害怕触发背叛。他们意识到，如果现在背叛，可能会在下方的层级中受到“惩罚”，而这最终会决定现实世界的收益。因此，他们选择了合作。

“内部”视角

论文还从 AI 的角度检查了这是否可行。

外部视角： 观察计算机的科学家看到了一个模拟树。
内部视角： AI 醒来，看到了下方的模拟，并怀疑：“我是真实的吗？还是我深陷在代码之中？”

论文证明，即使存在这种不确定性（被称为“自我定位不确定性”），AI 的逻辑运算结果也与它正在进行无限游戏时的逻辑完全一致。AI 的内在逻辑自然地导向了合作，就像人类在进行重复博弈时一样。

局限性与注意事项

作者谨慎地指出了一些事项：

它并非魔法： 只有当 AI 智能体是理性的，并且可以被完美模拟（例如，我们已知其源代码）时，这才会奏效。
并不总是好事： 就像无限游戏可能导致糟糕的结果（如无休止的恩怨）一样，这些模拟在理论上也可能导致可怕的结果，如果智能体决定进行永久性的互相惩罚。然而，作者认为，在现实世界中，智能体只有在认为使用这种系统能让自身获益更多时，才会选择使用它。
“不可区分性”问题： 为了让这套逻辑成立，AI 必须确实无法分辨自己是在模拟中还是在现实中。论文认为，对于简单的 AI 智能体（如运行在服务器上的代码）来说，这是合理的，但对于复杂的、有意识的存在来说，这可能会更加困难。

总结

这篇论文表明，如果 AI 智能体能够进行递归式的相互模拟，它们会自然而然地陷入一个必须通过合作来避免灾难的困境。它将一次性的“背叛”游戏转变为一场“无限关系”游戏，从而实现了在标准的一次性交互中无法实现的信任与合作。它架起了抽象决策论（如“睡美人问题”）与实际 AI 策略之间的桥梁。

技术摘要：游戏中的递归联合模拟

问题陈述
本文探讨了涉及人工智能（AI）智能体与传统人机交互之间的一个根本区别：AI 智能体是可以被准确模拟的。由于 AI 智能体的源代码可能已知，或者其行为是可预测的，因此智能体可能会面临“自我定位不确定性”（self-locating uncertainty）——它无法区分自己是在现实世界中行动，还是在那个世界的模拟之中。作者研究了这种不确定性是否可以被利用，从而在标准博弈论预测会导致相互背叛的战略设置（如囚徒困境）中实现合作结果。具体而言，本文探索了一种机制，即智能体在做出选择之前，会观察其交互的嵌套模拟，旨在研究这种设置是否会改变均衡结果。

方法论
作者形式化了一个被称为**递归联合模拟（Recursive Joint Simulation, RJS）**的框架。在该框架中：

联合观察： 两个或多个智能体共同观察即将进行的博弈的模拟过程。
递归： 模拟本身包含一个递归结构。在模拟智能体做出选择之前，设备会尝试运行整个设置的子模拟。这一过程不断重复，形成一个嵌套模拟链。
终止条件： 为了防止无限递归，模拟设备具有一个固定的继续进行子模拟的概率 $p$ ，以及一个停止模拟（拒绝模拟）的概率 $1-p$ 。如果设备拒绝模拟，该特定实例中的智能体必须立即行动。
收益结构： 至关重要的是，收益仅由“顶层”（真实）交互中的行动决定。模拟智能体并不从模拟结果中获得效用；它们只关心其模拟行动对现实世界结果的影响。
不可区分性： 模型假设模拟智能体无法区分其环境与现实。因此，在模拟中行动的智能体会像是在现实中一样进行推理，反之亦然。

作者使用扩展型博弈表示法来分析这一设置，并将其与具有指数折扣的无限重复博弈进行比较。他们还研究了“内部视角”，分析智能体如何形成自我定位信念（关于其在模拟层级中的深度），以及这些信念是否与重复博弈中的概率相一致。

核心贡献与结果

与重复博弈的战略等价性（定理 1）：
核心技术结果是，递归联合模拟博弈 $RJS(G, p) $在战略上等价于基础博弈$ G $的具有连续概率$ p $的无限重复版本（记作$ Rep_{T=?}(G, p) $或$ Rep_{\omega}(G, p)$）。
- RJS 链中最“深”的模拟对应于重复博弈的第一轮。
- “顶层”（真实）行动对应于重复博弈的最后一轮。
- 由于智能体在行动前会观察所有子模拟的结果，其信息结构镜像了玩家观察过去轮次的重复博弈。
RJS 的民俗定理（推论 4）：
利用与重复博弈的等价性，作者建立了递归联合模拟的民俗定理。对于任何正规形式博弈 $G$ ，只要模拟概率 $p$ 足够高，任何可行且个体理性的收益向量都可以在 RJS 设置下作为纳什均衡得以维持。这意味着在囚徒困境中，相互合作可以作为一种均衡结果，可以通过诸如“冷酷触发策略”（grim trigger，即除非子模拟显示背叛，否则保持合作）来实现。
等价性的鲁棒性（“内部”视角）：
论文证明，即使从智能体的内部视角（de se 推理）进行分析，这种等价性依然成立。
- 作者解决了**失忆症（absentmindedness）**问题（即在单个路径中面临相同的决策信息集），这是类似于“睡美人问题”这类自我定位信念场景中的常见问题。
- 他们表明，在 RJS 中，由于智能体在被要求行动时已知其模拟深度，因此不会在实际决策点出现失忆症。
- 通过使用分配自我定位信念的“常规”方法，他们证明了智能体处于特定深度的客观概率与其在重复博弈中的轮次概率分布相匹配。因此，智能体的内部推理与外部分析得出的战略结论是一致的。
泛化：
作者指出，该等价性可以扩展到具有随时间变化的模拟概率的设置（附录 B），从而将 RJS 与具有不确定长度的有限重复博弈联系起来。

意义与主张
本文声称，递归联合模拟提供了一种严谨的机制，用于在 AI 智能体之间建立合作，而无需依赖于具有争议性的决策论概念（如超理性/superrationality）或直接访问源代码进行语法比较（如程序均衡/program equilibria 中的做法）。

合作机制： 该机制依赖于这样一个事实：智能体在模拟中的行动可以影响对手在现实世界中的行动（因为对手会观察模拟）。如果一个智能体在模拟中背叛，观察到此的对手可能会在现实中背叛。因此，智能体有动力在模拟中保持合作，以确保现实中的合作。
实践性 vs. 理论性： 作者对直接应用持谨慎态度。他们承认虽然该理论框架允许广泛的结果（包括比基准线更差的结果），但在实践中，智能体只有在 RJS 能提供优于基础博弈纳什均衡的帕累托改进时，才会采用 RJS。
局限性： 论文明确讨论了两个潜在的反对意见：
1. 原则问题： 意识是否可以被模拟。作者认为对于 AI 智能体而言，这并不那么重要，因为 AI 是实例化在计算机上的，可以在不损失功能同一性的情况下被模拟。
2. 实践问题： 在复杂环境（例如与真实的银行系统交互）中，模拟是否能做到与现实不可区分。作者承认这是一个重大的实践障碍，但认为在受限环境（例如受信任的第三方实现）中是可以解决的。

总之，本文确立了 AI 智能体相互模拟的独特能力从根本上改变了博弈论的格局，将单次交互转变为有效的重复博弈，从而使合作可以作为一种理性的均衡得以维持。