Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

技术摘要：“我们注定要陷入人工智能竞赛吗？为何自利可能推动各国走向超级智能暂停”

问题陈述
在围绕人工超级智能（ASI）的讨论中，普遍观点认为，由于战略激励的存在，全球暂停其发展是不可行的。批评者指出，即使相互克制在集体层面是最优的，但各个国家仍拥有“背叛”并继续争夺地缘政治霸权的占优策略。这种“竞相逐底”的动态表明，对落后（即“傻瓜的回报”）的恐惧超过了共同面临的失控灾难风险，使得暂停 moratorium 违背国家的自利。本文挑战了这一假设，质疑暂停是否可能成为地缘政治超级大国理性且基于自利的策略。

方法论
作者采用形式化的博弈论框架，模拟两个地缘政治超级大国（“领先者”与“落后者”）之间的战略互动。该模型将“竞赛”（在标准安全措施下继续发展）或“暂停”（实施暂停以最大化安全性）的决策操作化。

该模型由四个关键变量定义：

1. 能力差距（$\Delta$）：一方在开发 ASI 方面相对于另一方的优势，综合了计算能力和研究进展等因素。
2. 获胜者优势（$W$）：先发优势的价值，范围从 0（合作）到 1（赢家通吃），体现了失败者的地缘政治从属地位。
3. 失控 ASI 的成本（$C$）：因失控而产生的负效用，相对于安全获胜的收益（归一化为 1）进行标准化。关键在于，模型允许 $C > 1$，反映文明崩溃超过任何战略收益的情境。
4. 技术不确定性（$\sigma$）：关于 ASI 开发可能性及时间表的认知不确定性。

政策选择是二元的：暂停（$s=1$，最大安全性）或竞赛（$s=0.85$，基于专家调查代表 15% 的灾难性风险）。分析通过绘制“灾难性成本”（$C$）与“能力差距”（$\Delta$）的关系图来识别纳什均衡，以确定在何种条件下暂停会成为国家的理性最佳反应。

主要贡献

1. 将暂停形式化为自利策略：与以往通常将竞赛视为“背叛”占优的囚徒困境的模型不同，本文证明，在特定的参数条件下，暂停不仅是一种合作理想，更是一种由自利驱动的理性策略。
2. 识别四种战略世界：通过改变灾难成本相对于能力差距和获胜者优势的关系，作者划分了四种截然不同的战略环境：
   • 安全和谐：由于灾难成本极高，竞赛无法带来边际收益，两国均发现暂停是理性的。
   • 先发制人：唯一的稳定结果是竞赛。对对手先发优势的恐惧超过了对灾难的恐惧，特别是在各国实力接近时。
   • 信任：一种协调博弈，双方都偏好相互暂停，但担心若对手竞赛则自己会被利用。
   • 颠覆：一个不对称的世界，领先者理性地选择暂停（因获胜概率高且恐惧灾难），而落后者则通过竞赛来缩小差距。
3. 量化阈值：该模型量化了战略空间从竞赛转向暂停的具体“成本阈值”。它表明，随着失控成本（$C$）相对于获胜者优势（$W$）和不确定性（$\sigma$）的增加，理性策略会转向暂停。

结果
分析揭示，暂停的可行性并非静态，而是取决于变量间的相互作用：

• 灾难性成本的作用：当失控 ASI 的感知成本超过地缘政治霸权的预期收益时，稳定的暂停便成为一种自利的选择。
• 不确定性的影响：适度的技术不确定性（$\sigma$）扩大了暂停的战略空间。当各国对赢得竞赛的可能性不确定时，走捷径的动机减弱，使得暂停更加理性。
• 获胜者优势的影响：获胜者优势（$W$）的降低，使得促使暂停成为理性策略所需的失控成本阈值降低。
• 经验轨迹：本文提出了经验证据，表明全球对 ASI 风险的认知正在上升。引用专家声明（如 2023 年公开信、布莱切利宣言）、民意调查（如路透社/益普索）以及人工智能安全研究所的设立，作者认为失控成本（$C$）的感知正在增加。这一转变表明，在当前地缘政治格局中，使暂停符合国家自利的条件正变得更加可行。

意义与主张
本文主张推翻“暂停本质上违背国家自利”的假设。它认为，“竞赛”并非理性国家行为的必然结果，而是特定参数值（特别是相对于霸权收益而言，较低的灾难感知成本）的偶然结果。

作者谦逊地得出结论：尽管当前的地缘政治现实仍由竞争动态主导，但稳定、理性暂停的战略空间正在扩大。他们提出，随着对控制问题的科学共识增强以及灾难性后果的感知严重性上升，暂停成为自利国家主导策略的条件“比通常假设的更近”。本文并未断言暂停必然发生，而是指出在演变条件下，它是一个可行且理性的选项，挑战了人工智能竞赛不可避免的决定论观点。