Why do we need social singularity? A mechanism-based critique of gradual scenarios in AI existential-risk discourse

人工智能的大过山车：为什么未来并非一条直线

想象你正在观看一部关于人工智能（AI）未来的电影。长期以来，最受欢迎的剧情通常是两种截然不同的灾难。第一种是“突然崩溃”：一个超级聪明的机器人某天早晨醒来，决定人类已经过时，并在瞬间接管了世界。第二种是“缓慢消退”：我们制造出越来越好的工具，然后在无人察觉的情况下，慢慢地将所有的权力移交给它们，直到我们仅仅成为自己生活中的乘客。这两种故事都假设，一旦我们开始建造这些机器，它们就会一直运行下去，而社会只能坐视不管，无法停止这列火车。

但存在第三种经常被忽视的可能性：即未来的“故事”本身可能会改变未来。这篇由 Petr O. Jedlička 撰写的论文深入探讨了人类社会混乱、混沌且不可预测的世界，并提出了一个简单的问题：当人工智能甚至还没有变得超级聪明之前，人们对它的恐惧、愤怒或兴奋会发生什么？作者认为，我们不能仅仅把技术看作一个数学问题。我们必须观察人。就像过山车不仅仅是沿着轨道行驶一样；它取决于乘客是在尖叫、紧紧抓牢，还是试图跳车。如果乘客在游乐设施上感到恐慌或反抗，那么这场游乐活动可能会在到达顶峰之前就停止、改变方向或发生碰撞。这篇论文指出，最大的危险（或最大的希望）可能并不来自人工智能本身，而是来自我们对“人工智能概念”的反应。

论文的核心思想：“社会奇点”

论文首先批判了一类流行的关于 AI 风险的故事，即所谓的“逐渐丧失权力”（gradual disempowerment）。这些由 Kasirzadeh 和 Kulveit 等思想家撰写的故事，设想了一个 AI 逐渐接管我们的工作、政府和决策的未来。他们描绘了一个“温水煮青蛙”的情景：水温越来越高，但青蛙（我们）在为时已晚之前从未跳出来。作者认为，这些故事忽略了拼图中的一个巨大碎片。他们将社会视为一个被动的电影银幕，AI 投影仪只是在上面投射光影，却忽略了观众可以扔西红柿、关掉投影仪，甚至冲上舞台的事实。

作者将这个缺失的部分称为“技术决定论”（technological determinism）。这是一种认为技术拥有自己的意志并会不顾一切向前迈进的信念。论文指出这是错误的。历史告诉我们，当新发明到来时，人们并不会坐以待毙。他们会争论、组织、破坏机器（还记得卢德分子吗？），并制定新的规则。论文提出，与其说是平滑地滑向一个由机器人统治的世界，我们更有可能看到的是一个充满冲突、争论和突然停顿的、混乱且颠簸的过程。

动力室：社会究竟是如何运作的

为了解释为什么“缓慢消退”的故事不太可能发生，作者引入了一个“社会机制”工具箱。可以将这些视为让社会运转的隐藏齿轮，它们往往以令我们惊讶的方式运作。

1. 叙事的威力（阐释性与表演性）
想象一下，如果有人传言某家银行即将破产。即使这家银行资金充足，如果每个人都相信它破产了并奔向银行提取现金，那么这家银行实际上真的会破产。这种信念创造了现实。论文指出，这在 AI 领域也是如此。如果专家和公众开始讲述“AI 是怪物”的故事，人们就会按照这种方式行动，制定法律并进行抗议，从而可能阻止它。如果他们讲述“AI 是救世主”的故事，他们可能会急于建造它，从而忽略其危险。我们对 AI 的谈论方式改变了 AI 实际的行为。

2. 大战（动员与冲突）
论文指出，当人们感到受到威胁时，他们不会仅仅放弃，而是会反击。就像过去为了保住工作而破坏机器的工人一样，今天我们也可能会看到“AI 抵抗运动”。一方面，你可能会看到“AI 支持者”——那些热爱新技术并渴望更多技术的人；另一方面，你可能会看到“反 AI 激进分子”——那些感到被时代抛弃或感到恐惧的人。这两组人可能会发生冲突，引发一场政治风暴，从而阻止 AI 的平稳推广。论文表明，未来不是一条直线，而是一个不同群体为了决定技术走向而进行战斗的战场。

3. 不同的道路（路径依赖与分歧）
想象一群朋友正尝试前往某个目的地。如果他们都认同同一张地图，他们就会一起行走。但如果他们在不同的国家、遵循不同的规则，他们最终可能会走向完全不同的路径。论文注意到，美国、中国和欧洲拥有非常不同的法律、文化和经济。美国可能会在不受监管的情况下狂奔式发展 AI，而欧洲可能会构建一个缓慢、安全但乏味的 AI 版本，中国则可能构建一个遵循严格政府规则的版本。由于这些差异，AI 不会在全球范围内均匀传播。它将是一场“多速”竞赛，创造出一个混乱的世界：有些地方充满了先进的 AI，而另一些地方才刚刚起步。

4. 心灵与灵魂（社会心理机制）
这是最个人化的部分。论文探讨了我们可能会如何开始爱或恨我们的 AI 伙伴。有些人可能会与 AI 伴侣建立深厚的情感纽带，像对待家人一样对待它们（有点像孩子与机器人玩具建立联系）。这可能会让他们想要保护 AI。但其他人可能会觉得自己的自由被窃取了。如果一个 AI 试图告诉他们该做什么，他们可能会感到愤怒并反抗（这是一种被称为“心理抗拒”的感觉）。这种情感上的拉锯战可能会将社会分裂成两个阵营：一派想要拥抱机器人，另一派想要砸碎它们。

巨大的转折：“社会奇点”

这是论文中最令人兴奋的想法。通常，人们讨论的是“技术奇点”——即 AI 变得如此聪明以至于改变了一切的时刻。但作者认为，我们可能会先遇到另一种奇点：社会奇点。

可以这样理解：“技术奇点”是火箭真正到达太空的时刻。“社会奇点”是地面上的所有人开始尖叫着说“等等！我们还没准备好！”并试图切断燃料线的时刻。论文认为，对 AI 爆发的预期本身就如此强大，以至于在 AI 变得超级聪明之前，它就会引发大规模的社会变革。

我们可能会看到一个“社会奇点”，即社会对 AI 概念的反应如此强烈，以至于改变了技术的路径。也许我们会禁止它，也许我们会放慢它的速度，或者也许我们会为此展开一场战争。论文指出，我们未来最戏剧性的事件可能不是 AI 接管世界，而是人类为了是否让它接管而展开激烈的斗争。

这对未来意味着什么

论文并不是说 AI 不危险，也不是说我们一定会阻止它。相反，它指出未来比“缓慢消退”的故事要复杂得多。它不是一条我们仅仅失去控制的直线，而是一棵拥有许多可能路径的分支树。

• 这不是板上钉钉的事： 未来并非刻在石头上的。论文表明，由于人类的冲突、不同国家的不同法律以及我们的情感反应，AI 的路径将充满转折、弯道和突然的停顿。
• 它是混乱的： 我们可能会看到这样一个世界：有些地方拥有先进的 AI，而另一些地方则没有；或者 AI 在某些城市被禁止，但在另一些城市却是自由的。
• 取决于我们： 最重要的因素不仅是程序员编写的代码，更是生活在技术中的人们所进行的争论、抗议、法律制定以及感受。

简而言之，这篇论文告诉我们，不要再把未来想象成一部机器人自主赢得或输掉比赛的电影。相反，我们应该把它想象成一场巨大的、混乱的拔河比赛，绳索就是 AI 的未来，而我们都在用力拉扯，试图决定它的走向。“社会奇点”是指游戏变得如此激烈，以至于整个世界发生了改变——不是因为机器人变得聪明了，而是因为我们终于决定反击了。