Racing to Ruin
本文分析了在灾难性灾难的阴影下,研发竞争如何通过监测透明度与企业对竞争对手理性程度的信任度之间的相互作用,从而为技术进步创造一个受限的均衡前沿。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
高风险游戏:“直到被告知停止为止”
想象一个世界,两家公司正在竞相打造终极超级工具。可以把它想象成两位厨师试图发明最完美、最美味的三明治。他们发明得越快,赚的钱就越多。但这里有个转折:这个配方如此强大,以至于如果他们稍微推得太远,整个厨房可能会爆炸,从而永远毁掉三明治、厨师和餐厅。这就是经济学中的“生存风险”(existential risk)领域。这是一个关于科学的问题:当聪明、理性的人在为奖品而竞争,但竞争本身可能会导致全人类灭亡时,他们会如何表现?
这里的核心概念是“竞赛”。在普通的比赛中,比如百米赛跑,你尽可能跑得快,因为第一名能赢得金牌。但在这种特定类型的比赛中,终点线是一个悬崖。如果你跑得太快,就会掉下去。这篇论文探讨了一个可怕的悖论:即使两名竞争者都认为如果大家都慢下来会更好,但由于害怕被甩在身后,他们可能会被迫不停地奔跑,直到撞上终点。这是一场以光速进行的“胆小鬼游戏”(game of chicken),唯一的生存之道是相信对手会转向,但你无法确定他们是否真的会转向。
论文:《奔向毁灭的竞赛》
这篇名为《奔向毁灭的竞赛》(Racing to Ruin)的论文深入探讨了一个简单但恐怖的模型:两家公司(我们称之为“科技 A”和“科技 B”)正在竞争推进一项危险的技术。作者德鲁·福登伯格(Drew Fudenberg)和安德鲁·科(Andrew Koh)设定了一个游戏场景:每向前迈进一步,公司的利润都会增加,但同时也增加了发生永久性灾难的可能性,这种灾难会抹去所有人的未来收益。
核心问题是:他们在停止之前会走多远?
完美世界:清晰的信号与信任
首先,作者设想了一个“完美”的世界。在这种情况下,科技 A 和科技 B 可以瞬间看到对方的动作。如果科技 A 按下了刹车,科技 B 会立即看到。他们还确信对方是聪明且理性的(他们不是“疯子”,不会仅仅为了好玩而一直跑下去)。
在这个完美的世界上,论文发现两家公司会在一个非常具体、可预测的点停止。这个点既不像单家公司独自行动时(垄断)那么远,也不像一家误以为对手即将退出时的公司那么远。作者证明,在拥有完美视野和完全信任的情况下,两家公司可以协调一致,在悬崖边缘之前停下。他们不会永无止境地竞赛;他们会找到一个安全的“天花板”并停在那里。
迷雾世界:当信号延迟时
现在,让我们加入一些迷雾。如果科技 A 停止了,但科技 B 要过一段时间才知道呢?也许消息传递很慢,或者存在信号延迟。论文称之为“不完全透明性”(imperfect transparency)。
在这里,情况变得混乱了。作者指出,如果消息太慢,两家公司可能会永远竞赛下去。为什么?因为科技 A 会想:“如果我现在停止,科技 B 在很长一段时间内都不会知道。在他们不知道期间,他们会继续奔跑并赚取比我更多的钱,而危险也会随之增加。”因此,科技 A 决定也继续奔跑。这创造了一个陷阱,使两家公司都在向悬崖狂奔,尽管他们都清楚这并非好事。论文证明,如果延迟足够长,就会出现一种平衡,即他们永远不会停止,灾难发生的概率为 100%。
然而,如果消息足够快(即使并不完美),他们仍然可以停下来。但他们可能会稍微超出安全限度。作者计算出,他们超出安全点的距离大致与消息的延迟程度成正比。如果消息非常快,他们几乎不会超出;如果消息很慢,他们会超出更多。
信任问题:如果你的对手是“疯子”怎么办?
最后一个转折涉及“信任”。如果科技 A 不确定科技 B 是否理性呢?如果存在一小部分概率,科技 B 是一个“疯狂类型”,无论如何都不会停止呢?
作者发现,信任是最关键的因素。他们根据科技 A 对科技 B 的信任程度将世界分为三个区域:
- 低信任: 如果科技 A 认为科技 B 是疯子的概率较大,他们就会奔向毁灭。如果另一方可能永远不会停止,为什么要冒险停止呢?灾难变得不可避免。
- 中等信任: 如果信任度恰到好处,则有两种可能的结果。要么他们立即同时停止(安全平衡),要么他们同时永远竞赛下去(危险平衡)。这就像抛硬币一样。
- 高信任: 如果科技 A 几乎确定科技 B 是理性的,他们就会停止。论文显示,随着信任度的增加,他们永远竞赛下去的概率会迅速下降(呈二次方关系下降)。
透明性的双刃剑
论文最令人惊讶的发现之一是,“观察”对手如何影响信任。通常,我们认为看得更多总是好事。但在这种情况下,透明性是一把双刃剑。
- 正面作用: 更快的信息有助于公司进行协调以停止。如果科技 A 停止了,科技 B 会迅速看到并也随之停止。
- 负面作用: 更快的信息也带来了“等待观察”的诱惑。如果科技 A 停止了,科技 B 可能会想:“我再等一秒钟,确认科技 A 真的停止了,这样我可以在停止前榨取最后一点利润。”如果每个人都这样做,他们最终可能会比预期的跑得更久。
作者表明,在某些信任水平下,加快信息传递速度实际上会破坏提前停止的能力。它可能会将公司从安全的“共同停止”平衡推向危险的“永远竞赛”平衡,仅仅是因为等待确认的诱惑变得过于强烈。
总结
论文的结论是,竞争与协调正在相互博弈。
- 竞争推动技术进步,因为每个人都想领先。
- 协调将技术拉回,因为每个人都想避开悬崖。
如果公司能够清晰地观察彼此并信任彼此,他们可以找到一个安全的停止点。但如果信号模糊或他们怀疑对方的理智,他们可能会一直奔跑直到最后,即便他们知道这会毁灭自己。作者并不是说这在现实世界中一定会发生,而是通过数学证明了在特定的(或错误的)条件下,这在理论上是可能发生的。
简而言之,这篇论文表明,要防止技术灾难,我们需要的不仅仅是聪明的公司,还需要一个能让它们即时观察彼此动作,并相信每个人都在遵守规则的系统。否则,这场向着悬崖的竞赛可能是无法阻挡的。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。