Falling Behind Drives Unsafe Development in an Idealised AI Race Experiment
本文结合行为实验与演化模型，旨在证明不安全的AI开发并非主要由个人风险偏好驱动，而是更多地受竞争动态——特别是对落后的恐惧以及对对手的反应性应对——所驱动，从而表明政策制定应优先考虑减轻竞争压力和促进合作，而非仅仅侧重于个人的风险管理。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一场高风险的“红绿灯”游戏，但对手不是一个玩偶，而是和你竞逐建造世界上最强大的机器人的对手。在现实世界中，当公司或国家竞相创造人工智能（AI）时，发生的就是这种情况。他们正处于一场疯狂的竞赛中，力求成为第一个完成的人，因为领先往往意味着赢得最大的奖赏，比如市场主导地位或国家安全。但棘手之处在于：为了追求速度而走捷径可能会带来危险。如果你操之过急，可能会跳过安全检查，这可能导致日后发生灾难性的事故。这造成了一种紧张的拉锯战：你是选择稳扎稳打以规避风险，还是加速前进以规避落后的风险？科学家们称之为“AI竞赛”，他们一直在思考：人们选择这些危险的捷径，是因为天性鲁莽，还是因为竞赛本身的压力迫使他们不得不这样做？
为了查明原因，研究人员埃利亚斯·费尔南德斯·多明戈斯（Elias Fernández Domingos）和韩英（The Anh Han）搭建了一个数字游乐场。他们将陌生人配对，并让他们参与一场模拟的AI竞赛。在这个游戏中，玩家可以在“安全”开发（缓慢但稳定地推进）或“不安全”开发（快速前进但会在得分中增加一个隐藏的“风险计”）之间做出选择。如果一名玩家在风险计过高的情况下赢得了比赛，他们就有可能失去奖品。研究人员在不同的玩家组中改变了风险计可以达到的高度——有些组设有较低上限（10%的灾难概率），有些为中等（60%），有些为高（90%）。他们想看看更高的风险上限是否会让人们变得更谨慎，或者对输给对手的恐惧是否会让他们无论如何都会选择不安全的路径。
结果令人惊讶。研究人员曾猜测，拥有更高风险上限的人会更加谨慎，并且天生喜欢冒险的人会更频繁地选择不安全路径。但数据对这两个观点都说了“不”。无论风险上限是高是低，也无论玩家天生勇敢还是谨慎，都无关紧要。相反，玩家的选择是由竞赛本身的故事驱动的。
把它想象成一款你在追逐对手的电子游戏。如果你处于领先地位，你会感到安全并开始谨慎行事，就像冠军在保护自己的领先优势一样。但如果你落后了，恐慌就会袭来。落后的玩家更有可能选择“不安全”选项，希望通过速度提升来赶上进度。这是一种“害怕落后”的机制。更有趣的是，玩家会像鹰一样盯着对手。如果对方选择了冒险的捷径，那么该玩家在下一轮中显著更有可能模仿对方。这无关乎鲁莽，而是一种反应。如果你的对手正在加速，保持缓慢会让你觉得这是一种失败的策略，所以你也会加速，即便这样做很危险。
研究人员还注意到，玩家做的第一个动作设定了整个游戏的基调。如果有人以冒险的举动开始，他们往往在后期也会持续冒险。为了理解为什么会发生这种情况，团队构建了一个包含四种“AI人格”的计算机模型：一种总是安全的，一种总是不安全的，一种从安全开始并模仿对手，以及一种从不安全开始并模仿对手。该模型显示，在竞争激烈的竞赛中，“模仿者”策略往往会胜出。该模型表明，不安全行为不仅仅是个别“坏苹果”的问题；它是一个连锁反应。一个人冒险，另一个人感到被迫跟随，突然间，所有人都在向悬崖疾驰，并不是因为他们热爱危险，而是因为竞赛的结构让安全感显得像是一种失败的策略。
那么，这对现实世界意味着什么？这表明我们不能仅仅寄希望于AI开发者天生是谨慎的。竞赛本身的压力才是真正的驱动力。如果竞争让“安全意味着失败”的感觉变得真实，人们就会选择速度。为了解决这个问题，论文建议我们需要改变竞赛本身的规则——或许是通过让合作变得更容易、放慢竞争节奏，或者确保没有人会感到被迫为了赶上进度而采取危险的捷径。危险不在于人，而在于他们被迫参与的游戏。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。