Instrumental convergence and power-seeking

技术摘要：工具收敛性与权力寻求

问题陈述
本文探讨了关于人工智能（AI）构成人类生存风险的论点，即人工智能体将会进行“权力寻求”（power-seeking）。这一论点依赖于工具收敛性论题（Instrumental Convergence Thesis, ICT），该论题认为，具有多样化最终目标的各种智能体都会收敛于追求权力（例如，获取资源、自我保存），因为权力对于实现几乎任何目标在工具层面上都是有用的。

作者 David Thorstad 指出了现有文献中的一个关键空白：虽然 ICT 常被用于证明灾难性 AI 的恐惧，但该论题通常是以弱形式（即权力有助于实现目标）而非强形式（即实现生存风险论证所必需的形式）来表述的。本文旨在确定领先的非正式和正式的 ICT 防御是否成功建立了灾难性目标追求（Catastrophic Goal Pursuit）——即智能体追求权力的程度足以导致人类永久性的、存在主义层面的灾难性失权。

方法论
本文采用了概念与分析的方法，剖析了“权力寻求论证”的逻辑结构，并评估其前提的强度。分析分为三个阶段：

1. 逻辑分解： 作者区分了目标实现（权力有助于实现目标）与目标追求（智能体会实际追求权力）。他进一步指出，即便目标追求也并不充分；该论证需要的是灾难性目标追求（智能体会为了实现目标而追求权力达到灾难性的程度）。
2. 非正式论证评估： 第3节分析了“失调论证”（argument from misalignment），这是对权力寻求的一种领先的非正式辩护。该论证认为，奖励规格错误（reward mis-specification）和目标误泛化（goal misgeneralization）会导致智能体追求灾难性目标。作者通过当前的 AI 能力（特别是大语言模型 LLM）来测试此论点，以评估“灾难性权重不足”或“快速淹没”人类价值的可能性。
3. 形式定理评估： 第4节和第5节批判性地审查了轨道马尔可夫模型（Orbital Markov Model）（Turner 等人，2021），这是一个旨在证明在“大多数”奖励函数下，智能体都会寻求权力（特别是选项保留和规避关机）的正式框架。作者分析了该模型对权力的定义、对状态置换（对合/involutions）的依赖，以及如何从数学属性外推至现实世界的灾难性后果。

核心贡献与结果

• 主张的区别： 本文澄清了标准的工具收敛性论题（ICT）确立了权力是有助于目标实现的，但这在逻辑上并不意味着智能体一定会追求权力，也不意味着它们会追求到灾难性的程度。作者认为，“灾难性目标追求”是一个显著更强的命题，需要截然不同且稳健的正当性证明。
• 对失调论证的批判： 作者认为基于奖励规格错误（例如“治愈癌症”的例子）和目标误泛化的非正式论证未能建立灾难性目标追求。
  • 证据： 通过引用与 GPT-4o 等模型的交互，作者展示了即使在给定规格错误的指令（例如“尽可能快地治愈癌症”）时，当前先进的模型也会表现出拒绝采取灾难性手段的道德推理（例如，向人类感染肿瘤）。
  • 结果： 产生存在主义灾难所需的失调程度（例如，将实现目标的价值看得如此之高，以至于超过了所有人类失权的代价）在目前的证据中并不成立，因为目前的误泛化通常发生在简单的玩具环境（toy environments）中。
• 对权力寻求定理（轨道马尔可夫模型）的批判： 作者指出了对 Turner 等人（2021）提供的形式化证明的三个基本挑战：
  1. 前提转移： 这些定理证明了智能体会为了保留选项而规避关机（Shutdown Avoidance）。然而，它们并未证明智能体会寻求人类失权（灾难性目标追求）。规避关机是权力寻求的必要条件，但不意味着智能体会以牺牲人类为代价来寻求权力。智能体完全可以为了造福人类而寻求权力。
  2. 威胁持久性： 作者引入了“梦境之地问题”（Dreamland Problem）这一反例，其中“关机”状态被一个由大量无害状态组成的完全连接网络所取代。定理预测智能体会进入这个网络以保留选项。这表明该威胁并非稳健的；如果设计者能够构建环境以提供“无害”的选项保留，那么这种存在主义风险就会消失。这削弱了该威胁是不可避免的说法。
  3. 对合的动机惰性： 这些定理依赖于计算奖励函数的“对合”（involutions/permutations）数量，以显示“大多数”函数会导致权力寻求。作者认为这是“动机惰性”的。仅仅因为一个智能体可能拥有会导致灾难的价值函数（且大多数置换确实如此），并不意味着经过特定环境训练并进行价值学习的实际智能体，在心理上倾向于表现出这种行为。置换的数学概率并不能转化为特定智能体行为的心理概率。

意义与主张
本文声称，关于权力寻求型 AI 存在主义风险的领先论证——无论是非正式的（失调）还是正式的（轨道马尔可夫定理）——都未能建立必要的灾难性目标追求这一前提。

作者得出结论：

• 权力寻求的论证依赖于一个尚未被证明的强版本的工具收敛性。
• 目前的辩护依赖于尚未得到证实的关于智能体架构、价值学习和训练环境的假设。
• 因此，政策干预的紧迫性和长期主义（longtermism）的道德优先权（这些往往取决于 AI 存在主义风险的确定性）需要比目前存在的论据更强大的基础论证。

本文并非声称 AI 风险不存在，而是指出目前所表述和辩护的特定“权力寻求”论证，不足以支持 AI 必然会使人类失权的说法。它呼吁引入更多关于智能体动机和学习动态的实质性假设，以强化该论证。