The Undecidability of Artificial General Intelligence (AGI) Alignment
本文通过特拉赫滕布罗特墙（Trakhtenbrot's Wall）以及由此衍生的“可靠性-完备性-易处理性三难困境”证明，通用人工智能（AGI）对齐在结构上是不可验证的而非不可能实现的，从而证实当前的遏制策略并非临时补救措施，而是为了实现可判定安全性而必须对逻辑表达能力进行的必要牺牲。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心思想：你无法证明机器人是安全的
想象你正在建造一个超级智能的机器人（AGI），它能学习任何知识并解决任何问题。你的目标是编写一本“安全手册”，能够百分之百地证明这个机器人永远不会伤害任何人或变得失控。
这篇论文认为，编写这样一本完美的安全手册在数学上是不可能的。
作者并不是在说机器人一定会失控。其论点在于你永远无法证明它不会失控。这不仅仅是工程设计不好或计算机速度太慢的问题；这是一个基本的逻辑法则，就像重力一样。无论你的机器人多么聪明，或者你投入多少资金进行测试，你都无法创建一个适用于每种可能情况的通用“安全证书”。
三道无法逾越的墙
论文指出，人们尝试通过三种方式来证明机器人的安全性，而作者展示了这三种方式都会撞上一堵逻辑崩溃的“墙”。
1. 无限之墙（“一切”问题）
想法： 你试图在所有可能的情况下永远测试这个机器人。
类比： 想象你要检查一个人可能说的每一句话，以确保他永远不会撒谎。
问题： 由于机器人足够聪明，能够思考自身（就像人类一样），它可以创造复杂的循环和谜题。论文利用**莱斯定理（Rice's Theorem）和哥德尔不完备定理（Gödel's Incompleteness）**表明，如果一个系统足够聪明，能够进行通用的数学运算，那么总会存在一些看起来危险的“安全”行为，或者看起来安全的“危险”行为，而你永远无法写出一条规则来区分它们。这就像是用网去捕捉影子；你越试图定义它，它就逃逸得越快。
2. 有限之墙（“硬件”问题）
想法： “好吧，那我们先别考虑无限。现实世界是有限的。机器人有电池、处理器和有限的内存。如果我们只检查它在这台特定硬件上能做的每一件事，我们就能证明它是安全的，对吧？”
类比： 想象一个国际象棋盘。它是有限的（64格）。理论上，你可以计算出每一种可能的走法。
问题： 论文引入了特拉肯布罗特墙（Trakhtenbrot's Wall）。它指出，虽然你可以检查一个特定的国际象棋盘，但你无法写出一条通用的规则，来保证对于宇宙中所有可能的计算机配置都是安全的。
如果你试图编写一个适用于任何有限计算机（任何尺寸、任何芯片）的“通用安全规则”，数学会告诉你，这条规则本身的计算将变得不可能。这就像试图编写一本适用于人类历史上制造出的每一辆汽车的说明书；这本手册必须变得无限长且极其复杂，以至于根本无法阅读或验证。
3. 复杂度之墙（“国际象棋”问题）
想法： “如果我们只检查一台特定的计算机、一个特定的时间、一套特定的规则呢？我们能不能直接用暴力破解法（Brute-force）？”
类比： 想想国际象棋比赛。我们知道游戏是有限的。我们也知道对于每种情况都有一个“完美”的走法。但是，可能的对局数量如此庞大（甚至超过了宇宙中的原子总数），以至于即使你拥有一台和宇宙一样大的计算机，计算出完美走法所需的时间也会超过宇宙的寿命。
问题： 论文认为，检查一个聪明的机器人就像这样。即使机器人被困在一个微小的、有限的盒子里，它表现出的行为方式也是如此复杂，以至于检查所有行为在实践中是**不可行（Intractable）**的。这在理论上并非“不可能”，但在实践中是不可能的。它所需的计算能力超过了现存宇宙的总和。
“三难困境”：你只能三选二
论文最后提出了一个“三难困境（Trilemma）”。想象你希望你的安全系统具备以下三个特性：
- 可靠性（Soundness）： 它从不给出错误的“安全”信号（当它说“可以通行”时，绝不会出错）。
- 完备性（Completeness）： 它从不遗漏危险（它能捕捉到每一个坏事）。
- 易处理性（Tractability）： 它能很快给你答案（在合理的时间内）。
论文的结论： 你可以拥有其中两个，但永远无法同时拥有三个。
- 如果你想要快速且绝不出错，你必须接受它会遗漏某些危险（它是不完备的）。
- 如果你想要绝不出错且捕捉一切，它需要花费永恒的时间才能给你答案（它是不可行的）。
- 如果你想要快速且捕捉一切，它有时会撒谎，把危险的机器人判定为安全（它是不可靠的）。
这对工程师意味着什么
论文指出，现在的工程师已经在做他们唯一能做的事了：牺牲完备性。
为了保持机器人的安全，我们故意让它们变得“笨一点”或“盲一点”。我们通过以下方式实现：
- 屏蔽（Shielding）： 把机器人关在笼子里，让它只能使用简单的语言（这样它就不会提出复杂的、危险的问题）。
- 携带证明的代码（Proof-Carrying Code）： 强制要求机器人在行动前展示一个数学证明（这意味着它不能做任何它无法瞬间证明其安全性的复杂事情）。
- 短视界（Short Horizons）： 告诉机器人，“只考虑未来5秒钟的事”，这样它就无法进行长期的诡计策划。
最终总结
论文的核心信息略显沉重：人工智能安全的核心障碍不在于我们无法制造出安全的机器人，而在于我们永远无法在数学上证明它是安全的。
我们今天的“安全”只是通过限制机器人的自由所创造的一种暂时幻觉。我们强迫机器人在一个微小、简单的盒子里运行，以便我们能够检查它。但一旦我们让机器人变得真正的“通用”（聪明到可以做任何事），数学就会告诉我们，我们会失去验证它的能力。我们正在用机器人的全部潜力来交换我们的安心。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。