LLMs Don't Pay for the Jump

伟大的飞跃：为什么大脑（或许也包括机器人）需要感受“出错”的痛苦

想象你正在尝试解开一个巨大的拼图。你有一盒碎片，想要拼凑出完整的图像。大多数时候，你可以通过观察现有的碎片并寻找规律来解决问题（这就是归纳法），或者利用你已知的规则并将其应用于新情境（这就是演绎法）。但有时，你手头的拼图碎片根本无法拼合在一起，而你已知的规则所导出的图像又毫无意义——比如天空在燃烧，或者宇宙重得无限大。为了解决这个问题，你必须做一件疯狂的事：你必须发明一条原本不在盒子里、也不在你旧规则手册里的全新规则。这被称为溯因推理（Abduction）。这是那种“尤里卡！”（我发现了！）的时刻，科学家会说：“等等，整个游戏规则都错了；让我们改变规则吧。”

长期以来，人们一直在思考巨大的计算机大脑（称为大语言模型，或 LLM）是否也能拥有这些“尤里卡！”时刻。有些人认为，计算机只需要像人类一样去“感受”世界——触摸、观察和移动。但这篇新论文提出了一个不同且更深层的问题：关键在于感受世界，还是在于感受出错的代价？作者们认为，要实现真正的“尤里卡！”时刻，系统必须在物理上感受到持有错误想法所带来的惩罚。如果出错没有“痛苦”或成本，系统无论多么聪明，都会永远重复同样的错误猜测。

---

论文的核心思想：“计算机无法完成的跳跃”

这篇题为**《LLM 不为跳跃买单》（LLMs Don't Pay for the Jump）**的论文指出，当前的人工智能模型缺少了实现真正科学发现的关键要素。它们擅长遵循规则和识别模式，但无法在旧规则失效时，做出大胆的、溯因式的“跳跃”去建立新理论。

为了理解其中的原因，作者回顾了 1900 年发生的一段关于物理学家马克斯·普朗克（Max Planck）的著名故事。当时，科学家们试图理解热物体（如发光的炉灶或太阳）是如何发射光线的。基于经典物理定律的数学模型在当时预测了一个可怕的结果：热物体应该发射无限大的能量。这被称为“紫外灾难”。这是一个数学上的灾难。如果旧规则是正确的，那么宇宙将因无限的能量而燃烧殆尽。

普朗克知道旧规则已经崩溃了。他不能仅仅对规则进行微调；他必须发明一个全新的概念：能量是以微小的、离散的“量子”形式存在的，而不是连续流动的。这是一个巨大的思维“跳跃”。论文提出了疑问：普朗克是如何完成这次跳跃的，为什么今天的计算机做不到？

论文排除了什么（“并非如此”清单）

在解释什么才是有效的之前，作者非常明确地说明了哪些途径是行不通的：

• 不仅仅是关于“感受”世界： 一些专家认为计算机无法完成这些跳跃是因为它们没有身体。他们认为爱因斯坦需要想象在电梯中坠落才能理解引力。作者说不对。普朗克不需要身体或坠落的电梯；他只需要看到数学逻辑崩溃了。因此，给计算机一个机器人身体并不是万能的解决方案。
• 不仅仅是关于变得更聪明或更大： 你可能认为如果我们只是把计算机做得更大、给它更多数据，它最终就会明白。论文说不对。即使是巨大的模型，也会因为其构建方式而非规模问题，而在这种特定类型的思维上失败。
• 不仅仅是关于寻找模式： 计算机在归纳法（寻找数据中的模式）方面表现卓越。但普朗克面临的“灾难”并不是数据中的某种模式；而是一个没有任何数据能够支持的预测。归纳法无法修复破碎的规则手册；它只能找到更好地使用那套破碎规则的方法。

真正的核心问题：出错的“代价”

作者提出了一个名为**热力学耦合（Thermodynamic Coupling）**的新概念。这听起来很高级，但其实很简单。

想象你在玩一个需要猜测下一步动作的游戏。

• 在“解耦”系统中（像今天的 AI）： 每当你做一个猜测，消耗的能量都是一样的，无论你是对是错。如果你猜“天空是绿色的”而实际上是蓝色的，计算机不会感受到任何额外的痛苦或成本。它只是继续下一个猜测。因为出错并不会带来痛苦，所以计算机没有理由停止错误的猜测。它可以无止境地重复同一个错误，而没有任何内在压力促使它改变主意。
• 在“耦合”系统中（像人类大脑或未来的 AI）： 出错是很昂贵的。如果你猜“天空是绿色的”，你的大脑可能会感到压力激增、消耗更多能量，或者触发一个“等等，这感觉不对劲”的警报。这种“成本”迫使你停下来重新思考。你会在物理层面上被驱动去修正错误，因为持有错误的想法代价太高了。

论文认为，普朗克之所以能完成跳跃，是因为那个错误太贵了，无法被忽视。 旧理论预测了无限能量，这在物理上是不可能的。维持那个旧理论的“成本”如此之高（它破坏了物理学本身），以至于他必须发明一条新规则。

证据显示了什么

作者通过观察当前 AI 模型的行为测试了这个想法。他们发现了一些奇怪的现象：

• 当 AI 模型解决简单问题时，它很有信心。
• 当它尝试解决一个超级困难、甚至是不可能完成的问题（即需要“跳跃”的问题）时，它会给出错误的答案。
• 但关键在于： 即使 AI 完全错了，它的“置信度”（通过被称为熵的指标衡量）也几乎没有变化。论文指出，对于一个拥有 7 亿参数的模型，在处理困难任务时，准确率从 100% 降到了 17%，但其“不确定性”信号仅变化了 0.011 nats。

这证明了“解耦”现象。计算机并不知道自己陷入了困境。它感受不到“无限能量预测”带来的痛苦。它只是机械地运转着，无论是在正确还是在荒谬的错误中，都以同样的置信水平产生答案。

结论：我们需要一个“出错会痛”的系统

论文总结道，要让机器真正像普朗克那样发现新事物，它需要一种机制，使得出错是有代价的。

作者建议，未来的 AI 可能需要像生物大脑一样构建，在其中错误会触发物理变化——例如消耗更多能量或转移注意力——从而迫使系统修正其规则。他们并没有说这是一个已解决的问题，也没有说我们已经制造出了这样的机器。相反，他们提出热力学耦合（让错误变得昂贵）是缺失的环节。如果没有它，AI 将永远只是模式和规则的大师，却永远无法在旧规则崩溃时，完成那次勇敢且痛苦的向真理迈进的“跳跃”。

简而言之：要实现科学性的飞跃，你不仅需要聪明。你还需要对出错感到足够在意，以至于它会让你感到“痛”，从而迫使你改变主意。今天的计算机感受不到这种痛，所以它们无法完成跳跃。