From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

想象一下，你正试图理解什么是“聪明”。长期以来，科学家们一直试图通过给人们提供一份庞大的不同任务清单来衡量这一点——解决数学谜题、记忆故事、识别形状模式以及理解语言。他们称这些为“领域”（domains）。其核心理念是，如果你在所有领域都表现出色，那么你就拥有高智力。但问题在于：当我们进行这些测试时，我们通常将每一个任务都视为同等重要。这就像是在评价一名学生时，对他系鞋带的能力和写诗的能力给予同样的权重。此外，这些测试通常是“快照式”的。你参加一次测试，得到一个分数，然后就结束了。你并不知道这个学生下周是否还能解开那个谜题，或者如果让测试变得稍微难一点，或者在几天后再尝试，他是否会崩溃。

这就是通用人工智能（AGI）评估的世界。AGI 的梦想是构建一台像人类一样聪明且灵活的计算机，能够学习并解决任何情况下的问题，而不仅仅是针对其被编程的任务。目前，研究人员使用这些相同的“快照式”清单来测试这些 AI 系统。但如果我们想要知道一个 AI 是否真正具有“通用”智能，我们需要知道它的聪明才智是真实的且持久的，还是仅仅是一个在压力之下就会破裂的幸运技巧。这篇论文提出了一个重大问题：我们如何停止仅仅计数得分，转而开始衡量一个机器大脑的“稳定性”？

本文作者认为，我们目前测试 AI 的方式有点像仅通过观察汽车在晴天能否在直线上快速行驶来评判它。它看起来可能很快，但这并不能告诉我们引擎在颠簸路面上是否能撑得住，或者刹车在下雨时是否能起作用。他们认为，真正的智能——无论是人类还是机器——不仅仅是一系列技能的清单。相反，它更像是一个稳态属性簇（homeostatic property cluster）。这是一个高级说法，意指一组能力之所以紧密结合在一起，是因为内部存在着维持它们连接的机制，即使在混乱或变化发生时也是如此。

把智能想象成一堆搭建良好的营火。那些“领域”（数学、语言、逻辑）就是木柴。但火本身是维持所有木柴共同燃烧的热量和火焰。如果你只是堆叠木柴（技能），但没有维持它们燃烧的机制（稳态部分），一阵风（压力源或延迟）就会把火吹灭。论文指出，目前的测试只检查木柴是否存在，却忽略了火是否能在阵风中生存下来。

作者提出了两个主要的改进方案。首先，他们认为我们不应该把每个测试问题都视为同等重要。就像有些木头更密、燃烧得更旺一样，有些技能对于维持整个系统的稳定更为“核心”。他们建议使用一种新的评分方法，称为中心性先验评分（centrality-prior score）。这种方法会根据特定技能在维持整个系统稳定方面的贡献程度来加权测试，借鉴了人类智能研究中的思路。这就像是在评分时，比重更多地看学生学习新事物的能力，而不是看他记住某个单一事实的能力。

其次，他们希望不再依赖一次性的快照。相反，他们提议建立一个集群稳定性指数（Cluster Stability Index）。这不仅仅是关于一次获得高分，而是要证明 AI 能在时间维度和压力之下保持该分数。他们建议通过三种具体方式来测试 AI：

1. 剖面持久性（Profile Persistence）： AI 是否在几天或几周后仍记得如何做事？
2. 持久学习（Durable Learning）： 如果你教它新东西，它是能记牢，还是会立即忘记？
3. 错误纠正（Error Correction）： 如果 AI 犯了错，它能否在不崩溃的情况下自行修复错误？

论文并未声称已经建立了一个完美的测试，也没有声称我们已经解决了衡量 AGI 的问题。相反，作者建议这些新方法会更好。他们提供了一个让实验室尝试这些想法的蓝图。他们提出，即使实验室并不完全了解 AI 内部是如何构建的（即“黑盒”方法），也可以进行这些测试。他们还对使用这些新测试后可能发生的情况做出了预测，暗示一旦我们开始检查稳定性和抗压性，许多当前的 AI 系统看起来可能会大不相同——或许显得不再那么具有“通用”智能，而是更加脆弱。

简而言之，论文认为我们需要从“勾选方框”转向“检查火是否持续燃烧”。通过对重要的技能赋予更高权重，并测试 AI 处理延迟和错误的能力，我们或许最终能清晰地看到，一台机器是真的聪明，还是仅仅在伪装。