From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

长期以来，科学一直依赖于一个简单且令人安心的想法：如果你建立了一个世界的模型，只要你输入正确的数据，就可以相信它会告诉你真相。但新一代的人工智能正在改变规则。这些不再是那些仅仅将信息分类归档的旧式计算机；它们是生成式模型，旨在从零开始创造全新的、复杂的数据。它们可以预测蛋白质如何折叠成三维形状，或者预报全球范围内的天气变化。问题在于，这些具有创造力的机器也有阴暗的一面。它们容易产生“幻觉”（hallucinations），这个词借用自人类心理学，用来描述人工智能编造出看似合理却并不存在的细节的情况。在医学影像中，这可能表现为健康骨骼中的裂痕；在蛋白质模型中，则可能是在自然界本该呈现混乱无序状态的地方，AI却构建出了一个稳固的结构。几十年来，科学家们一直在担心这些错误是致命缺陷，使得这项技术对于严肃的研究而言过于危险。如果机器在胡编乱造，我们又怎么能知道什么是真实的呢？

查尔斯·拉斯克普夫（Charles，Jülich研究中心研究员）发表的一篇新论文指出，我们的观察角度错了。担心幻觉导致生成式人工智能不可靠的观点，是基于对科学实际运作方式的一种误解。拉斯克普夫建议，我们不应孤立地评价AI模型，而应该开始评估嵌入其中的整个科学过程或“工作流”（workflow）。该论文提出，即使AI继续捏造虚假细节，科学家也可以在其周围构建一层安全网。通过利用他们自身深厚的、既有的自然界知识，研究人员可以过滤掉谎言并保留真理。其结果是，即便用于达成结论的工具是不完美的，最终的科学结论依然可以是可靠的。

要理解为什么这一点很重要，首先必须领悟这些AI模型究竟在做什么。与遵循严格、预设规则的传统软件不同，生成式AI是通过学习海量的现有数据来学习，然后猜测接下来的内容。这就像一名读遍了图书馆所有书籍的学生，现在被要求写一个新的故事。学生可能会写出一个美丽的新故事，但也可能凭空创造出一个从未存在过的角色，或是编写一段违反物理定律的情节。在科学领域，这种“发明”就是幻觉。论文指出，这些错误并非随机的出错；它们是必然发生的。因为AI试图创建复杂的、高维度的结构——例如蛋白质精细的折叠或风暴旋转的模式——它必须填补数据稀薄部分的空白。在此过程中，它有时会创建一个表面看起来很完美但在本质上却是错误的结构。作者认为，我们不能仅通过加强训练或建造更好的版本来阻止这种情况。正是那种让AI具备创造力和实用性的机制，同时也迫使它产生了幻觉。

该论文挑战了领域内的一个普遍假设：即幻觉仅仅是一个看起来与AI受训数据不同的数据点。如果事实确实如此，那么科学家只需丢弃任何与训练数据不符的输出即可。但拉斯克普夫认为这是一个陷阱。在科学中，目标不是重复已知的事物，而是发现未知的事物。如果一位科学家仅仅因为某个奇怪的新结果看起来与过去的不同就将其丢弃，他们可能会意外地丢弃一项真正的发现。因此，论文更精确地定义了幻觉：它是指一种非故意设计、却错误表述了所要描述的真实世界对象的输出。这是机器自主犯下的错误，而非由于教导而产生的诡计。

随后，作者举了两个现实世界的案例，展示了科学家如何在无需修复AI本身的情况下解决这一问题。第一个案例是AlphaFold，由Google DeepMind开发的著名AI系统，用于预测蛋白质的三维形状。蛋白质是生命的基石，它们的形状决定了功能。最新的AlphaFold 3采用了允许其“发明”新结构的生成方法。开发者明知这将导致幻觉。事实上，系统有时会对原本应该是松散和无序的部分，发明出一个坚实紧凑的形状。如果科学家对其输出照单全收，就会受到误导。然而，团队围绕着AI构建了一套“工作流”来捕捉这些错误。他们增加了一层分析作为质量控制检查器。这个系统会查看AI的输出，并根据已知的化学和物理法则进行核验。例如，它知道蛋白质的无序部分应当暴露在周围的水环境中，而固体部分则应隐藏在内部。如果AI为一个无序部分发明了一个固体形状，工作流就会将其标记为可疑。该系统还会为每个预测形状的部分分配置信度分数，准确告知科学家哪些部分是可靠的，哪些部分可能是幻觉。虽然AI仍会出错，但工作流确保了这些错误不会进入最终结论。

第二个例子来自气象学，具体是指名为SEEDS的天气预报系统。天气是混沌的；起始条件的微小变化会导致截然不同的后果。为了应对这一点，预报员使用“集合”（ensembles），这意味着多次运行同一个模型以获得一系列可能的未来情况。SEEDS利用生成式AI快速创建这些多种可能的未来。论文提到，来自该AI的单个预报可能是违背物理规律的，比如一张空气压力和温度相互矛盾的气象图。这些都是幻觉。然而，该系统仍然保持可靠。原因何在？因为科学家并不是孤立地看待单一的一次预报，而是将全部512次预报作为一个整体来看待。如果其中一次预报是幻觉，那也只是庞大人群中的一个声音而已。只要幻觉是罕见的且并非全都一致，当科学家计算降水概率或高温热浪的总概率时，这些误差就会被抵消。这里的“工作流”便是集合本身。通过将输出视为一簇可能性而非单一真相，系统过滤掉了噪声。研究人员还使用统计工具来检查整组预报是否符合现实，从而确保最终得到的概率数字是值得信任的。

论文的核心发现是：可靠性不需要AI达到完美，它需要环绕在AI周围的人类流程足够聪明。拉斯克普夫认为，我们不应再致力于打造“无幻觉”的AI（这可能是一个无法实现的目标），而应转向开发“抗幻觉”的工作流。这实现了重心从机器学习向方法的转移。只要科学家拥有测试这些想法的能力，那个被称为“黑盒”、能够神秘产出创意的AI完全是可以接受的。论文暗示，科学历来皆是如此：我们使用不完美的工具，但同时为其配备制衡措施。AI提供原材料，而科学家提供判断力。

这种方法也改变了我们思考AI在科学中扮演的角色。一些批评者认为，AI只擅长寻找新思路（探索/发现阶段），但不擅长证明其正确性（论证阶段）。他们主张只有当我们能在实验室里验证其预测时，才能信任AI。拉斯克普夫同意实验验证至关重要，但他补充道，工作流本身也是论证的一部分。筛选、排序及限定AI输出的行为本身就是一种论证形式。这不仅仅是等待看AI是否正确，更是关于构建一套体系，以便在我们甚至开展实验之前就能确保护航AI走向正确的路径。论文表明，只要我们在研究所涉及的对象方面有足够的背景知识——无论是蛋白质还是风暴前线——我们就能构筑起这样的安全网。

文章最后给出了一个冷静但充满希望的总结。能否构建这类可靠的工作流，取决于人们对目标系统的了解程度。如果科学家正尝试模拟某种极其陌生的事物，他们便无法构建拦截AI谎言所需的过滤器。在这些前沿阵地，风险依旧很高。但是，对于许多已有扎实理论基础的学科——如蛋白质折叠或天气动力学——生成式AI可以成为强大的合作伙伴。机器将会持续制造幻觉，正如艺术家绘画时偶尔会出现失误一样。但只要科学家清楚一副真正杰出的画作是什么样子的，他们就能识别出偏差并将精华留存下来。本文并未声称已经解决了AI的问题或会让幻觉消失，它的说法更为务实：我们可以学会与之共处，管理它们，并在运用这些强大工具的同时扩展人类知识的边界。作者辩称，科学的可信度从来不在于工具的完善，而在乎使用者运用的智慧。