⚡ 电气工程

The Novelty Horizon H_N: Why Large Language Models Fail to Generate Scientific Data beyond Their Training Distribution

本文论证了大型语言模型由于缺乏物理基础和因果推理，在生成超出其训练分布的科学有效数据方面存在根本性失败，从而确立了一个“新颖性视界”，这使得混合神经符号系统对于真正的科学发现变得必不可少。

原作者： Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

发布于 2026-11-04✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代实验室中，一种新型助手已经到来，它能在几秒钟内阅读数百万篇科学论文并撰写流利的报告。这些被称为大型语言模型的人工智能系统，是基于海量的人类文本训练而成的。它们极其擅长发现词汇中的模式并预测下一个句子是什么。由于它们能如此出色地模仿研究论文的风格，许多科学家开始怀疑，这些机器是否能做得比仅仅总结现有知识更多。它们能否为从未见过的实验生成新的、有效的实验数据？它们能否扮演发现过程中的伙伴，创造出构成科学真理基石的数字和测量值？这个问题直击科学运作的核心。真正的科学依赖于对物理世界的测量，在物理世界中，每一次测量都带有微小的确定性，且因果关系遵循严格且不可逾越的定律。如果一台机器仅仅是根据它之前读到的内容来猜测下一个词，它听起来可能很有说服力，但它真的理解它所描述的现实吗？

来自肯尼亚的一个研究小组致力于通过一项严谨的测试来回答这个问题，这项测试超越了文本，进入了硬核物理数据的领域。他们专注于一个涉及短路的特定电路实验，在这种情况下，一根导线连接了电源的正负两极，导致电流产生巨大的激增。在他们的设置中，他们添加了一个被称为二极管的特殊组件，它就像一个电流单向阀，将电压钳位在特定水平，以保护电路。这创造了一种复杂的非线性行为，即电压与电流之间的关系不是简单的直线，而是随着条件变化而改变的曲线。研究人员想要观察人工智能是否能够为这个特定的实验生成一个真实的数据库，其中包含真实传感器总是会捕捉到的那些微小的、随机的波动。

为了测试这一点，研究人员创建了三组不同的数据。第一组是地面真值（ground truth）：即从实验室中的物理电路中提取的实际测量值，记录具有高精度。第二组来自人工智能，研究人员仅向其提供了实验的基本数值（如电压和电流额定值），并要求它编写一个计算机程序来模拟结果。第三组来自同类型的人工智能，但这一次，研究人员向它提供了关于实验是如何构建以及测量是如何进行的完整详细指令，希望这些额外的上下文能帮助机器产生更好的结果。随后，他们对所有三组数据集进行了取证分析，将其与支配电力的不可逾越的物理定律进行对比。

结果是鲜明且具有启发性的。人工智能在每种情况下都未能生成科学有效的数据。当机器尝试模拟实验时，它产生的数字在表面上看起来似乎合理，但在仔细观察下却是物理上不可能实现的。研究人员称之为“完美代数伪影”（perfect algebra artifact）的是其中最明显的错误之一。在真实的实验中，电压和电流是由不同的传感器独立测量的，由于设备的微小缺陷，当你计算电阻时，数值永远不会完美契合。在数值之间总会存在一个微小的、随机的间隙。然而，人工智能将物理定律视为一个需要精确求解的数学方程。它生成的电压和电流值在配合上具有完美的、机器级的精度，没有给自然测量中的噪声留下任何空间。这就像一个人画地图，其中每个街道交叉口都完美对齐，而真实的城市地图则会有轻微的、自然的错位，因为道路是由不同的施工队在不同时间建造的。

失败不仅限于完美的数字。人工智能还难以理解电路中二极管的具体行为。当研究人员向机器提供详细指令时，它确实能够调整其数值的规模使其更接近现实，但它仍然在基本物理原理上出错。它生成的数据表明电流的行为是线性的、可预测的，完全忽略了二极管本应创造的非线性“钳位”效应。它产生的数据具有奇怪的统计模式，其峰值和形状在自然界中并不存在。例如，机器数据中的噪声要么过于平坦，要么具有奇怪的峰值，不像真实电子传感器中那种自然的、起伏的噪声。即使研究人员要求机器直接输出数字而不先编写代码，结果同样存在缺陷，这表明问题不在于编码错误，而在于其根本无法理解物理世界的因果结构。

研究人员得出结论，这些人工智能模型被他们称为“新颖性地平线”（Novelty Horizon）的东西所困。这是一个由模型训练数据所定义的边界。在这个边界之内，机器表现良好，因为它只是在重新排列它已经见过的模式。但当被要求生成一个需要以一种它从未被教导过的方式去理解因果关系的新型复杂情况的数据时，它就会撞上一堵墙。它无法进行超越其训练集的推断。它可以模仿科学家的措辞，但它无法模拟实验中那种混乱、不确定且具有因果关系的现实。这项研究表明，虽然这些工具对于总结信息或起草文本非常强大，但不能信任它们去创造新的科学数据或充当独立的发现者。人类科学家仍然至关重要，不仅是为了检查工作，更是为了提供机器所根本缺乏的因果推理和实验设计。人工智能与科学结合的未来，很可能取决于将这些工具与人类监督相结合，利用机器的长处，同时保持人类在发现这一艰巨工作中的参与。

技术摘要：新颖性视界与大语言模型在科学数据生成中的局限性

问题陈述
将大语言模型（LLMs）集成到科学工作流中的做法，引发了关于其是否具备真正经验性发现能力的批判性问题。虽然 LLMs 通过统计模式识别在生成语言上具有合理性的文本方面表现出色，但它们缺乏对物理现实的具身模型。本文旨在探讨“语言合理性”与“科学严谨性”之间特定的认识论差距。核心问题在于，以预测基于训练分布的下一个 token 为运作机制的自回归 LLMs，是否能够为需要超越其训练数据进行外推的任务，生成具有科学有效性和经验忠实性的数据。作者认为，将“统计上的不可区分性”与“经验有效性”混为一谈构成了对研究完整性的威胁，因为模型可能会产生虽然符合文本模式但违反因果物理定律的物理上不可能的“幻觉”。

方法论
为了验证“自回归 LLMs 无法生成超出其训练分布的有效数据”这一假设，作者采用了一种基于物理原理的取证分析框架。研究利用了一个二极管钳位短路实验作为三方对比设计设计的中心，选择该系统是因为其非线性物理特性和特定的噪声特征位于标准训练语料库的典型凸包之外。

研究采用了生成三个平行数据集的方法：

案例 1（无引导）： 一个 LLM（GPT-5.2 级）仅根据基本电路参数（2.5V/0.25A, 5.0V/0.5A）在没有程序性上下文的情况下生成了模拟脚本和数据。
案例 2（有引导）： 同一个 LLM 在提供了完整的实验步骤（包括电路图、元件规格 [1N5408 二极管, ACS712T 传感器] 和数据平均协议）后，生成了脚本和数据。
案例 3（地面真值/基准）： 来自同一系统的物理测量实验数据，作为不可变的基准。

同时开展了一个直接提示框架（详见补充信息），其中 LLM 在不经过中间代码生成步骤的情况下直接生成数值数据，以确定失败是由于编码范式导致的，还是源于模型架构本身的缺陷。

数据集经过了多层取证分析：

时域与频域分析： 通过检查自相关函数（ACF）和功率谱密度（PSD）来检测真实的传感器噪声特征（例如 $1/f^\alpha$ 噪声）与算法伪影之间的区别。
物理约束验证： 测试对欧姆定律和功率守恒定律的遵循情况。至关重要的是，作者分析了欧姆残差（测量电压与电流衍生电阻之间的差异），以验证测量噪声的独立性。
第一性原理模型拟合： 将数据拟合至基于半导体物理学的修正欧姆定律（ $v_s(t) = i(t)R_{sc} + nV_T \ln(i(t)/I_s)$ ），以评估参数的合理性和拟合优度。
区间分析： 将数据分为线性区（ $|v_s| < 0.3V$ ）和非线性区（ $|v_s| \ge 0.3V$ ），以测试在训练分布边界处的表现。
生成忠实度评分（GFS）： 一个综合了物理约束、统计属性和模型拟合质量的复合指标。

主要贡献

理论构建： 本文正式定义了过去信息边界（ $B_P$ ），它是一个表示时间前沿、训练分布支撑集以及已学习条件概率的有序三元组 $(t_p, \Omega_{train}, C_{train})$ 。此外，本文还定义了新颖性视界（ $H_N$ ），即模型无法可靠执行以下任务的边界：(i) 在 $\Omega_{train}$ 凸包之外进行外推；(ii) 进行未编码在 $C_{train}$ 中的因果推理；或 (iii) 处理晚于 $t_p$ 的信息。
基于物理的鉴别： 作者引入了一种取证方法来检测“完美代数伪影”，即 LLM 将物理定律视为确定性的恒等式，而非独立噪声测量值之间的关系。
定量验证： 开发了生成忠实度评分（GFS），为量化合成数据与物理现实之间的偏差提供了一个标准化指标。

结果
研究表明，对于超出新颖性视界的任务，无论是无引导还是有引导的 LLMs 均表现出根本性的失效：

灾难性的物理不一致性： 两种 LLM 生成的案例都表现出完美的代数闭合性，其欧姆残差在 $10^{-17} \Omega$ 量级（机器精度），而实验地面真值的残差为 $5.78 \times 10^{-3} \Omega$ 。这表明模型是以确定性的方式生成因变量，而非模拟独立的测量过程。
统计病态特征： 有引导生成（案例 2）产生了极端的统计异常，包括 2.5V 配置下的峰度为 65.4 以及 5.0V 配置下的峰度为 84.3（基于脚本），而在直接提示模式下峰度超过 200；此外，其频谱特征也存在错误，缺乏物理传感器特有的 $1/f$ 噪声。
区间错位： 模型无法正确处理非线性钳位区间。案例 1 生成了错误的电压值，而案例 2 则错误地将所有数据限制在线性区间（ $|v_s| < 0.3V$ ），未能模拟尽管有明确程序引导仍存在的二极管钳位动态。
模型拟合失败： 使用修正欧姆定律对 LLM 生成的数据进行拟合时，会得出荒谬的参数（例如负的 $R^2$ 值，参数触及算法边界），而实验数据则能得出符合物理逻辑的电阻和二极管参数。
直接提示框架确认： 平行的直接提示框架证实，这些失败并非代码生成的产物，而是自回归架构固有的缺陷；当移除结构化代码约束时，展现出了更为严重的分布病态。

意义与主张
本文声称为 LLMs 在经验科学中的应用确立了一个明确的边界。作者认为，**新颖性视界（ $H_N$ ）**是自回归模型在接受静态语料库训练后所固有的结构性限制。作者断言：

LLMs 能够在其训练数据的凸包内进行插值，但在需要向新颖实验配置或其训练中未编码的因果结构进行外推时，会发生灾难性失败。
提供程序性上下文（提示工程）可以改善数值缩放，但无法赋予其进行有效科学数据生成所需的因果推理或对测量独立性的理解。
“完美代数伪影”是检测 LLM 何时运行在其新颖性视界之外的可靠诊断工具。
LLMs 在科学中的角色必须被重新定义为增强智能（Augmented Intelligence）：即文献综述、代码补全和假设生成的工具，而非自主进行实验设计或数据生成的代理。
未来的进步需要神经符号系统（neuro-symbolic systems），将统计模式识别与形式化的因果世界模型及物理模拟器相结合，以跨越新颖性视界。

文章总结道，人类科学家在因果推理和实验设计中不可替代的角色依然稳固，因为当前的 LLMs 受限于其过去信息边界，无法独自驾驭真正的科学发现前沿。

类似论文