🤖 AI

Library Reachability in LSR-Synth: How Anti-Memorization Design Changes the Measurement of Symbolic Discovery

本文通过论证虽然 LSR-Synth 基准测试的反记忆控制是有效的，但目前的任务主要是在衡量固定词汇表内未见表达式的重组，而非语言模型先验知识的独特贡献（除非该词汇表被刻意限制），从而评估了该基准测试区分科学先验知识与常规算子搜索的能力。

原作者： Zhan'ao Yao, Liang Yin, Zhihao Gao, Boxuan Zhang, Xiaoyu Wu, Linjing Li, Rongyan Wang, Tingwei Chen, Youwei Wang, Xiaolin Zhao, Jiahui Shi, Jianjun Liu

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhan'ao Yao, Liang Yin, Zhihao Gao, Boxuan Zhang, Xiaoyu Wu, Linjing Li, Rongyan Wang, Tingwei Chen, Youwei Wang, Xiaolin Zhao, Jiahui Shi, Jianjun Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：一位才华横溢的新晋侦探究竟是在利用其敏锐的直觉破案，还是仅仅在背诵一本他们从名著中记下的解决方案？这就是科学家在使用人工智能（AI）发现新数学定律时面临的核心问题。长期以来，研究人员一直在训练 AI 去观察数据——比如掉落苹果的速度或细菌的生长——并推测解释这些现象的隐藏公式。这个领域被称为“符号回归”（symbolic regression）。问题在于，AI 模型就像是读过几乎所有文献的巨型图书馆。如果你问它们重力的公式，它们可能只是从训练期间读过的教科书中记住了答案，而不是真正通过数据推导出来的。为了解决这个问题，科学家们创建了一个特殊的测试，名为 LSR-Synth。他们通过将已知的规则与奇特的、全新的成分混合在一起，发明了全新的、虚构的科学问题。他们的希望是，由于这些问题是完全原创的，AI 就不能仅仅“记住”答案，而必须真正地去“发现”它。

但转折点在于：即使最终的答案是全新的，AI 用来寻找答案的“工具”可能却是旧的。想象一位厨师试图发明一道新菜。如果厨房里备好了所有能想象到的香料和食材（一个“固定库”），那么这位厨师并不需要成为天才才能做出美妙的佳肴；他只需要混合好现有的正确食材即可。这篇论文提出了一个非常具体、虽然有些枯燥但至关重要的问题：这些新的 AI 测试究竟是在证明 AI 正在使用它的“大脑”（科学知识），还是它仅仅是一个极其擅长混合现有食材的“调配师”？作者们构建了一个“盲盒”厨房，AI 看不到食材的名字或食物的类型，只能看到原始数字。他们将一位聪明的 AI 厨师与一个只会遵循规则、尝试各种标准食材组合的简单机器人进行了对比。

结果给这种热潮泼了一盆冷水。作者发现，在大多数这些“新”科学谜题中，那个拥有标准厨房工具的简单机器人可以像聪明的 AI 厨师一样出色地解决问题。事实上，当他们给 AI 厨师配备一个全能厨房时，它解决的问题并没有比机器人多出多少。只有当厨房被精简，缺少了像“指数”或“三角函数”这类核心食材时，AI 建议新奇食材的能力才会展现出真正的优势。

那么，这意味着什么呢？这并不意味着 AI 是没用的，或者它只是在套用记忆中的方案。这意味着对于目前的这批测试而言，“标准厨房”里的储备过于丰富，以至于 AI 特有的“科学直觉”对于获得高分来说并非严格必要。论文指出，为了真正证明 AI 正在发现新科学而非仅仅是在重新排列旧工具，我们需要设计出那些让标准工具首先失效的测试。在此之前，在这些测试中获得高分，可能只意味着 AI 擅长使用标准的工具箱，而不是它已经开启了某种全新的科学天赋。作者总结道，虽然这些测试能够很好地防止 AI 仅仅是复制旧公式，但它们目前还不足以证明 AI 确实能从自己的思维中创造出真正崭新的东西。

技术摘要：LSR-Synth 中的库可达性（Library Reachability）

1. 问题陈述

现有的科学方程发现基准测试（如 LSR-Synth）旨在通过将既定的科学机制与新型合成项相结合来构建目标方程，从而缓解“公式记忆”问题。这确保了完整的目标表达式不太可能在语言模型（LLM）的训练语料库中以原样存在。

然而，一个关键的差距仍然存在：即如何评估 LLM 的成功究竟是源于真正的科学先验，还是仅仅源于其重组熟悉数学构建块的能力。一个目标方程作为一个整体可能是新颖的，但其组成的算子（例如幂函数、指数函数、三角函数）和结构模式可能完全包含在一个固定的、无语义的搜索空间内。如果一个使用已知词汇表的常规搜索算法可以在不访问变量含义或领域上下文的情况下恢复出目标，那么 LLM 的贡献就与标准的算子搜索无法区分。本文探讨的问题是：当前的 LSR-Synth 任务是否有效地将 LLM 提供的科学先验与固定词汇范围内的常规搜索区分开来？

2. 方法论

作者引入了一个以**库可达性（library reachability）**为核心的诊断框架：即在给定的词汇表和计算预算下，目标是否可以通过无语义搜索被恢复。

实验设置：

数据集： 来自 LSR-Synth 基准测试的 129 个任务（涵盖人口增长、物理振荡、化学反应和材料关系）。
候选来源：
- BANK（库）： 一个在不访问任务语义（变量名或领域描述）的情况下构建的固定候选库。使用了两种变体：BANK-LaSR（基于 PySR 算子集）和 BANK-SRBench-PySR。
- LLM（语言模型）： 在两种条件下提出的候选集：
  - L1：全上下文（变量名、领域描述、数据范围）。
  - L2：语义盲化（匿名变量、无领域描述）。
- UNION（并集）： BANK 和 LLM 候选集的并集。
搜索程序： 在每个候选池（BANK、LLM、UNION）上执行配对贪婪搜索，使用相同的训练子样本、拟合程序（带参数重估计的非线性最小二乘法）和停止准则。这使得候选来源成为唯一的变量。
干预措施：
- 语义盲化： 通过比较 L1 与 L2 来评估领域上下文的价值。
- 库削弱： 使用 BANK-Poly（仅多项式）库替换完整的库，以制造显式的覆盖缺口。
- 匹配剔除（Matched Knockouts）： 移除目标所需的算子族，或移除相同数量的无关算子，以测试覆盖率的敏感性。

评估指标：

分布内准确率（In-Distribution Accuracy）： 相对误差阈值 $\tau=0.01, 0.001$ 。
严格联合恢复（Strict Joint Recovery）： 在分布内（ID）和分布外（OOD）数据上均成功，且 $NMSE < 10^{-8}$ 。
符号准确度（Symbolic Accuracy, SA）： 采用严格的一致性规则（GPT-OSS-120B 投出 10/10 票“是”），判定预测的骨架是否在结构上与地面真值等价。

3. 关键结果

固定库的高覆盖率： 在完整的 LaSR 词汇表下，固定库 BANK-LaSR 实现了高性能（77.71% Acc0.01, 19.77% SA），优于文献中报道的许多基于 LLM 的方法。
LLM 的边际贡献： 当固定库完整时，添加 LLM 候选集（UNION）相对于仅使用 BANK 产生的改进微乎其微或呈现非单调性。LLM 很少能发现固定库无法找到的解。
库削弱的影响： 当固定库被限制为多项式（BANK-Poly）时，性能显著下降。在这种情况下，添加 LLM 候选集（UNION-Poly）在所有指标上都产生了实质性的增益，证明了 LLM 在填补缺失的结构性缺口（如指数或三角项）方面是有效的。
语义上下文： LLM 在全上下文（L1）下的表现高于盲化上下文（L2），但这种优势只有在固定库存在覆盖缺口时才会转化为端到端的收益。
成功原因的分解： 对配对结果的分析显示，BANK 和 LLM 的成功案例之间存在广泛重叠。在严格标准（SA, OOD）下，仅由 LLM 解决的任务数量相对于仅由 BANK 解决的任务数量非常小。

4. 核心贡献

库可达性概念： 本文定义并使“库可达性”操作化，将其作为一种诊断工具，用以区分完整方程的新颖性与其搜索空间的新颖性。
诊断性基准测试协议： 提出了一种严谨的评估协议，通过使用固定种子和预算的配对 BANK、LLM 和 UNION 运行，以隔离 LLM 先验与候选覆盖率之间的贡献。
对 LSR-Synth 的实证证据： 研究表明，目前的 LSR-Synth 综合得分不足以声称 LLM 提供了超出固定搜索空间之外的科学先验，因为大多数任务都可以通过无语义的库来实现。

5. 重要性与主张

本文并非声称 LLM 对符号回归无效，也并非认为反记忆基准测试无效。相反，它提出了一个有限但精确的结论：

“目前的综合基准测试得分本身，不足以证明语言模型贡献了超出其已编码在固定库中的科学知识。”

作者认为，虽然 LSR-Synth 成功防止了对完整公式的召回，但它目前并未控制搜索空间的可达性。因此，这些基准测试上的高准确率可能反映的是模型重组熟悉算子的能力，而非应用新颖的科学先验的能力。

对未来工作的启示：

基准测试在发布前应针对已记录的固定库对生成的任务进行压力测试。
评估应共同报告 BANK、LLM 和 UNION 的结果，以区分候选召回与有效的搜索边界扩展。
关于科学发现的主张应得到证据支持，即证明 LLM 在相同的计算预算下，能够将搜索边界扩展到固定、无语义词汇所能达到的范围之外。