💬 NLP

In Context Learning and Reasoning for Symbolic Regression with Large Language Models

该论文提出了一种结合思维链提示、外部工具优化及科学背景知识的框架，利用大语言模型（如 GPT-4 和 GPT-4o）通过自然语言交互与迭代推理，成功实现了从数据中自动发现并优化物理吸附及流体力学等领域的符号回归方程。

原作者： Samiha Sharlin, Tyler R. Josephson

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Samiha Sharlin, Tyler R. Josephson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣的故事：我们如何让像 GPT-4 这样的人工智能（AI），从一堆枯燥的数据中，自己“悟”出背后的科学公式。

想象一下，你是一位侦探，面前有一堆犯罪现场的线索（数据），你的任务是找出罪犯作案的规律（公式）。传统的做法是请一位精通数学的专家，让他拿着计算器一步步推导；而这篇论文的做法是，请一位博学但有点“爱做梦”的 AI 助手来帮你破案。

以下是用通俗语言和比喻对这篇论文的解读：

1. 核心任务：让 AI 当“公式侦探”

什么是符号回归？
想象你在玩一个拼图游戏。你手里有一堆散落的数字（数据），你的目标不是画出一张图，而是找到一句简短的“咒语”（数学公式），只要把数字填进去，就能完美解释这些数字是怎么来的。

传统方法：像是一个只会死记硬背的机器，通过无数次的随机尝试（像猴子打字）来拼凑公式，效率低且容易迷路。
新方法（本文）：利用大语言模型（LLM，如 GPT-4）。这些 AI 读过很多书，懂很多科学道理，它们能像人类科学家一样，先“思考”数据的规律，再提出公式。

2. 遇到的大麻烦：AI 的“幻觉”

在实验初期，研究人员发现 AI 有个坏毛病：它太自信了，甚至会“胡说八道”（幻觉）。

比喻：你让 AI 算出 $y = 2x + 3$ ，它可能会看着数据说：“我觉得是 $y = 2.5x + 3.1$ 。”然后它还会给你写一段完美的 Python 代码来验证。
真相：代码是真的，但 AI 自己“编”出来的数字是错的。它就像是一个只会写剧本但不会算账的编剧。

3. 解决方案：打造“人机协作”流水线

为了解决这个问题，研究人员设计了一个**“双轨制”工作流程**，把 AI 和传统数学工具分开了：

AI 的角色（创意总监）：
- 负责**“想点子”。它看数据，结合科学背景（比如“这是关于气体吸附的”），提出公式的结构**（比如：应该是分式？还是对数？）。
- 它不负责算具体的数字，只负责搭架子。
Python 工具的角色（精算师）：
- 负责**“算细节”**。一旦 AI 搭好了架子，Python 代码就立刻接手，用超级计算器把公式里的数字（系数）算得精准无比。
- 算完后，把结果（误差多少、公式多复杂）反馈给 AI。

循环过程：
AI 提出方案 -> 精算师算数 -> 告诉 AI“这个方案误差有点大，或者太复杂了” -> AI 根据反馈改进方案 -> 再次循环。

4. 关键技巧：给 AI 装上“草稿纸”和“背景书”

为了让 AI 表现更好，研究人员用了两个绝招：

A. 草稿纸（Scratchpad）：让 AI 先“自言自语”

以前，AI 直接扔给你一个答案，经常出错。

新做法：研究人员要求 AI 在给出答案前，先在“草稿纸”上写一段思考过程。
比喻：就像考试时，老师不让你直接写答案，而是让你先写：“我看这组数据，随着 X 变大，Y 变小，好像成反比……"
效果：一旦 AI 开始“自言自语”分析数据，它的逻辑就清晰了，提出的公式质量突飞猛进。

B. 背景书（Context）：给 AI 科普

如果只给数据，AI 可能会瞎猜。

新做法：研究人员告诉 AI：“这是关于氮气在云母片上吸附的数据，压力越大，吸附量会怎样……"
效果：AI 就像拿到了“作弊小抄”（其实是科学常识），它不再乱猜，而是结合物理规律去猜。比如，它知道吸附量不可能变成负数，所以不会提出那种荒谬的公式。

5. 实验成果：AI 真的学会了吗？

研究人员用三个著名的科学数据集来测试：

朗缪尔吸附模型（Langmuir）：
- 这是一个经典的物理化学公式。
- 结果：AI 成功“重新发现”了这个公式。特别是当它有了“草稿纸”和“背景知识”时，它猜得又快又准。
双位点朗缪尔模型（Dual-site Langmuir）：
- 这个更复杂，像是一个公式里套了两个公式。
- 结果：AI 表现很棒，它甚至能分析出数据中隐藏的“饱和”特征，从而推导出正确的复杂结构。
尼库拉德斯管道摩擦数据（Nikuradse）：
- 这是一个没有标准答案的难题（就像面对一个全新的谜题）。
- 结果：虽然 AI 找到的公式不如某些超级专业的数学软件（如 BMS）那么精准，但它只用了很少的数据和很少的尝试就找到了很不错的解。
- 比喻：专业软件像是一个雇佣了 1000 个工人、花了 100 天去挖掘的矿队；而 AI 像是一个聪明的探险家，只带了 3 个人，花了一天就找到了金矿的入口。虽然金矿可能没挖得那么深，但性价比极高。

6. 总结与启示

这篇论文告诉我们：

AI 不是万能的计算器，它不擅长算数，但擅长理解逻辑和模式。
最好的方法是“人机结合”：让 AI 负责“灵光一闪”的创意和逻辑推理，让传统工具负责“死磕”的数值计算。
自然语言是强大的接口：以前科学家要写复杂的代码来限制 AI 的搜索范围，现在只需要用人话告诉 AI：“请考虑科学常识，不要算出负数”，AI 就能听懂并照做。

一句话总结：
这就好比给 AI 配了一位懂科学的导师（背景知识）和一张草稿纸（思考过程），让它从“只会瞎蒙的算命先生”变成了“能提出科学假设的初级研究员”，大大降低了科学发现的门槛。

论文技术总结：大语言模型在符号回归中的上下文学习与推理

1. 研究背景与问题 (Problem)

符号回归 (Symbolic Regression, SR) 是一种机器学习技术，旨在从数据中自动发现简洁且准确的数学方程，而无需预设模型结构。传统的 SR 方法（如遗传算法、MCMC 采样等）虽然有效，但往往缺乏推理能力，且难以将科学领域的背景知识（如物理定律、理论约束）有效地整合到搜索空间中。

核心问题：

现有的基于 Transformer 的 SR 程序通常仅通过模式匹配学习，缺乏迭代优化和深度推理能力。
大语言模型 (LLMs) 虽然具备强大的自然语言理解和生成能力，但在直接处理数值优化时存在“幻觉”（Hallucination），即生成的系数不准确，且难以独立处理复杂的数学拟合任务。
如何将 LLM 的推理能力、科学背景知识与传统的数值优化方法结合，以发现既符合数据又符合科学原理的方程，是一个亟待解决的问题。

2. 方法论 (Methodology)

作者提出了一种混合工作流，将 LLM 作为符号结构的生成器和推理引擎，而将传统的数值优化工具（SciPy）作为系数拟合器。

2.1 核心工作流

数据输入与提示 (Prompting)： 将数据集（变量 $x$ 和 $y$ ）以及科学背景描述（自然语言）输入 LLM（GPT-4 和 GPT-4o）。
表达式生成 (Expression Generation)： LLM 根据提示生成数学表达式（不包含具体系数拟合）。
外部优化 (External Optimization)： 生成的表达式被传递给 Python 脚本，使用 SciPy（Nelder-Mead 结合 Basin-hopping）对表达式中的常数系数进行数值优化，并计算均方误差 (MSE) 和复杂度。
反馈循环 (Feedback Loop)： 优化后的结果（表达式、MSE、复杂度）以 JSON 格式反馈给 LLM。LLM 基于这些结果和之前的推理，提出改进的表达式。
迭代： 该过程重复多次，旨在寻找帕累托最优解（在准确性和复杂度之间取得平衡）。

2.2 关键提示工程策略 (Prompt Engineering Strategies)

为了克服 LLM 的局限性并提升性能，作者采用了以下策略：

思维链与草稿纸 (Chain-of-Thought & Scratchpad)： 强制 LLM 在生成最终方程前，先在“草稿纸”部分分析数据趋势、观察科学背景并记录推理步骤。这显著提高了生成方程的质量。
避免偏差 (Bias Removal)： 采用两阶段提示法。初始提示要求生成 LaTeX 格式以避免受示例影响；迭代提示则接收 Python 格式的反馈，避免模型过度拟合示例结构。
科学背景整合 (Scientific Context)： 在提示中明确加入自然语言描述的科学背景（如“吸附过程”、“压力与负载的关系”），引导模型生成符合物理意义的方程。
自然语言约束 (Natural Language Constraints)： 将数学约束（如 $x \to 0$ 时 $y \to 0$ ，单调非减等）转化为自然语言指令，限制 LLM 的搜索空间，排除无物理意义的解。
去重与多样性： 通过提示引导模型避免生成冗余表达式（如 $x+c$ 和 $x-c$ 在系数未定前本质相同），并鼓励探索多样化的数学形式。

3. 主要贡献 (Key Contributions)

混合架构创新： 提出了一种将 LLM 的“推理与生成”能力与外部数值优化工具相结合的框架，解决了 LLM 直接拟合系数不可靠的问题。
自然语言接口整合科学理论： 证明了通过自然语言提示（而非修改底层代码）即可有效地将科学背景知识和数学约束融入符号回归过程，降低了跨学科研究的门槛。
推理增强机制： 验证了“草稿纸”（Scratchpad）技术在符号回归中的有效性，表明让模型先进行数据分析和推理能显著提升方程发现的成功率。
实证评估： 在多个真实科学数据集上进行了全面评估，包括已知目标方程的 Langmuir 模型、更复杂的双位点 Langmuir 模型，以及无已知目标方程的 Nikuradse 管道摩擦数据集。

4. 实验结果 (Results)

Langmuir 吸附模型： GPT-4 和 GPT-4o 均成功 rediscovered（重新发现）了目标方程。引入“草稿纸”和科学背景后，模型在早期迭代中就能准确推断出目标形式。
双位点 Langmuir 模型： 这是一个更具挑战性的任务，因为许多短方程也能达到相似的精度但违背物理原理。
- GPT-4o 表现优于 GPT-4，能更好地利用数据和背景进行推理。
- 通过自然语言约束（如“过原点”、“斜率有限”），模型成功排除了虽然拟合度高但物理上不合理的解（如负吸附量）。
Nikuradse 管道摩擦数据集（无目标方程）：
- 该数据集包含 350+ 个测量点，无已知目标方程。
- 作者采用“部分数据提示 + 全数据评估”的策略以节省 Token 成本。
- GPT-4o 生成的表达式在复杂度（27）上显著低于 GPT-4（41），且精度相当。
- 虽然其绝对精度（MAE）略低于基于 MCMC 的 BMS 算法（BMS 计算量巨大，进行了 18000+ 步），但 LLM 方法在初始搜索阶段生成的候选方程质量更高，且计算成本（API 调用）远低于传统 SR 程序。
抗泄漏性： 在 Nikuradse 数据集上未观察到“测试集泄漏”（即模型未直接背诵数据），证明了模型是在进行真正的推理和归纳。

5. 意义与结论 (Significance & Conclusion)

降低门槛： 该方法使得非计算机专家（如化学家、物理学家）能够通过自然语言描述科学问题，利用 LLM 辅助发现数学规律，无需编写复杂的遗传算法代码。
可解释性与理论一致性： 通过引入科学背景约束，LLM 生成的方程不仅拟合数据，更符合科学理论，减少了“黑盒”模型的风险。
互补性： LLM-SR 并不旨在完全取代传统的基于进化算法的 SR 程序（后者在大规模搜索和复杂方程上仍有优势），而是提供了一种快速迭代、富含上下文推理的补充手段。
未来方向： 研究展示了 LLM 在科学发现中的潜力，特别是在处理多变量、无明确目标方程的复杂科学问题时。未来的工作可进一步探索检索增强生成 (RAG) 以扩展上下文窗口，并优化提示策略以控制方程长度。

总结： 该论文成功证明了通过精心设计的提示工程（特别是结合思维链、草稿纸和科学背景），大语言模型可以成为符号回归中强大的推理工具，能够辅助科学家从数据中发现既准确又符合物理意义的数学定律。