LLM-Guided Open Hypothesis Learning from Autonomous Scanning Probe Microscopy Experiments

本文提出了一种自主扫描探针显微镜框架，该框架将符号回归与大语言模型相结合，从稀疏实验数据中生成并评估新的物理假设，成功在没有预定义模型的情况下发现了铁电畴翻转的可解释电压 - 时间生长规律。

要点

想象一位科学家在实验室里使用一台超级强大的显微镜工作。在过去，这位科学家必须精确决定测量什么，运行测试，查看结果，然后决定下一步做什么。这既缓慢，又高度依赖科学家自身的直觉。

近年来，科学家们构建了“自动驾驶”实验室。这些实验室就像科学界的自动驾驶汽车：计算机控制显微镜，运行实验，并调整设置以尽可能快地找到最佳结果。然而，这里有个陷阱：这些自动驾驶实验室通常非常擅长优化（寻找最佳设置），但在发现新定律方面却极差。它们能告诉你“这个电压会产生最大的点”，但无法告诉你为什么，也无法写下解释这一现象的新物理定律。它们被困在人类程序员赋予它们的思想盒子里。

本文介绍了一种新系统，它打破了这个盒子。它教导计算机不仅要找到最佳答案，还要基于所见发明新理论。

以下是该系统的工作原理，使用一个简单的类比：

双脑系统

将这一新系统想象为两个截然不同的机器人团队，共同解决一个谜题。

1. “模式发现者”（符号回归）
想象一个极其擅长数学但毫无常识的机器人。你给它几个分散的数据点（如图表上的几个点），它就开始大声喊出成千上万种可能连接这些点的数学公式。

• 它做什么：它生成各种疯狂的猜测，例如“点的大小等于电压乘以时间的平方根”，或者“大小等于电压加上一个随机数”。
• 问题所在：由于缺乏常识，它可能会提出数学上完美但物理上不可能成立的公式（例如声称增加功率时点反而变小）。这就像一个背熟了数学教科书却不理解现实世界如何运作的学生。

2. “物理教授”（大型语言模型）
现在，想象第二个机器人，它是一位超级聪明的物理教授。这个机器人阅读过所有已写成的物理教科书。它自己不做数学计算，而是充当裁判。

• 它做什么：它审视“模式发现者”生成的成千上万种疯狂公式，并说：“等等。那个公式说点会随时间倒着生长？这不可能。把它扔掉。”
• 神奇之处：它根据公式在现实世界中是否合理来对它们进行排名。它挑选出遵循物理定律的公式（例如“点应随电压增加而变大”），并解释为什么它们是好的。

实验：生长微小的电泡

为了测试这一点，研究人员使用一台特殊显微镜刺入一种名为 PZT（一种带有电荷的陶瓷材料）的微小材料。当用电流冲击它时，一个微小的“电荷切换泡”开始生长。

• 目标：他们希望找到一条规则，解释气泡的大小如何取决于冲击的持续时间以及冲击的强度。
• 过程：
  1. 开始：他们仅从五个随机猜测（五种不同的冲击设置）开始。
  2. 循环：
     • “模式发现者”查看五个结果，写下 50 条可能的数学规则。
     • “物理教授”阅读这些规则，给它们打分，并选出最佳的一条。
     • 计算机随后利用这条最佳规则决定下一次在哪里进行冲击以获取更多知识。
     • 他们重复此过程 10 次，每轮都增加更多数据。

结果：从猜测到理解

在最初阶段，“模式发现者”感到困惑。它提出了一些荒谬的规则，例如“气泡大小仅取决于时间，而与电压无关”。“物理教授”给这些规则打低分，并说：“不，这说不通。”

随着实验继续进行，计算机收集到更多数据，“模式发现者”开始提出更聪明的规则。最终，“物理教授”选出了一条获胜规则：该规则指出气泡的生长取决于电压和时间两者，具体遵循一种随时间推移生长速度减慢的模式（类似于“蠕变”运动）。

为什么这很重要？
在之前的实验中，科学家必须告诉计算机：“这里有三个可能的规则；选出最好的一个。”计算机只是从列表中做出选择。
在这次新实验中，计算机从数据中自行创造了规则，而“物理教授”确认了它是真实的。该系统不仅找到了最佳设置，还发现了一种描述材料行为的新方式。

核心结论

本文展示了一种方法，将自主科学从“搜索引擎”（仅从列表中找出最佳答案）转变为“科学家”（能够撰写新的物理定律）。通过结合一个生成想法的数学机器人和一个检查这些想法是否合理的 AI 机器人，该系统能够从几乎零起点开始，自主学习复杂的物理规则。

技术摘要

技术摘要：基于大语言模型引导的自主扫描探针显微镜实验中的开放假设学习

问题陈述
自主实验已确立为显微镜和材料科学中闭环优化的范式，主要利用贝叶斯优化（BO）来调整仪器参数或在固定搜索空间内发现结构 - 属性关系。然而，当前的工作流程根本上受限于其对预定义目标函数和假设空间的依赖。虽然这些系统能够高效地在人类指定的模型内收敛至最优解，但它们缺乏生成新物理定律或通过开放假设生成来解释实验数据的机制。现有的“假设学习”方法通常是在预定义的人类设计模型集合中进行选择，而不是直接从数据中推导关系。这在分层自主系统中造成了一个缺口，即可解释的知识必须在决策层之间生成、评估和传播，而不受先前人类模型类别的约束。

方法论
作者提出了一种“开放假设学习”框架，将符号回归与大语言模型（LLM）基于物理的评估相结合，以实现从闭环优化向开放假设发现的转变。该工作流程包含三个核心组件：

1. 用于假设生成的符号回归：
   该系统不使用固定模型结构拟合参数，而是采用符号回归（使用 PySR 库）直接在数学表达式空间中进行搜索。给定稀疏的实验数据，该模块生成一个候选分析表达式的帕累托前沿，以平衡预测准确性（损失）与模型复杂度。该过程完全是数据驱动的，在生成阶段不纳入物理约束，从而产生显式的候选方程。

2. 基于 LLM 的物理评估：
   为了解决统计上最优的表达式可能缺乏物理有效性的局限性，该框架引入了一个结构化的 LLM 评估器。LLM 接收候选方程、变量定义以及关于既定物理原理（特别是关于铁电畴生长，由深度研究流程生成）的丰富上下文摘要。LLM 充当验证器而非生成器，根据以下标准对候选项进行评分：

   • 非平凡性： 对相关变量的依赖性（例如，同时依赖电压和时间）。
   • 单调性： 与预期趋势的一致性。
   • 标度行为： 与已知机制（例如，热力学平衡、动力学生长、蠕变）的对齐。
   • 病理特征： 不存在奇点或非物理发散。
     输出包括一个定量合理性评分和一个解释评估结果的自然语言推理轨迹。

3. 自适应实验设计：
   选定的假设指导下一步实验。系统计算选定模型与实验数据之间的残差。高斯过程（GP）在这些残差上进行训练以建模不确定性。随后，将带有上置信界（UCB）采集函数的贝叶斯优化（BO）应用于残差模型，以选择新的测量条件。这针对当前假设不完整的区域，从而迭代地细化模型。

实验实施
该框架在自主压电力显微镜（PFM）实验中得到了演示，用于研究锆钛酸铅（PZT）薄膜中的铁电畴翻转。

• 设置： 在固定位置施加具有不同持续时间（0.01–10 秒）的电压脉冲（1–10 伏）以诱导畴翻转。通过 DART-PFM 测量生成的畴尺寸（有效半径）。
• 过程： 实验以五个随机种子测量开始。在 10 个迭代周期中，系统基于残差驱动的 BO 策略，每个周期获取 5 个新数据点，总共进行了 55 次测量。
• 评估： 候选模型由 LLM 根据旨在强制执行物理规则（例如，要求同时依赖 $V$ 和 $t$）的提示进行排名。

关键结果

• 假设的演变： 从五个种子点开始，符号回归最初产生了平凡或物理上不完整的模型（例如，常数或单变量依赖）。随着通过自适应采样数据集的增长，假设空间演变为包含耦合的电压 - 时间表达式。
• 选择标准比较：
  • 数据驱动选择： 标准的 PySR“最佳”标准（平衡损失与复杂度）在后期迭代中倾向于一个简单的仅电压线性模型（$r \propto V$），因为它提供了有利的损失 - 复杂度比，尽管它忽略了有限时间生长至关重要的时间依赖性。
  • LLM 引导选择： LLM 评估器因违反“非平凡性”规则（缺乏时间依赖性）而拒绝了仅电压模型。它选择了一个形式为 $r = V(0.000786 \log t + 0.00781)$ 的模型。
• 物理一致性： LLM 选定的模型被确定为与“无序控制动力学”或“蠕变行为”一致，其中畴壁速度指数依赖于逆电场，导致对数时间依赖性。这一结果与该领域的先前发现一致，但此处是在未预先指定模型类别的情况下推导出来的。
• 预测性能： 当在模型选择后获取的未来数据点上进行评估时，LLM 选定的模型表现出与最小损失模型相当的预测精度，但方差更低。至关重要的是，LLM 选定的模型比纯粹受复杂度惩罚的 PySR“最佳”模型具有更好的泛化能力，后者往往对物理现象欠拟合。

意义与主张
该论文声称建立了一条将符号回归、物理推理和自适应实验整合到分层自主科学工作流中的途径。其主要贡献是证明了自主显微镜可以超越在固定搜索空间内进行优化，转而直接从数据中生成可解释的物理定律。

主要主张包括：

1. 开放假设发现： 该框架能够在不依赖预定义的人类设计模型类别集合的情况下，生成候选物理关系。
2. 物理感知排名： LLM 评估器成功区分了统计上高效但物理上不完整的模型与那些可解释且与已知机制一致的模型（例如，识别蠕变机制）。
3. 知识传播： LLM 提供的自然语言推理作为一种可转移的知识产物，允许下游智能体理解模型被选中的原因，而不仅仅是接收数值评分。
4. 验证： 该方法成功识别了 PZT 中的动力学、类蠕变畴壁生长定律，这一结果与之前依赖预定义模型的假设学习研究一致，从而验证了“开放”生成方法。

作者指出，虽然当前的实现使用符号回归来处理分析形式，但更广泛的框架旨在在未来迭代中容纳数值或基于模拟的模型。这项工作将该方法论定位为迈向自主系统的一步，这些系统积极参与发现过程，而不仅仅是执行预定义的优化任务。