💻 computer science

LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation

本文介绍了 LABO，这是一种新颖的贝叶斯优化框架，它通过动态平衡低成本的大语言模型预测以进行广泛探索，与针对高不确定性区域的精选高成本真实世界实验，从而在样本效率和理论遗憾界方面优于现有方法。

原作者： Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhuo Chen (equal contribution), Xinzhe Yuan (equal contribution), Jianshu Zhang (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Jinzong Dong (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Automation, Central South University, Changsha, China), Ruichen Zhou (College of New Energy and Materials, China University of Petroleum, Beijing, China), Yingchun Niu (College of New Energy and Materials, China University of Petroleum, Beijing, China), Tianhang Zhou (College of Carbon Neutrality Future Technology, China University of Petroleum, Beijing, China), Yu Yang Fredrik Liu (DeepVerse PTE. LTD., Singapore), Yuqiang Li (Shanghai Artificial Intelligence Laboratory, Shanghai, China), Nanyang Ye (Shanghai Artificial Intelligence Laboratory, Shanghai, China, School of Computer Science, Shanghai Jiao Tong University, Shanghai, China), Qinying Gu (Shanghai Artificial Intelligence Laboratory, Shanghai, China)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图发明世界上完美的三明治。你的食材预算有限，而且每做一次三明治进行品尝测试，就要花费 100 美元并耗费整整一天。你无法通过制作成千上万个三明治来找到最好的那一个；你必须明智地选择真正要烹饪的款式。

这正是科学家在设计新药、新材料或电池时面临的问题。“实验”既昂贵又缓慢。这就是LABO发挥作用的地方。

以下是论文如何用简单的类比解释 LABO：

1. 问题：“冷启动”与“空钱包”

传统方法（称为贝叶斯优化）就像一位只在烘焙完成后才品尝三明治的厨师。

冷启动：在刚开始时，厨师完全不知道哪些食材搭配效果好。他们不得不盲目猜测，浪费昂贵的食材。
预算：由于每次品尝测试都要花费 100 美元，厨师只能制作少数几个三明治。如果他们频繁猜错，在找到完美食谱之前就会耗尽资金。

2. 新想法：“超级品鉴师”AI

作者引入大语言模型（LLM）作为一位“超级品鉴师”。

超级品鉴师：这位 AI 阅读过数百万本烹饪书、科学论文和食谱。它可以看着一份食材清单就说：“我敢打赌这个组合尝起来会棒极了”，而无需真正烹饪。
成本：询问 AI 的成本几乎为零（约 1 美元）。与花费 100 美元的真实实验相比，它既快速又免费。

3. LABO 的工作原理：“门控”系统

论文的重大创新不仅仅在于使用 AI，而在于知道何时信任它，何时忽略它。他们称之为“门控准则”。

想象厨师有一条规则：

如果 AI 很自信：厨师会问 AI：“你觉得这个食谱怎么样？”如果 AI 回答：“基于我的阅读，这看起来很棒”，厨师暂时不烹饪它。他们只是将预测记录下来。这让他们能在脑海中“品尝”数百种食谱而无需付费，从而探索整个厨房。
如果 AI 不确定：如果 AI 说：“我不确定，这是一个奇怪的组合”，或者厨师的过往经验表明 AI 可能会出错，那么门就会打开。此时，厨师才会真正烹饪三明治（即进行昂贵的真实实验）以获取真实答案。

神奇之处：该系统学会在广泛探索（浏览整个菜单）时信任 AI，但只在 AI 感到困惑或真实答案最不确定时，才花费昂贵的资金。

4. “修正”机制

论文还提到了一种巧妙的数学技巧（称为 KOH 模型）。

将 AI 的预测视为三明治的粗略草图。
“差异”是指草图与真实味道之间的差距。
LABO 学会划定一条界线："AI 通常有 80% 的准确率，但这里有 20% 它会出错。”它利用廉价的 AI 草图来确立大致轮廓，仅花费资金去修正草图模糊的具体部分。

5. 结果：更高的性价比

论文在真实的科学任务中测试了这种方法，例如设计电池新材料或优化化学反应。

结果：LABO 比旧方法更快地找到了更好的食谱（解决方案）。
效率：它达到了与传统方法相同的结果，但使用的昂贵“真实”实验要少得多。这就像通过品尝 10 个真实三明治而不是 30 个就找到了最好的那个，因为 AI 首先帮助过滤掉了糟糕的想法。
安全性：即使 AI 有时给出错误建议，“门控”也能将其拦截。当 AI 的置信度下降时，系统会自动切换回真实实验，确保厨师不会因糟糕的猜测而浪费资金。

总结

LABO是一种智能工作流，它利用廉价且知识渊博的 AI 广泛扫描整个搜索空间。只有当 AI 不确定或需要验证其猜测时，它才会在真实实验上花费昂贵的资金。这使得科学家能够比以前更快、更便宜地找到最佳解决方案，而无需进行成千上万次昂贵的物理测试。

技术摘要：LABO - 大语言模型加速的贝叶斯优化

问题陈述

药物发现、催化剂设计和分子工程等领域的科学发现严重依赖于配方优化。这些任务的特点是实验昂贵、耗时且劳动密集，导致数据严重稀缺且评估预算有限。虽然贝叶斯优化（BO）是通过平衡探索与利用来导航这些复杂设计空间的标准策略，但它面临两个根本性限制：

冷启动问题：优化初期的数据稀缺阻碍了早期阶段的探索。
高维挑战：在有限的实验预算下，探索高维设计空间仍然困难，特别是在特定任务的观测数据稀疏时。

尽管最近的努力已将大语言模型（LLM）集成到 BO 流程中以纳入先验知识（如文献、协议），但现有方法通常仅将 LLM 用于初始化或作为辅助信号源。它们往往未能充分利用 LLM 相较于真实实验显著更低的评估成本，限制了其支持在整个搜索空间进行广泛、低成本探索的能力。

方法论：LABO 框架

作者提出了LABO（大语言模型加速的贝叶斯优化），这是一个双保真度框架，在单个 BO 循环中将 LLM 预测与真实实验观测进行系统性集成。LABO 将 LLM 视为一种源自非结构化科学先验和上下文推理的独特的"LLM 保真度”信息源。

1. 建模：Kennedy–O'Hagan (KOH) 联合高斯过程

LABO 采用 KOH 假设来建模真实保真度目标 $f_R(x)$ 与 LLM 保真度预测 $f_L(x)$ 之间的关系。真实保真度函数被分解为：
$f_R(x) = \rho f_L(x) + \delta(x)$
其中：

$\rho$ 是一个标量缩放因子，代表保真度之间的全局校准。
$\delta(x)$ 是一个加性差异过程，捕捉 LLM 未涵盖的结构差异或偏差。
$f_L(x)$ 和 $\delta(x)$ 均被建模为独立的零均值高斯过程（GPs）。

这种公式化允许代理模型利用廉价的 LLM 查询来更新真实保真度的后验分布。如果 LLM 预测与观测值吻合良好，差异保持较小，模型便能高效地利用 LLM 先验。如果预测不可靠，差异方差将占主导地位，发出需要进行真实世界评估的信号。

2. 决策机制：差异主导门控

为了决定是查询昂贵的真实保真度源还是依赖廉价的 LLM 源，LABO 采用基于差异主导比率的门控准则：
$p_\Delta(x) = \frac{\sigma^2_\delta(x)}{\rho^2\sigma^2_L(x) + \sigma^2_\delta(x)}$
该比率衡量归因于差异项 $\delta(x)$ 的总预测不确定性的比例。

可靠区域（ $p_\Delta(x) \le \tau$ ）：如果差异不确定性相对于总不确定性较低，则 LLM 预测被视为可靠。LABO 使用 LLM 保真度 GP 更新代理模型，而无需执行真实实验。
不可靠区域（ $p_\Delta(x) > \tau$ ）：如果差异占主导地位，则 LLM 信号不足以减少不确定性。LABO 触发真实保真度实验，以同时更新 LLM 和差异模型。

3. 优化工作流

热启动：LLM 被提示结合领域知识，提出高潜力候选项以进行初始真实实验，并生成覆盖搜索空间的广泛 LLM 保真度预测集（通过拉丁超立方采样）。
迭代循环：LABO 在复合代理模型上使用采集函数（如 UCB）选择候选项。对于每个候选项，它查询 LLM，评估门控准则，并仅在必要时选择性地执行真实实验。

主要贡献

原则性框架：提出了 LABO，这是一个双保真度 BO 框架，利用 KOH 联合 GP 模型将 LLM 衍生的预测与真实实验相结合。
理论保证：建立了累积后悔界，证明当 LLM 指导具有信息量时，LABO 能提高样本效率。分析表明，后悔值随限制真实保真度区域 $X^*_R$ （即实际需要真实实验的区域）的信息容量而缩放，该区域显著小于整个搜索空间，即使 LLM 信号存在噪声或误导。
实证验证：展示了 LABO 在多样化科学优化任务中的实际效用，表明在固定的真实保真度预算下，它比现有方法更高效地找到高性能配方。

实验结果

作者在六个科学优化任务上评估了 LABO，涵盖化学、材料科学、能源系统和营养学（例如：共价有机框架 COF 气体分离、富勒烯反应产率、液流电池性能）。

性能：LABO 始终优于基线方法，包括 Vanilla BO、LLAMBO、BOPRO 和 CAKE。在高维任务（如 COF、Sandwich）中，LABO 在有限预算内实现了更好的最终目标值。在低维任务中，它保持了稳定的收敛性。
样本效率：门控准则成功地将真实保真度评估集中在高不确定性子区域，同时利用 LLM 查询进行广泛的全球探索。这导致有效探索区域 $X^*_R$ 显著缩小。
鲁棒性：消融研究证实，性能提升源于 LLM 预测的信息性（基于先验知识），而不仅仅是初始化。LABO 在不同的 LLM 骨干网络（不同规模和推理能力）以及不同的门控阈值（ $\tau$ ）下均保持鲁棒。
成本效益：在 COF 任务的成本分析中，假设每次 LLM 查询成本为 1 美元，每次真实实验成本为 100 美元，LABO 以总计 964 美元的成本（使用 164 次 LLM 查询和 8 次真实实验）达到了与 Vanilla BO 相同的性能水平，而 Vanilla BO 的成本为 6000 美元（60 次真实实验）。

意义与主张

该论文声称，LABO 提供了一种实用且理论扎实的方法，用于将 LLM 集成到科学发现工作流中。通过显式建模 LLM 预测与现实之间的差异，LABO 避免了盲目信任 LLM 的陷阱，同时利用了其低成本、广泛探索的能力。

作者强调，他们的方法不需要对 LLM 的准确性做出结构性假设；该框架能够适应空间变化的不确定性。理论分析表明，LABO 通过将昂贵的真实实验限制在 LLM 信号无信息的领域逐渐缩小的子集中，从而实现了卓越的样本效率，在不增加实验预算的情况下加速了最佳科学配方的发现。