🤖 AI

Large Language Models as Optimizers: A Survey of Direct vs. Tool-Augmented Approaches and Their Performance Frontiers

本综述将大语言模型在数学优化中的应用划分为直接式、工具增强式和工具创建式三种范式，分析了它们的性能前沿，并指出虽然直接式方法具有未来潜力，但工具增强式方法目前在可审计性方面表现更优，而工具创建式策略对于重复性问题最终可能提供最佳的运行效率。

原作者： Roko Peran, Luka Hobor, Mihael Kovac, Mario Brcic

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Roko Peran, Luka Hobor, Mihael Kovac, Mario Brcic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、博学多才的图书管理员（即大语言模型，简称 LLM），他擅长解决各种谜题。你给他一个用直白英语描述的、混乱的现实世界问题，比如“想办法把 50 个包裹送到不同的住户手中，且不耗尽汽油”。

这篇论文调查了这位图书管理员尝试解决该问题的三种不同方式。你可以把它们看作是三种不同的职位描述。

1. “试错型”图书管理员（直接优化）

运作方式： 图书管理员完全在脑海中尝试解决这个谜题。他写下一个方案，检查是否可行，意识到有点偏差，然后写下一个稍微好一点的新方案。他不断重复这种“猜测、检查、改进”的循环。

类比： 这就像是在没有地图的情况下，试图通过在迷宫中行走来寻找最佳路径——撞到墙，回头，再尝试另一条路。
缺陷： 这对于小型迷宫（简单问题）效果很好。但如果迷宫变得巨大（比如一个拥有数千条街道的城市），图书管理员就会感到困惑。他们会开始编造不存在的规则，或者遗忘重要的细节。论文指出，一旦问题变得过于复杂，这种方法就会遇到“推理悬崖”并停止有效工作。

2. “翻译官兼项目经理型”图书管理员（工具增强优化）

运作方式： 图书管理员不再亲自解决谜题，而是充当一名翻译官。他将你那混乱的英文描述转化为一种严格的、正式的数学语言（类似于代码或蓝图）。然后，他将这份蓝图交给一个超快、专业的机器人（即“求解器”），后者是处理数字计算的专家。机器人解决问题后，如果出现了错误，图书管理员会尝试修正蓝图并再次询问机器人。

类比： 图书管理员是绘制蓝图的建筑师，而机器人是实际建造房屋的施工队。图书管理员不负责砌砖，他们只负责确保设计图是正确的。
缺陷： 对于大型、结构化的问题，这是最准确的方法。然而，图书管理员的水平取决于他们的翻译能力。如果他们写错了蓝图（例如，漏掉了一面墙或一扇门），机器人将会完美地建造出一座与你初衷不符的房子。论文强调，虽然机器人在数学方面是完美的，但图书管理员在翻译过程中经常犯下难以察觉的“隐性错误”。

3. “工具制造型”图书管理员（工具创建优化）

运作方式： 图书管理员不再针对某一个特定的谜题或某一个特定的请求进行解决，而是发明一种全新的机器或一套可复用的规则手册，用以解决一整类类似的谜题。一旦他们制造出这台机器，他们就可以反复使用它，而无需再次向图书管理员寻求帮助。

类比： 与其每次都走一遍迷宫，不如设计一个能走通任何迷宫的机器人。他们会花很多精力和计算资源去构建这个机器人一次，但之后他们可以瞬间且免费地让机器人走过 1,000 个迷宫。
缺陷： 构建工具本身需要大量的精力和计算能力。此外，有时他们发明的工具非常出色，但有时也只是无法被他人重复的偶然巧合。论文指出，这是一个快速发展的领域，因为一旦工具建成，其效率是极高的。

核心结论：哪种最好？

这篇论文将这三种方法比作一个权衡菜单：

直接法（试错型）： 适用于没有明确规则手册的小型、混乱的问题。但随着复杂度增加，其可靠性会下降。
工具增强法（翻译官型）： 对于大型、结构化的问题（如物流或调度），这是最可靠的方法，前提是翻译必须完美。它能从机器人那里获得一份“正确性证明”，但前提是图书管理员没有搞错指令。
工具创建法（工具制造型）： 从长远来看是最有效率的。如果你必须反复解决同类型的问题，与其每次都向图书管理员求助，不如先花精力制造一个可复用的工具。

“推理差距”
论文最后提出了一个警告：即使是最聪明的图书管理员（最先进的 AI 模型）在处理深度、复杂的逻辑时也会感到吃力。他们非常擅长识别以前见过的模式，但在需要发明一套全新的逻辑路径时，往往会失败。

未来的策略
作者认为，未来的明智之举不在于让图书管理员直接变得更擅长解决每一个谜题，而在于工具制造。即便未来的 AI 变得超级强大，让 AI 先制造一个专门的工具，再让一个更小、更便宜的 AI 去使用该工具解决成千上万个问题，依然会更加高效。这就像是聘请一位名厨为餐厅烹饪每一道菜，与聘请他发明一种食谱和一台机器，然后让一名普通厨师操作这台机器之间的区别。

技术摘要：作为优化器的大语言模型

问题陈述

现实世界的优化问题通常源于自然语言描述（例如，物流约束、实验目标），这些描述需要转化为形式化数学程序，以便传统求解器（如 Gurobi、CPLEX、Z3）能够进行处理。尽管大语言模型（LLM）在弥合这一差距方面展现出了潜力，但在处理复杂的数学优化问题时仍面临重大障碍。核心挑战在于如何在 LLM 的直接推理灵活性与外部求解器的数学严谨性之间寻找平衡，特别是在问题复杂度增加时。当前的架构难以克服“推理鸿沟”（reasoning gap），即 LLM 依赖模式匹配而非真正的算法推理，这导致即使在求解器执行代码没有语法错误的情况下，仍然存在建模错误。

方法论：三种范式

本综述将基于 LLM 的优化分为三种不同的范式，每种范式都有其独特的机制和性能特征：

1. 直接优化 (Direct Optimization)

在此范式中，LLM 本身充当优化器，在不使用外部求解器的情况下在解空间中进行搜索。

机制： 模型生成候选解，接收关于目标值的反馈，并使用诸如思维链（CoT）、思维树（ToT）和迭代提示（如 OPRO、SGE）等提示策略进行迭代优化。
演进： 该方法已从简单的提示词工程演变为微调（如 E2E CO Solver、LLaMoCo），使模型通过监督微调（SFT）和强化学习（RL）内化优化启发式算法，而非从零开始推理。
适用范围： 适用于结构化程度低或评估成本高昂的场景（如超参数调优、化学合成），在这些场景下，领域知识可以加速搜索过程。

2. 工具增强优化 (Tool-Augmented Optimization)

在此范式中，LLM 作为翻译器和编排器，将自然语言转换为正式规范（LP、MILP、SAT），并将其分发给外部求解器。

机制： 工作流遵循以下流程：自然语言 $\rightarrow$ LLM 建模 $\rightarrow$ 求解器代码 $\rightarrow$ 执行 $\rightarrow$ 错误反馈。先进的系统采用多智能体架构（建模者/程序员/评估者）或以数据为中心的微调（如 ORLM、SIRL）来提高建模准确性。
重点： 主要挑战是“建模正确性”。近期的研究（2025–2026）侧重于检测“隐性建模失败”现象，即代码执行顺畅但编码的模型逻辑错误。技术手段包括语义锚点重构（SAC-Opt）、针对替代模型的组合搜索（Autoformulation）以及行为验证（ReLoop）。

3. 工具创造优化 (Tool-Creating Optimization)

此范式利用 LLM 在求解器或元启发式框架内发现可重用的算法或启发式算法，而不是解决单个问题实例。

机制： LLM 在进化搜索中充当变异算子（如 FunSearch、EoH），或者生成“言语梯度”（verbal gradients）来优化启发式算法（ReEvo）。
经济模型： 虽然在生成工具时会产生高昂的前期 LLM 成本，但这些方法在部署后能实现几乎为零的边际 LLM 成本，因为可重用的工具可以在重复使用中实现成本摊销。

核心贡献与结果

性能前沿与基准测试

本文综合了近期文献中的性能数据，确立了当前的性能前沿：

直接优化： 在小规模或特定领域表现强劲（例如，通过 OPRO 在 BBH 上提升了 50%；通过 LLAMBO 将化学收率从 25.2% 提升至 60.7%）。然而，当变量超过约 20 个时（例如在 TSP 问题上），性能显著下降，此时简单的启发式算法表现优于 LLM。
工具增强优化： 在简单基准测试上达到了接近完美的准确率（如 NL4Opt 为 97.3%），但面临“复杂度悬崖”。在现实工业问题（IndustryOR）上，准确率降至 57%；在组合式多约束场景（RetailOpt-190）中，准确率降至 31.1%。
工具创造优化： 已在算法发现领域产生了最先进（SOTA）的结果，例如比经典启发式算法更优的装箱策略（FunSearch），以及在 Google 的 Borg 集群上部署的调度启发式算法（AlphaEvolve），后者实现了 23% 的加速。

推理鸿沟

本综述的一个重要贡献是识别了“推理鸿沟”。

可行性 vs. 正确性： 在组合场景下，像 DeepSeek-V3.2 这样的模型虽然实现了 91.1% 的求解器可行性，但建模正确率仅为 0.5%。
模式匹配： 有证据表明，LLM 依赖模式匹配而非算法推理。当问题复杂度增加时，推理努力程度达到峰值后随即下降，导致“完全准确度崩溃”。
错误类型： 系统性错误包括缺失约束、变量类型错误以及目标函数不匹配。

权衡对比

本文通过对比分析（表 II）强调了：

工具增强型方法提供了最高的审计性和形式化保证（前提是建模正确），但受限于建模准确性。
直接型方法提供较低的审计性和无形式化保证，但在小规模或结构化程度低的上下文中表现出色。
工具创造型方法提供了具有中等审计性的新型 SOTA 启发式算法，平衡了高昂的前期成本与零边际部署成本。

重要性与主张

论文认为，范式的选择取决于特定的问题约束和模型能力。

直接方法的局限性： 尽管直接优化正在扩展，但高复杂度下的推理鸿沟限制了其可扩展性。
工具制造的必要性： 作者认为，“工具制造”（创建可重用的求解器组件或建模模板）是未来最有前景的方向。即使模型变得更加强大，针对每个实例进行直接求解的单次机会成本也可能超过其收益。通过创建可重用的工具，可以将 LLM 的推理成本摊销到整个问题族中，从而提供比单次推理更高效的运营路径。
复现性危机： 本综述强调了工具创造子领域存在的复现性危机，即 SOTA 声明（如 FunSearch 的 cap set）往往基于由于依赖专有基础设施或路径依赖而难以独立复现的结果。作者呼吁建立社区规范，要求对封闭系统声明进行标注，并报告结果分布而非仅报告最优结果。

总之，该综述指出，尽管 LLM 越来越多地参与优化领域，但必须解决“复杂度悬崖”和“建模正确性”瓶颈。未来的发展轨迹可能倾向于混合或工具创造策略，即利用 LLM 进行算法发现和模板生成，并将形式化求解器保留用于执行和验证。