🤖 AI

PEARL: Solver-in-the-Loop Interactive Optimization Modeling from Natural Language

PEARL 是一个交互式优化建模系统，它利用结合了 Python 执行的多轮、求解器在环（solver-in-the-loop）框架，动态地测试、调试并修正自然语言表述，从而实现了比规模更小以及规模显著更大的单次提示（one-shot）语言模型更高的准确度。

原作者： Hongliang Lu, Zhong Li, Yuxuan Chen, Yuan Lan, Fan Zhang, Zaiwen Wen

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hongliang Lu, Zhong Li, Yuxuan Chen, Yuan Lan, Fan Zhang, Zaiwen Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人如何解决一个复杂的谜题，比如规划一条最有效的送货卡车路线，或者研究制作一种新食谱的最佳配料比例。在计算机科学的世界里，这被称为“优化建模”（optimization modeling）。这是一种将用自然语言描述的混乱、真实的现实问题，转化为计算机能够理解并解决的严格数学语言的艺术。长期以来，科学家们一直试图让机器人实现“一蹴而就”：你把问题交给机器人，它立即吐出完美的数学公式和代码。但就像人类在不看拼图块的情况下尝试解决魔方一样，机器人在第一次尝试时经常出错，要么漏掉了一个关键规则，要么搞混了数字。研究人员提出的核心问题是：我们能否教会这些机器人变得更像人类专家——他们不仅仅是猜测一次，而是尝试、检查、发现错误、修正，然后再次尝试？

这正是论文《PEARL》所探讨的内容。作者介绍了一个名为 PEARL 的新系统，它将优化建模视为一种交互式的对话，而不是一次性的“魔法表演”。在这个过程中，机器人与一个“求解器”（一个专门检查数学逻辑的程序）进行交流。PEARL 不仅仅是写出一个解法并寄希望于它是正确的，它被训练得像一名侦探。它编写一份草案，通过测试运行它，观察哪里出了问题，然后利用这些反馈来修改自己的工作。它不断进行这种“求解—调试—修正”的循环，直到方案完美无缺。论文指出，这种交互式方法比传统的“一次性”（one-shot）方法效果更好。事实上，他们发现，一个经过这种新交互式方法训练的相对较小的机器人模型（拥有 40 亿个“脑细胞”或参数），其表现竟然优于那些仅靠一次性猜测的庞大巨型模型（拥有 6850 亿个参数）。这就像是在展示：一个懂得检查自己工作的、训练有素的小学徒，能比一个只有一次机会铺砖、却未经训练的庞大建筑队盖出更好的房子。

问题所在：“一次性”陷阱

多年来，让 AI 解决这些数学问题的标准方式是将它视为一场“猜答案”的游戏。你会给 AI 输入一段问题的描述——例如，“我们需要在保持所有包裹重量在 50 磅以下的前提下，最小化运输成本”——然后 AI 会尝试一次性写出完美的数学代码。问题在于，这极其困难。现实世界的问题是混乱的。一个小小的错误，比如忘记了一条规则或弄混了一个数字，都会导致整个方案失败。

论文指出，这种“一次性”方法与人类实际的工作方式截然不同。当人类专家构建模型时，他们很少能一次就成功。他们会起草一个计划，进行测试，意识到某些地方不对劲（也许是计算机提示“这不可能”），然后调整计划。他们重复这个循环，直到成功为止。旧的 AI 方法并没有真正学习这个循环；它们只是试图记住最终答案。

解决方案：PEARL，交互式侦探

作者创建 PEARL 是为了改变这一局面。PEARL 不是一次性的猜测，而是一个生活在循环中的“智能体”（agent）。它是如何运作的呢？我们可以用一个简单的类比：

想象你在教一个机器人烤蛋糕。

草案： 机器人写下一份食谱（数学模型）。
测试： 机器人不仅仅是把食谱交给你，它实际上会在一个安全的虚拟厨房里尝试烤蛋糕（这就是“求解器”和“Python 执行”）。
反馈： 厨房会告诉机器人发生了什么。“噢不，蛋糕烧焦了，因为你忘了设置烤箱温度！”或者“面糊太稀了，因为你加了太多牛奶。”
修正： 机器人阅读这些反馈，修改食谱，然后再次尝试。

PEARL 之所以特别，是因为它并不只是遵循一套固定的规则来修复错误。它会“学习”何时该测试，如何阅读反馈，以及何时该停止。它学会了有时需要检查食材（数据），而有时需要改变烤箱温度（约束条件）。它将整个过程视为与计算机的一次对话，而不是一场独白。

重大发现：小而精胜过大而盲

论文中最令人兴奋的部分是他们在测试 PEARL 时发现的结果。他们将这个新系统与两类竞争对手进行了对比：

“一次性”巨头： 规模巨大且功能强大的 AI 模型（如拥有 6850 亿参数的 DeepSeek-V3.2），它们虽然庞大，但只有一次解决问题的机会。
“小型”基准模型： 规模较小的模型（如 40 亿参数的 Qwen3），它们只是在没有交互式训练的情况下被要求进行猜测。

结果令人惊讶。经过交互式训练的 PEARL 小模型（4B 规模）表现得比那些庞大的巨型模型更好。

数据： 在针对许多不同问题的庞大测试中，PEermal 模型（4B 规模）获得了 69.71% 的得分（这被称为“Macro Avg Pass@1”）。而庞大的 DeepSeek 模型（685B 规模）仅获得了 66.51%。
启示： 这表明，对于这类特定的数学问题，知道“如何检查自己的工作并修正错误”比单纯拥有一个巨大的大脑更为重要。一个懂得利用“求解器”来自我调试的小模型，可以击败一个只会盲目猜测的巨型模型。

为什么这很重要

论文认为，我们不应该只是不断扩大 AI 模型的大小并寄希望于它们在数学方面变得更好。相反，我们应该教会它们具备交互能力。通过让 AI 与求解器“对话”、运行代码并从自身的错误中学习，我们可以构建出更可靠、更准确的系统。

作者也谨慎地指出，这并不意味着 AI 现在就能完美解决“所有”问题。在面对非常复杂或混乱的现实数据时，仍然存在局限性。但这项研究有力地证明了，数学和科学领域 AI 的未来不在于规模，而在于教会这些系统具备好奇心、去测试自己的想法，并从失败中学习。这是一种从“猜测答案”到“学习如何找到答案”的转变。

简而言之，PEARL 表明，如果你给机器人一个检查作业并修正错误的机会，它会成为一个比那个因过于自傲而拒绝寻求帮助的巨型机器人更优秀的学霸。

技术摘要：PEARL —— 基于自然语言的求解器在环交互式优化建模

1. 问题陈述

优化建模涉及将通常以自然语言（NL）描述的现实世界决策问题，转化为形式化的数学表达和可执行的求解器代码。虽然大语言模型（LLMs）在自动化这一任务方面已展现出潜力，但现有方法主要将其视为一个单次生成问题（one-shot generation problem）。当前的方法要么依赖于固定的提示词（prompting）、手工设计的流程，要么依赖于监督微调，旨在一次性生成完整的数学模型。

这种范式无法捕捉现实建模中本质的交互特性，即人类专家参与的重复性的“求解–调试–修正”（solve–debug–revise）循环。约束条件、索引或数据绑定中的微小错误往往会导致模型不可行或产生静默运行时错误。现有的自动化系统很少以求解器反馈为条件、通过执行部分模型来诊断问题，或学习何时终止。因此，生成的输出经常会出现约束幻觉或在运行时失败。本文认为，优化建模不应被重新定义为静态文本生成，而应被视为一个多轮、工具集成的决策过程，其中智能体学习如何通过与求解器交互来验证并完善其输出。

2. 方法论：PEARL 框架

作者引入了 PEARL（基于工具集成智能体强化学习的交互式优化建模），该系统将优化建模形式化为一个基于情节的部分可观测马尔可夫决策过程（POMDP）。

2.1 POMDP 形式化

状态 ( $S$ )： 潜在的环境状态包括真实的题目语义、隐藏的模型错误以及求解器的内部状态，这些都是不可直接观测的。
观测 ( $O$ )： 智能体观测到自然语言规范、对话历史、中间代码产物，以及至关重要的工具反馈（运行时日志、求解器状态如“不可行”或“最优”、目标值以及验证报告）。
动作空间 ( $A$ )： 智能体在两类动作之间进行选择：
1. 自然语言动作： 修订或扩展数学公式（变量、目标函数、约束条件）及实现计划。
2. 工具调用动作： 触发 Execute 工具（运行 Python 代码并调用求解器）或 Validate 工具（执行确定性检查）。
终止 ( $T$ )： 当智能体输出最终答案（公式 + 代码）或耗尽轮次/时间预算时，情节结束。

2.2 环境与工具

环境提供了两个一等公民工具：

Execute（执行）： 在沙盒化的、资源受限的运行时环境中运行生成的 Python 代码。它返回结构化反馈，包括求解器状态（最优、不可行、无界）、目标值和提取的解。
Validate（验证）： 对产物进行确定性检查（例如约束满足情况），并在存在参考解时将其目标值与参考值进行比较。
不同于以往将执行作为事后评估的工作，PEARL 将这些追踪信息和诊断信息直接纳入观测流，从而使智能体能够根据反馈进行迭代修正。

2.3 奖励设计

奖励函数 $R(\tau)$ 被设计为可验证且基于求解器落地的，避免了基于文本的代理指标。它由两部分组成：

格式奖励 ( $r_{fmt}$ )：为正确的工具调用语法和对输出格式的遵循提供稠密激励，通过抑制无效交互来稳定训练。
正确性奖励 ( $r_{corr}$ )：基于求解器执行。如果存在参考最优值 $v_{label}$ ，当生成的解的目标值 $v_{pred}$ 满足 $|v_{pred} - v_{label}| \le \epsilon$ 时，智能体将获得正向奖励。这直接奖励了求解器的正确性，而非启发式的良好形式。

2.4 训练目标

PEARL 采用具有多轮展开（rollouts）的智能体强化学习（Agentic Reinforcement Learning）。

策略优化： 策略从预训练的 LLM 开始，并使用带有解耦裁剪（decoupled clipping）（受 DAPO 启发）的 GRPO 式强化学习进行优化，以处理工具增强型环境中高方差的回报。
信用分配： 奖励是稀疏且延迟的。系统在批次内对轨迹级回报进行归一化以计算优势（advantages），从而实现对整个“求解–调试–修正”轨迹的长程信用分配，而非仅仅针对最终输出。
课程学习： 训练适应优化领域的特定挑战，从短小、完全指定的实例过渡到长上下文和工业级输入，同时将求解器的非确定性视为环境噪声。

3. 核心贡献

重新定义建模概念： 本文将优化建模形式化为一个交互式的、多轮的决策问题，其中求解器执行和诊断反馈被视为可观测的状态组件，这与传统的单次生成有显著区别。
针对优化的智能体强化学习： 引入了首个专门用于优化建模的智能体强化学习方法，使智能体能够学习何时执行、如何根据求解器诊断进行修正以及何时终止，而不是依赖固定启发式规则。
紧凑模型的卓越表现： 大量实验证明，PEARL 显著提升了经过验证的求解率，优于强大的单次生成和工具增强基线。值得注意的是，PEARL-Qwen3-4B（一个 4B 参数的模型）在优化任务的宏观和微观平均准确率上，明显优于规模更大的通用模型，包括 DeepSeek-V3.2-685B。

4. 实验结果

作者在多个基准测试（NL4Opt, MAMO, NLP4LP, OptMATH, IndustryOR, ComplexOR, Resocratic）上对 PEARL 进行了评估。

性能与规模的关系： PEARL-4B 实现了 69.71% 的宏观平均 Pass@1，超越了 DeepSeek-V3.2-685B (66.51%) 和 GPT-5 (71.40%)。在处理如 MAMO ComplexLP 和 Resocratic 等复杂且描述不充分的基准测试时，它表现出了特别强劲的增益。
交互 vs. 支架（Scaffolding）： 消融研究证实，性能提升源于学习到的交互策略，而非仅仅是工具支架的存在。使用相同工具接口但未进行智能体强化学习训练的基础模型，其准确率显著较低。
失效模式分析： PEARL 的训练使失效模式从执行和解析错误（如代码/运行时、格式提取）转向了更偏向建模的问题（如目标函数不匹配、不可行性）。这表明智能体成功学会了修复实现错误并与求解器交互，尽管结构性建模错误仍然具有挑战性。
训练动态： 工具使用行为在训练早期趋于收敛，而后期训练则精炼了建模轨迹的细节和结构。监督微调（SFT）是一个有用的热启动手段，但与基于求解器落地的智能体强化学习相比，它并不是最终性能的主要驱动力。

5. 重要性与声明

本文声称，在优化这类结构化决策问题中，学习到的交互和反馈利用能力可以超越原始的模型规模。通过将建模视为一个交互过程，PEARL 使紧凑模型（如 4B 参数）能够达到与规模大得多的通用模型相当甚至更高的性能，使得重复的智能体调用在实际部署中更加可行。

作者对其声明的范围保持了审慎的态度：

结果展示了在当前 公开 NL-to-Opt 领域 的有效性。
基准测试并未涵盖现实世界的全部复杂度；随机性、鲁棒性以及高度特定领域的企业级设置仍未得到充分体现。
基于求解器的验证是部分的；虽然它提高了可行性，但无法完全保证针对歧义规范的结构正确性。

未来的工作建议将智能体建模扩展到具有更丰富验证器和更具适应性交互策略的随机性和鲁棒性场景中。