🤖 machine learning

COOPA: A Modular LLM Agent Architecture for Operations Research Problems

COOPA 是一种模块化 LLM 智能体架构，通过基于置信度的迭代建模、元素级溯源解释以及多求解器路由，增强了运筹学决策支持，并在多种基准测试中实现了最先进的准确性与可解释性。

原作者： Chuanhao Li, Xiaoan Xu, Dirk Bergemann, Ethan X. Fang, Yehua Wei, Zhuoran Yang

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Chuanhao Li, Xiaoan Xu, Dirk Bergemann, Ethan X. Fang, Yehua Wei, Zhuoran Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据客户一段模糊的描述来制造一台复杂的机器，比如一辆定制汽车。在动手建造之前，你需要弄清楚精确的零件、发动机规格以及安全规则。

运筹学 (Operations Research, OR) 是用于处理这类高风险决策（例如规划送货卡车路线或安排工厂工人排班）的数学领域。问题在于，手动完成这些工作需要具备博士水平的专家。

最近，我们尝试使用 大语言模型 (LLMs) ——即那些能写诗或编写代码的同类 AI ——来帮我们做这些数学运算。但论文指出，目前的 AI 尝试就像雇佣了一名非常自信但略显糊涂的实习生：它们经常把基础数学算错，不解释出错的原因，且只能使用一种特定类型的工具。

于是有了 COOPA (COoperative OPerations Agent，协作运营智能体)。你可以将 COOPA 视为不仅仅是一个单一的工人，而是一个旨在正确构建这些数学模型的专业施工队。它是通过以下三种主要工具来实现目标的：

1. “第二意见”团队 (基于置信度的迭代建模)

目前的 AI 通常尝试解决一个问题，写出代码，然后祈祷它能运行。如果数学逻辑错了，即使代码能跑通，得出的结果也会是错误的。

COOPA 则不同。想象一下，你要求三位不同的建筑师为你的汽车绘制蓝图。

步骤 A： 他们都画出各自的版本。
步骤 B： 一个“安全检查员”（AI 本身）会对每份蓝图进行审查。它不仅仅是说“好”或“坏”，而是针对四个特定部分给出置信度评分（0–100）：零件清单（参数）、运动部件（变量）、目标（目标函数）以及安全规则（约束条件）。
步骤 C： 系统会选择那个拥有最高“最差情况”得分的蓝图。

类比： 如果建筑师 A 有完美的发动机但安全规则很糟糕（评分：90, 90, 90, 30），而建筑师 B 的发动机稍弱但安全规则完美（评分：85, 85, 85, 95），COOPA 会选择建筑师 B。因为它知道，一个薄弱环节就会导致整个链条的崩溃。这个过程会重复几次，让 AI 在开始制造机器之前就能修正自己的错误。

2. “纸质审计追踪” (来源可追溯性)

当目前的 AI 给你一个答案时，它往往是一个“黑盒”。你得到了一个数字，却不知道它从何而来。如果你问：“为什么你把工人 A 分配到工位 5？”AI 可能只会回答：“因为我这么认为。”

COOPA 表现得像一名细致入微的法务会计。

每当它写下一个变量或一条规则时，它都会附上一张“便利贴”，引用原始问题描述中支撑该内容的准确句子。
益处： 如果最终答案错了，人类专家可以立即查看这些“便利贴”，发现 AI 误读了某句话，并进行修正。它将一个谜团变成了一个透明的审计流程。

3. “专业工具库” (多求解器调度)

想象你有一个工具箱。如果你需要钉钉子，就用锤子；如果你需要切割木头，就用锯子。

目前的 AI 系统通常试图用一把瑞士军刀搞定一切。它们强行将每个数学问题都转化为一种特定的格式（如线性方程），即使该问题实际上是一个需要不同方法的复杂谜题。
COOPA 拥有一个包含四种不同专业专家的工具库：
- 数学家： 处理标准的代数和线性方程。
- 组合数学专家： 处理路径规划和调度谜题（如旅行商问题）。
- 元启发式算法专家： 处理复杂的非线性问题，这些问题需要进化算法（如寻找汽车零件的最佳形状）。
- 通用型专家： 处理自定义模拟。

COOPA 会观察问题，识别出它属于哪种“谜题”，然后将其交给对应的专家。这意味着它不会强行将方榫头塞进圆孔里。

结果：效果如何？

作者使用三种不同的数学问题集和八种不同的“大脑”模型（从 GPT-5 到开源模型）对 COOPA 进行了测试。

得分： COOPA 获胜次数最多，在测试的 8 个 AI 模型中，有 6 个模型取得了最高的平均准确率。
提升： 在最强的模型上，它将准确率提升了高达 6.7 个百分点。
秘诀： 论文发现，“第二意见团队”（生成并选择最佳蓝图的迭代过程）是成功的关键。如果没有它，COOPA 的表现与其它系统不相上下；有了它，它便成为了明显的赢家。

局限性

论文承认，运行 COOPA 比其他方法更慢、更贵。因为它要求 AI 进行思考、重新思考并对其工作进行三次评估，所以会消耗更多的计算资源。然而，作者认为，对于涉及供应链或公共政策等高风险决策的任务，为了确保数学计算正确而支付额外的成本是值得的。

简而言之：COOPA 是一个通过让 AI 实现“思考两次、展示过程并使用正确工具”来使其更擅长数学的系统。

技术摘要：COOPA —— 一种用于运筹学问题的模块化 LLM 智能体架构

1. 问题陈述

运筹学（Operations Research, OR）为供应链、能源和金融等领域的决策提供了严谨的框架。然而，有效的 OR 建模仍然是高度依赖专业知识的过程，需要将自然语言描述转化为数学变量、目标函数和约束条件，随后进行求解器实现。

近期的大语言模型（LLM）系统尝试自动化这一流程，但面临三个关键局限性：

复杂问题准确率低： 主要瓶颈不在于代码生成（代码生成通常能通过），而在于建模错误（formulation errors）。研究表明，50%–70% 的失败源于不完整的建模、错误的变量定义或错误的决策目标设定。目前的系统通常在单次尝试中生成单一模型，缺乏在代码执行前纠正语义错误的机制。
输出不透明： 现有系统提供模型和解法，但缺乏元素级的溯源性（element-level provenance）。用户无法将特定的模型元素（参数、约束）追溯到原始文本，必须手动重建 LLM 的推理过程以验证正确性。
求解器支持僵化： 大多数系统硬编码了特定的求解器后端（如 Gurobi, Pyomo）。适配新的问题类别（如多目标优化、非凸优化）或求解器库通常需要重新训练或进行重大的架构调整。

2. 方法论：COOPA 架构

作者提出了 COOPA（协同运营智能体，COoperative OPerations Agent），这是一个基于 smolagents 构建的模块化、分层式多智能体系统。它通过以下三个核心组件解决了上述局限性：

A. 具有来源可追溯性的结构化建模

COOPA 不采用自由格式生成，而是将问题描述映射到一个包含四种元素类型的结构化模式（基于 Pydantic）：

参数 (Parameters)： 带有来源引用的数值和定义域。
变量 (Variables)： 带有边界和来源引用的决策变量。
目标 (Objective)： 带有方向、数学表达式及来源引用的目标函数。
约束 (Constraints)： 带有表达式、类型及来源引用的约束条件。

每个元素都包含一个 SourceReference 字段，引用驱动该元素的原始问题描述中的确切文本。这建立了从问题陈述到数学模型的审计追踪，便于人工验证。

B. 基于置信度的迭代模型选择

为了减轻建模错误，COOPA 不会直接提交单一输出。相反，它采用迭代循环：

生成： 系统生成 $k$ 个候选模型（默认 $k=3$ ）。
自我评估： 对于每个候选模型，LLM 会为其分配一个置信度分数（0–100）以及针对四个维度（参数、变量、目标、约束）的自然语言解释。
选择： 系统使用 最大最小准则（max-min criterion） 选择最终模型： $M^* = \arg\max_i (\min_j c_{i,j})$ 。该准则选择具有最高“最差情况”置信度的候选模型，确保没有任何单一维度存在严重缺陷。
精炼： 后续候选模型（ $M_2, \dots, M_k$ ）利用之前候选模型及其评估的历史信息进行生成，使模型能够显式地解决低置信度维度的不足。

C. 多求解器调度

COOPA 将问题分类与求解器执行解耦。调度智能体会对选定的模型进行分类，并将其路由至四个专门的**优化器智能体（Optimizer Agents）**之一：

数学优化器 (Mathematical Optimizer)： 使用 Pyomo（配合 GLPK/IPOPT）处理线性规划 (LP)、混合整数规划 (MIP) 和非线性规划 (NLP)。
组合优化器 (Combinatorial Optimizer)： 使用 Google OR-Tools 处理路径规划、调度和指派问题。
元启发式优化器 (Metaheuristic Optimizer)： 使用 pymoo（如 NSGA-II）处理非凸、黑盒和多目标问题。
通用优化器 (General Optimizer)： 使用标准的 Python/NumPy 处理基于模拟或自定义数值任务。

这种架构允许通过定义一个新的智能体来轻松添加新的求解器后端，而无需修改建模或选择阶段。

3. 核心贡献

基于置信度的迭代建模： 一种新颖的机制，通过生成多个候选建模方案并基于最大最小置信度准则选择最稳健的一个，直接针对建模阶段的瓶颈。
来源可追溯性： 一种结构化输出模式，将每个建模元素链接到引用的源文本，提供了人工验证的审计追踪。
可扩展的多求解器调度： 一种模块化架构，可将问题路由至专门的求解器智能体（Pyomo, OR-Tools, pymoo 等），从而在无需重新训练的情况下支持多样化的 OR 问题类别。
全面的评估： 在三个数据集（ComplexLP, IndustryOR, BWOR）、八个 LLM 基座（包括 GPT-5, GPT-4.1, o3, o4-mini, Gemini-3-Flash, Qwen3）和四个基线模型上进行了基准测试评估。

4. 实验结果

性能： COOPA 在所有基座模型上实现了最高的宏平均准确率 (64.8%)，超过了表现次优的方法（OR-LLM-Agent 为 61.6%），领先 3.2 个百分点。它在 8 个基座中的 6 个 上都取得了最佳性能。
增益： 相比于最强的基线，其提升最高达 6.7 个百分点（在 GPT-5 上）和 6.3 个百分点（在 GPT-4.1 上）。
消融实验： 移除迭代建模组件（仅解决第一个候选模型）会导致跨模型平均准确率从 64.8% 下降到 61.8%。这证实了基于置信度的迭代建模是 COOPA 性能提升的主要驱动力。
置信度相关性： 置信度评分的提升与准确率增益之间存在正相关关系（ $r=0.58, p=0.003$ ），表明置信度评估器为选择更好的建模方案提供了真实的信号。
求解器调度： 虽然当前基准测试中 91.1% 的问题被路由到了数学优化器（反映了数据集以 LP/MIP 为主），但案例研究展示了系统将多目标问题正确路由至元启发式优化器 (pymoo) 的能力，从而获得了完整的帕累托前沿（Pareto fronts），而单求解器基线在此类问题上会失败或返回次优的标量化解。

5. 重要性与主张

论文声称，COOPA 通过从单次生成转向迭代自我修正和结构化验证，解决了 LLM 在 OR 领域中的“建模瓶颈”。

可解释性： 通过提供来源可追溯性和置信度解释，COOPA 超越了“黑盒”生成，允许从业者审计特定建模决策背后的逻辑。
可扩展性： 模块化设计允许系统在无需重新训练核心 LLM 的情况下，适应新的求解器后端和问题类别（如多目标优化），克服了基于微调方法的局限性。
迭代的作用： 作者强调，当基座模型足够强大能够进行自我修正但尚未达到饱和时，迭代精炼的效果最为显著。该机制起到了“均衡器”的作用，既为较弱的模型带来了显著收益（例如在 Qwen3-30B 上提升了 +8.9%），同时也维持或略微提升了强力模型的性能。

局限性与未来工作：
作者承认，由于现有基准测试中 LP/MIP 占据主导地位，多求解器调度的实证验证目前还不够充分。他们指出，迭代过程增加了计算成本（与单次生成方法相比，Token 使用量增加了约 7 倍）。未来的工作包括在更多样化问题类型的广泛基准上进行测试，通过用户研究评估可追溯性对人工验证效率的影响，以及集成基于训练的模型（如 ORLM）作为基座智能体。

论文将 COOPA 定位为一种决策支持系统，而非自主决策系统，旨在降低 OR 建模的专业门槛，同时通过透明度和可审计性保持人类的监督。