技术摘要：CAPO —— 面向 LLM 智能体的约束感知提示词优化

1. 问题定义

大语言模型（LLMs）正越来越多地作为智能体被部署，它们依赖系统提示词（system prompts）来使用外部工具执行任务。虽然这些智能体可能成功完成任务，但它们往往因操作约束（如过度使用工具、不必要的真人介入、过长的提示词或违反安全与格式策略）而无法满足部署要求。

现有的自动提示词优化方法通常无法有效解决这些约束问题，因为它们依赖于：

• 静态权重评分： 在搜索开始前分配固定的系数，这在“绑定约束”（即最常被违反的要求）随领域或优化轮次发生变化时，无法进行自适应调整。
• 帕累托排序（Pareto Ranking）： 仅识别帕累托最优提示词，而不确保其满足特定的部署阈值，这可能导致所有候选方案都处于不可行区域之外。
• 后训练（Post-Training）： 需要访问模型权重和监督数据，这对于冻结的模型或仅提供 API 的模型来说通常是不可行的。

本文将该问题形式化为一个阈值约束优化问题：
$$\max_{p \in \mathcal{P}_{text}} R(p) \quad \text{s.t.} \quad C_i(p) \leq \tau_i, \quad i = 1, \dots, m$$
其中 $R(p)$ 是任务奖励，$C_i(p)$ 是约束 $i$ 的成本，$\tau_i$ 是明确的预算。目标是找到一个既能最大化任务性能，又能同时满足所有约束的提示词。

2. 方法论

本文引入了 CAPO（约束感知提示词优化），这是一种利用自适应拉格朗日乘子将提示词优化视为约束搜索问题的原对偶（primal–dual）方法。

2.1 CAPO：基于冻结重写器的原对偶搜索

CAPO 轮流进行操作，在原步骤（重写提示词）和对偶步骤（更新约束权重）之间交替进行。

• 拉格朗日排序： 对于一组乘子 $\lambda_i \geq 0$，该方法定义了一个拉格朗日目标函数：
  $$J(p, \lambda) = R(p) - \sum_{i=1}^m \lambda_i (C_i(p) - \tau_i)$$
  提示词根据 $J(p, \lambda)$ 进行排序。这种排序指导了父提示词的选择进行重写，并决定哪些提示词被保留在池中。
• 近似原步骤重写： 一个冻结的“评论家（critic）”LLM 总结任务失败和约束违规情况。随后，一个冻结的“重写器（rewriter）”LLM 根据这些证据和当前的对偶状态（乘子）生成新的提示词。重写指令明确包含了权重 $(1, \lambda_1, \dots, \lambda_m)$，以优先处理具有较大乘子的约束。
• 残差驱动的对偶更新： 在评估扩展后的提示词池后，乘子通过基于顶级候选者经验残差的投影次梯度步进行更新：
  $$\lambda_i \leftarrow \Pi_{[0, \lambda_{max}]} \left[ \lambda_i + \beta \left( \frac{1}{|P_{best}|} \sum_{p_j \in P_{best}} \hat{\rho}_{i,j} - \tau_i \right) \right]$$
  如果违反了约束（$\hat{\rho} > \tau$），其乘子就会增加，从而增加其在未来排序和重写中的权重。如果存在余量，则乘子会减少。
• 提示词池： 保留强力候选者的提示词池允许成功的重写在后续轮次中作为种子。

2.2 DCAPO：动态训练的 CAPO

为了提高效率和适应性，作者引入了 DCAPO，它学习一个基于反馈且受对偶条件约束的重写器策略（$\pi_\theta$），而不是依赖于冻结的 LLM。

• 训练： DCAPO 使用基于池的 GRPO（组相对策略优化）。它从不断演进的提示词池中采样父提示词，生成一组子提示词，使用冻结的任务智能体进行评估，并根据自适应拉格朗日分数更新重写器策略。
• 条件约束： 重写器以父提示词、深度序列中的前一次重写、行为轨迹（工具调用、失败情况）以及当前对偶状态 $\lambda_t$ 为条件。
• 关注点分离： 部署的任务智能体保持冻结；仅对重写器进行训练。

2.3 理论分析

论文提供了一个表征该方法收敛性的代理分析。它将离散文本重写建模为连续代理空间中的不精确上升步骤。该分析建立了一个考虑以下因素的原对偶界限：

1. 有限池近似误差。
2. 离散重写残差（离散文本重写与理想连续上升之间的差距）。
3. 标准对偶优化误差。
   该界限表明，在特定假设（强凹性、有界梯度）下，随着步长趋于零，该方法会收敛到可行解。

3. 核心贡献

1. 约束感知提示词优化： 开发了一种基于池的原对偶程序，该程序使用带符号的残差来自适应地加权约束，超越了静态标量化或帕累托排序。
2. 一致的经验可行性： 证明了 CAPO 能在不同领域（航空、零售、电信）和不同模型规模下可靠地达到满足所有操作预算的操作点，而静态基线（APO, GEPA, MOPO）在大多数设置中均无法做到这一点。
3. 可学习的重写器 (DCAPO)： 引入了一种使用基于池的 GRPO 训练重写策略的方法。DCAPO 能在不同领域产生可行提示词，并在保持任务智能体冻结的同时，达到或超过基线的准确率。
4. 代理分析： 提供了关于有限池误差和离散重写误差如何通过不精确原对偶过程传播的理论表征。

4. 实验结果

评估涵盖三个主要领域：TAU2-BENCH（工具使用智能体）、聊天机器人/隐私基准测试以及编程智能体。

4.1 智能体工具使用 (TAU2-BENCH)

• 可行性： 在三个领域（航空、零售、电信）和两个任务模型（GPT-5-mini, GPT-5.1）的六种组合中，CAPO 是唯一实现所有约束满足的方法。
  • 基线方法（Initial, APO, GEPA, MOPO）最多只能在一种组合中实现可行性。
  • CAPO 在实现所有六种组合可行性的同时，还维持或提高了相对于初始提示词的任务准确率。
  • 注： 虽然 CAPO(EA)（一种使用等效资格选择父提示词的变体）在 6 种设置中的 5 种实现了可行性，但标准 CAPO 变体是唯一在所有 6 种设置中都实现可行性的方法。
• 开源权重模型： 当应用于 Ministral-8B 时，CAPO 是评估的方法中唯一能在所有三个领域满足所有约束的方法，展示了即使在基准指令遵循能力较低的模型上的鲁棒性。
  • 注： 虽然 APO 在使用 Ministral-8B 时在航空和零售领域实现了可行性，但在电信领域失败了，而 CAPO 在所有三个领域都取得了成功。

4.2 助手与隐私约束

• 聊天机器人套件： CAPO 变体满足了四个预算（GSM8K 准确率、响应长度、安全性、过度拒绝），并达到了不可行基线的准确率水平。
• 隐私委托 (PUPA–IFBench)： CAPO 在所有可行方法中取得了最高的客观值，表明该框架不仅适用于工具使用成本，还扩展到了安全性、格式化和指令遵循约束。

4.3 DCAPO 性能

• 可行性： DCAPO 在所有评估的领域和任务智能体规模（Qwen3-8B 和 Qwen3-32B）中都产生了可行提示词。
• 与 RL 的比较： 与 Agent-GRPO（使用固定惩罚项更新任务智能体）或 StablePrompt 不同，DCAPO 在所有领域中都能持续满足约束。
• 消融实验：
  • 反馈来源： 在与仅摘要反馈相比，在线行为反馈（使用完整轨迹）被证明对实现可行性至关重要。
  • 重写深度： 使用第二步重写 (D=2) 通常能保持可行性并提高准确率。

4.4 鲁棒性与迁移

• 噪声敏感性： 在零售领域，CAPO 在对偶反馈存在轻微噪声的情况下仍保持可行，但在更严格的领域（航空、电信）表现出敏感性，凸显了准确成本估计的重要性。
• 任务簇偏移： CAPO 在基于嵌入定义的偏移任务簇上保持了可行性，展示了在领域内的泛化能力。
• 零样本迁移： 在一个领域（电信）训练的重写器可以减少其他领域（零售、航空）的工具使用，但并未实现完全的可行性，这表明对于严格约束，需要进行领域特定的微调。

5. 重要性与主张

本文声称 CAPO 为部署智能体的提示词优化带来了显著的转变：

• 从静态到自适应： 它用反馈循环取代了固定的约束权重，通过测量的约束残差在搜索过程中动态确定哪些失败需要被关注。
• 可行性作为首要目标： 该方法优先寻找能满足所有部署阈值的提示词，而不是优化一个可能违反关键约束的加权和。
• 适用于冻结模型： 通过优化系统提示词而非模型权重，CAPO 适用于仅提供 API 和冻结的模型，这是许多实际部署的关键需求。
• 可学习的重写： DCAPO 证明了重写过程本身可以从行为反馈中学习，从而实现高效的适配，而无需重新训练任务智能体。

作者得出结论，部署要求不应仅仅作为最终评估标准，而应作为引导搜索过程的主动反馈信号。这种方法为部署既能胜任任务又符合操作约束的 LLM 智能体提供了一条更可靠的路径。