💬 NLP

CRAFT: Cost-aware Refinement And Front-aware Tuning of Prompts

CRAFT 是一个帕累托前沿提示词优化器，它通过将验证调用视为一种稀缺资源，从而避免标量化崩溃的局限性，以高效地发现一组在各种任务中提供最优准确率-成本权衡的多样化提示词。

原作者： Shanu Kumar, Shubhanshu Khandelwal, Akhila Yesantarao Venkata, Parag Agrawal, Yova Kementchedjhieva, Manish Gupta

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Shanu Kumar, Shubhanshu Khandelwal, Akhila Yesantarao Venkata, Parag Agrawal, Yova Kementchedjhieva, Manish Gupta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但极其昂贵的机器人如何完成一项特定的工作。你通过编写一组指令来完成这件事，这组指令被称为提示词（prompt）。

这里存在一个两难的困境：

如果你编写冗长、详细的指令，机器人通常能把工作做得很好（高准确度），但运行成本很高，因为它必须阅读每一个字。
如果你编写简短、精炼的指令，运行成本很低，但机器人可能会产生困惑并犯错（低准确度）。

大多数人试图通过在开始之前设定一个“中间地带”来解决这个问题。他们会说：“我想要 50% 的准确度和 50% 的成本节约，”然后去寻找那个符合特定比例的完美提示词。这篇论文的作者将这种方法称为**“标量化塌陷”（Scalarization Collapse）**。这就像是试图通过只测试温度恰好是温水的情况，来寻找淋浴的最佳水温。你可能会错过一个虽然稍热但更舒适的温度，或者一个虽然稍凉但更清爽的温度。

走进 CRAFT：聪明的购物者

这篇论文介绍了一种名为 CRAFT（具备成本意识的精炼与前沿感知调优，Cost-aware Refinement And Front-aware Tuning）的新方法。CRAFT 不仅仅是在寻找一个“完美的”提示词，它是在寻找一整套最优选项的菜单。

把它想象成一个聪明的购物者在买车：

旧方法： 你告诉销售员：“我想要一辆价格正好是 3 万美元，且每加仑能跑 30 英里的车。”他们会给你展示一辆车。如果你以后改变了主意，你必须重新开始。
CRAFT 的方式： CRAFT 会说：“请把所有性价比最高的车都展示给我看。”它构建了一个选项列表：
- 选项 A：速度极快，但很贵。
- 选项 B：非常便宜，但有点慢。
- 选项 C：两者之间的完美平衡。
- 选项 D：一种奇特的组合，既省钱又出奇地快。

CRAFT 不要求你在开始搜索之前就强行选定一个平衡点。它寻找的是整个“帕累托前沿”（Pareto Front）——这是一个高级术语，指的是最优的权衡方案，即在不增加成本的情况下无法获得更高的准确度，或者在不降低准确度的情况下无法降低成本。

CRAFT 是如何运作的（厨房类比）

CRAFT 运行着一个厨房，里面有两位厨师在制作同一道菜谱，但他们的目标不同：

“精炼型”厨师（完美主义者）： 这位厨师的任务只有一个，就是让菜肴味道惊艳。他们不断添加香料、明确指令，使菜谱变得更长、更详细。他们不在乎食材的成本。
“浓缩型”厨师（极简主义者）： 这位厨师的任务只有一个，就是让菜谱变得更短、更便宜。他们删掉废话，移除冗余步骤，并简化语言。他们不在乎菜肴是否损失了一点风味，只要还能入口即可。

品尝环节（选择过程）：
每一轮，这两位厨师都会创造出新版本的菜谱。但问题在于：品尝食物是要花钱的（这需要调用昂贵的机器人）。你不能品尝每一个版本。

因此，CRFAT 使用了一种聪明的策略来决定品尝什么：

它观察目前为止创建的所有菜谱“菜单”。
它会问：“这些新菜谱中，哪一个最有潜力成为一个新的‘最优选项’？”
它会挑选那些极有可能非常美味（高准确度）、或极有可能非常便宜，或者能填补目前菜单中某个空白位置的菜谱。

最终菜单：
在过程结束时，CRAFT 给你的不仅仅是一个菜谱。它给你的是一个分布广泛的菜单：

如果你的预算充足，你可以选择“完美主义者”的菜谱。
如果你的预算有限，你可以选择“极简主义者”的菜谱。
如果你想要平衡，可以从中间挑选。

为什么这很重要

论文在六个不同的任务（如分类电子邮件、解答逻辑谜题和检测错误）上测试了该方法。他们将 CRAFT 与以下方法进行了对比：

仅追求准确度的方法（这会制作冗长、昂贵的提示词）。
仅追求成本的方法（这会制作简短、令人困惑的提示词）。
加权求和方法（试图寻找中间地带，但会陷入狭窄的区域）。

结果：
CRAFT 是唯一能够同时找到高准确度/高成本选项以及低成本/中等准确度选项的方法。它不会卡在中间。它赋予了用户在搜索完成后再进行选择的自由，而不是在搜索开始前就去猜测权衡比例。

简而言之，CRAFT 让你不再需要在看到菜单之前就去猜测完美餐食的价格。相反，它烹饪出了整套最优方案的菜单，让你根据钱包和饥饿程度来做出选择。

技术摘要：CRAFT（成本感知优化与前沿感知提示词微调）

1. 问题定义

本文探讨了在为大语言模型（LLMs）微调自然语言提示词时固有的多目标优化问题。虽然更长、更具结构化的提示词通常能带来更高的任务准确率，但它们会在每次模型调用时产生更高的推理成本（Token 数量）。相反，激进的压缩虽然降低了成本，却存在降低性能的风险。

作者认为，针对单一目标（准确率或成本）进行优化，或者将其合并为一个固定的加权和（标量化），都是次优的。这些方法往往无法恢复完整的帕累托前沿（Pareto front）——即一组没有任何其他提示词能在保持更高准确率的同时实现更短长度的提示词集合。论文指出了一种特定的失效模式，称为标量化塌陷（scalarization collapse），即固定权重的搜索策略只能恢复出折衷曲面上一个狭窄的区域，根据所选权重的不同，会错过高准确率/低成本或低准确率/高成本的极端情况。此外，提示词空间的离散性质以及提示词文本、准确率与成本之间的非凸关系，使得固定的标量奖励是不充分的。

核心挑战在于，评估一个候选提示词的真实准确率需要昂贵的靶向 LLM 验证调用。由于优化器在每一轮中都在固定的调用预算下运行，它必须决定在不知道候选者在真实帕累托前沿上位置的情况下，应该“评估哪些”候选者。

2. 方法论：CRAFT 框架

CRAFT（成本感知优化与前沿感知微调）是一个帕累托前沿提示词优化器，它将靶向 LLM 的验证调用视为一种稀缺资源。它通过迭代轮次运行，维护一个提示词种群，并对其进行重塑，以逼近准确率-成本的帕累托前沿。

2.1 核心循环组件

每一轮由三个不同的步骤组成：

候选生成（优化器与压缩器）：
- CRAFT 采用两个具有相反偏差的互补生成器来对当前种群提出修改建议。
- 优化器（面向准确率）： 使用结构感知优化器（默认为 SCULPT）将提示词解析为层次化树，并应用编辑操作（重排序、阐述、澄清）以最大化任务准确率。
- 压缩器（面向成本）： 使用结构感知压缩器（名为 DISTILL）通过删除冗余节点或合并章节来编辑解析后的提示词树，目标是在保留任务关键指令的同时降低 Token 数量。
- 这种双重生成策略确保了候选池能够同时探索折衷光谱的两端。
帕累托间隙获取（验证分配）：
- CRAFT 不会对所有候选者进行评分或使用标量分数，而是将每轮的验证预算分配给那些可能改进当前前沿近似值的候选者。
- 它基于部分验证历史，为每个候选者计算一个**上置信界限（UCB）**得分（ $p^+ = \mu + \beta\sigma$ ），平衡探索（高不确定性）与利用（高平均分）。
- 这些乐观得分与归一化成本相结合，形成一个乐观候选前沿（ $F^+_t$ ）。
- 帕累托间隙（ $g_i$ ）被计算为候选者到该乐观前沿最近点之间的曼哈顿距离。间隙较小（即最接近或位于前沿上的）的候选者会被优先进行完整验证。这确保了预算被用于能够扩展已知前沿的候选者。
NSGA-II 保留（种群选择）：
- 验证完成后，选择器为下一轮保留大小为 $k$ 的种群。
- 它使用**非支配排序遗传算法 II（NSGA-II）**逻辑将候选者划分为非支配前沿（ $F_1, F_2, \dots$ ）。
- 为了确保多样性，如果必须部分选择边界前沿以填满种群，则应用**最大最小扩展（maximin spread）**规则。该规则在归一化准确率-成本空间中，迭代地选择使已选候选者之间最小欧几里得距离最大化的候选者，从而确保保留的种群均匀覆盖整个折衷曲面，而不是聚集在某一区域。

3. 主要贡献

形式化： 论文将成本感知的提示词优化形式化为准确率与提示词 Token 成本之间的有预算限制的帕累托前沿搜索，明确建模了靶向 LLM 验证调用决定了哪些折衷方案可以被观测到的约束。
CRAFT 框架： 它提出了一个将候选生成与验证分配解耦的前沿感知优化循环。其核心创新包括：
- 互补的面向准确率和面向成本的生成器。
- 通过帕累托间隙获取来乐观地分配验证预算。
- 通过 NSGA-II 保留机制来维持一个多样且分布广泛的种群。
实证证据： 作者证明了标准的基线方法（仅准确率、仅成本以及加权和标量化）都存在标量化塌陷问题，即它们会集中在前沿的狭窄区域。相比之下，CRAFT 成功地在既高准确率又低成本的区域都保留了可行的提示词。

4. 实验结果

作者在六个英文分类和推理基准测试上评估了 CRAFT：BeaverTails、GoEmotions 以及四个 BIG-Bench Hard 任务（DisambiguationQA、Causal Judgement、Formal Fallacies、Salient Translation）。

性能： CRAFT 在所有指标（前沿质量、得分和成本）上都取得了最高的综合排名。虽然它并非在每个单独指标上都夺冠（例如，面向成本的基线有时能实现更低的 Token 数量），但它是唯一能够一致覆盖准确率与成本两端帕累托前沿的方法。
基线对比：
- 单轴基线（用于准确率的 SCULPT 和用于成本的 DISTILL/LLMLingua）在其特定领域表现出色，但在另一领域表现不佳。
- 加权和基线（WPRO） 塌陷到了由其固定权重决定的狭窄区域，未能捕捉到完整的折衷曲面。
消融实验： 移除优化器或压缩器中的任何一个都会降低性能，证实了这两个模块对于提供前沿扩展所需的差异性是必要的。
跨 LLM 迁移： CRAFT 的增益在不同的优化器 LLM（GPT-5.5, GPT-5.4, DeepSeek, Kimi）中均表现稳健，表明该框架并不依赖于特定的优化器模型。
效率： 该方法在大约 8 轮优化后达到性能平台期，表明其有效地利用了验证预算。

5. 重要性与主张

论文主张，提示词工程中的准确率-成本折衷应该被视为一个后搜索选择，而非前搜索权重。通过直接优化帕累托前沿，CRAFT 允许从业者在搜索完成后，再根据特定的部署预算选择最优提示词，而不是被迫在搜索前猜测正确的权重。

作者将 CRAFT 定位为解决“标量化塌陷”问题的方案，为那些准确率与成本的最佳平衡点未知或随部署环境变化的场景，提供了一种更可靠的方法。

6. 局限性

论文承认了以下几点局限性：

范围： 评估仅限于英文分类和短答案推理。尚未测试其在开放式生成（摘要、代码、对话）或多语言设置下的泛化能力。
模型家族： 实验主要使用 OpenAI 模型（GPT-5 系列）作为目标。在非 OpenAI 目标模型（如 Claude, Gemini, Llama, Qwen）上的评估仍是未来的工作。
初始提示词： 该方法假设初始提示词具有最小的任务相关性；在弱提示词或对抗性提示词下的行为尚待探索。
生成器： 研究使用了特定的生成器集（SCULPT, DISTILL, OPRO, EvoPrompt）。虽然该框架是模块化的，但尚未充分研究其他类型生成器（如历史感知压缩器）的表现。