🤖 AI

From Monolithic to Modular: Segment-level Automatic Prompt Optimization

本文介绍了 SAPO，一种段落级自动提示词优化方法，它将提示词分解为不同的组件以针对特定的弱点，并在多种基准测试中表现优于现有的整体式方法。

原作者： Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何写故事、解数学题或总结新闻文章。你通过给它一组指令来实现这一点，科学家们称之为“提示词”（prompt）。把提示词想象成一份食谱：如果指令模糊或混乱，机器人可能会做出味道像肥皂而不是巧克力的蛋糕。长期以来，研究人员试图通过每次在机器人出错时都重新编写整个食谱来修复这些问题。这就像是因为糖霜稍微有点不对劲就扔掉整个蛋糕，希望下一次尝试能完美无缺。这种被称为“整体式”（monolithic）优化的方法通常能让任务的一个部分表现良好，但却会意外地破坏另一部分，导致机器人感到困惑且结果不稳定。

你即将阅读的论文通过一种名为 SAPO（分段式自动提示词优化）的新方法解决了这个问题。SAP-O 不再是扔掉整个食谱，而是像一位大师级厨师，能够仔细品尝蛋糕，精准识别出到底是哪种成分出了问题（也许是盐放多了，或者糖放少了），并在保持完美部分不变的同时，只修复有问题的部分。作者在五种不同类型的任务上测试了这种方法，从回答阅读理解问题到解决复杂的数学问题，并使用了两种不同的机器人大脑（GPT-3.5-Turbo 和 GPT-4o-mini）。他们发现，通过将指令分解成更小、更易管理的片段，并仅修复薄弱环节，他们可以获得比以往方法好得多的结果，在某些任务上的性能提升了高达 7.25%。

更好的机器人食谱

让我们深入了解它是如何运作的。想象一下，你正在给一个机器人一份非常长且复杂的说明书。过去，如果机器人答错了，一个自动优化器会尝试一次性重写整个说明书。这就像是通过更换整辆车来修理一台坏掉的汽车引擎。有时，这辆新车开起来很棒，但停车时却表现糟糕。旧方法经常让机器人在一件事上变强，但在另一件事上变弱，作者称之为“提示词漂移”（prompt drifting）的问题。

本文的作者 Nikita Kulin 及其团队提出了一种更聪明的方法。他们意识到，一份好的说明书不仅仅是一个巨大的文本块，它是由不同的章节组成的。他们将提示词分解为四个特定的“片段”：

角色 (Role)： 机器人应该是谁？（例如，“你是一位乐于助人的历史学家。”）
上下文 (Context)： 背景故事或情境是什么？（例如，“你正在与一名学生交流。”）
任务 (Tasks)： 机器人具体需要做什么？（例如，“用三句话总结这段文字。”）
输出格式 (Output Format)： 答案应该长什么样？（例如，“给我一个带项目符号的列表。”）

SAPO 侦探游戏

这种新方法将这四个片段视为侦探游戏中的线索。以下是他们使用的逐步流程：

首先，系统会让机器人进行一次带有大量示例的训练课程。它查看结果，并挑选出前 5 个最佳示例（机器人答对了）和最后 5 个最差示例（机器人搞砸了）。

接下来，系统开始扮演侦探。它要求第二个更聪明的机器人（充当评判者）观察前 5 个和后 5 个示例，并找出机器人成功或失败的原因。是“角色”部分让机器人困惑了？还是“任务”描述得太模糊？评判者会识别哪些片段是“强项”（在好的示例中表现良好）以及哪些是“弱点”（在坏的示例中造成麻烦）。

接着是神奇的部分：约束合成 (Constrained Synthesis)。系统不会重写整个说明书，而是生成新版本的提示词，这些新版本会保留原本表现强劲的片段，并且只修改那些薄弱的片段。这就像是保留完美的巧克力蛋糕面糊，但把烧焦的糖霜换成新鲜的一批。这确保了原本已经运作良好的指令部分不会被意外破坏。

最后，系统会在另一组问题（验证集）上测试这些经过部分修订的提示词。如果新提示词表现更好，它就会被接受。如果没有，系统会保留旧的提示词。这个过程会反复进行，直到机器人达到它所能达到的最佳水平。

结果：明显的赢家

团队在五种截然不同的挑战上测试了这种方法：

SQuADv2： 根据阅读文章回答问题。
TweetEval： 对推文的情绪进行分类。
XSUM： 总结新闻文章。
CommonGen： 根据单词列表创建句子。
GSM8K： 解决小学数学应用题。

他们在两个机器人模型上运行了这些测试：GPT-3.5-Turbo 和 GPT-4o-mini。结果令人印象深刻。与那些一次性重写整个提示词的流行方法（如 APE、OPRO 和 EvoPrompt）相比，SAPO 在平均得分上始终更高。

在 GPT-3.5-Turbo 模型上，与排名第二的方法相比，SAPO 的平均得分提高了 5.13%。在更先进的 GPT-4o-mini 上，提升甚至更大，比竞争对手高出 7.25%。最大的胜利发生在需要非常严格答案的任务上，比如数学问题 (GSM8K) 和阅读理解 (SQuAD2)，因为在这些任务中，指令中哪怕极其微小的错误也会导致完全错误的答案。

为什么这很重要

作者认为，这种成功源于 SAPO 阻止了当你同时改变一切时所发生的“破坏性干扰”。通过将变化局部化到提示词的薄弱部分，系统保留了那些已经完美运作的部分。这是一种更细致、更具手术式精准度的教学方式。

然而，论文也指出了一些局限性。目前的这种方法使用了一组固定的四个片段。虽然这适用于许多任务，但对于每一种特定类型的问题来说，可能不够详细。作者建议，未来的版本可以让机器人自动发现新的片段类型，而不是仅仅局限于这四个片段。

简而言之，SAPO 表明，当你想要教导一个超级智能机器人时，修复错误最好的方法有时不是从头开始，而是仔细识别到底哪里出了错，然后只修复那一部分。这是一种从“重写一切”到“修复损坏之处”的转变，而目前看来，这正是制胜策略。

技术摘要：分段式自动提示词优化 (SAPO)

问题陈述

自动提示词优化 (APO) 旨在通过数据和模型反馈，迭代地生成并选择改进后的提示词，为大语言模型 (LLM) 提供一种比微调更易于部署的替代方案。然而，现有的 APO 流水线主要将提示词视为单体字符串 (monolithic strings)，通过全局重写进行优化。这种方法会导致“提示词漂移”问题，即旨在修复特定失败案例的编辑可能会无意中降低此前表现正确的行为。此外，当前优化器的有效性往往对模型的能力和设置选择较为敏感，缺乏一种控制在提示词结构中何处以及如何应用编辑的机制。

方法论：SAPO

本文引入了 SAPO（分段式自动提示词优化），这是一种模块化策略，它将提示词分解为显式的、在操作上可分离的段落，而不是将其作为一个整体进行优化。

1. 提示词分解
SAPO 将提示词结构化为四个不同的段落：

角色 ( $s_{role}$ )：定义行为立场（例如：分类器、分析师）。
上下文 ( $s_{context}$ )：编码任务落地、输入注入和领域约束。
任务 ( $s_{tasks}$ )：指定可执行的要求和决策规则。
输出格式 ( $s_{output}$ )：管理响应模式和格式约束。

2. 优化循环
该方法通过验证门控搜索循环中的两阶段生成流水线运行：

阶段 A：对比诊断 (Contrastive Diagnosis)。在训练集 ( $D_{train}$ ) 上评估当前提示词。系统根据性能指标提取前 5 个（强）和后 5 个（弱）示例。对于离散指标，使用类别感知选择以确保证据的平衡。单个 LLM 在静态元提示词的引导下，分析这些示例，以诊断哪些段落与成功（强）相关，以及哪些与失败（弱）相关，从而生成具体的修订建议。
阶段 B：受限候选合成 (Constrained Candidate Synthesis)。同一个 LLM 生成 $K$ 个候选提示词。至关重要的是，合成过程是受限的：候选提示词必须保留被识别为“强”的段落，同时主要修改“弱”段落。这减少了跨段落的干扰。
选择与接受。在验证集 ( $D_{val}$ ) 上评估候选方案。只有当候选方案能够提升验证集得分时，才会被接受。若出现得分持平的情况，则选择与当前提示词编辑距离最小的候选方案，以倾向于保守更新。

核心贡献

本文概述了三个主要贡献：

段落显式优化目标：不同于全局重写，SAPO 将提示词分解为角色、上下文、任务和输出格式，从而实现针对性编辑。
受限候选合成：该方法强制保留强段落并修订弱段落，利用编辑距离进行平局决胜，以确保更新保持保守。
对比诊断阶段：更新决策基于显式的正/负向证据，包括针对离散每样本指标的处理，以识别特定的失效模式。

实验结果

SAPO 在五个不同的数据集（SQuADv2, TweetEval, XSUM, CommonGen, GSM8K）上进行了评估，并使用了两种模型骨干网络：GPT-3.5-Turbo 和 GPT-4o-mini。它与零样本提示 (Zero-shot prompting) 以及强大的 APO 基准模型（包括 APE, OPRO, EvoPrompt, GEPA, 和 StraGO）进行了对比。

性能：SAPO 在所有数据集和两种模型骨干网络上均取得了最佳平均得分。
增益：相对于最强的竞争基准，SAPO 在 GPT-3.5-Turbo 上实现了平均 +5.13% 的提升，在 GPT-4o-mini 上实现了 +7.25% 的提升。
任务敏感性：在 GSM8K（数学推理）和 XSUM（抽象摘要）上观察到了最大的相对增益，这表明分段控制对于需要严格答案提取或紧凑生成约束的任务特别有效。
鲁棒性：该方法表现出一致的性能，在所有五个数据集上均优于所有基准模型（基于 GPT-4o-mini），表明分段优化能够与模型能力的提升相辅相成。

意义与主张

作者将 SAPO 定位为静态元提示与结构感知优化之间的桥梁。论文声称，观察到的改进源于以下假设：显式的强/弱段落分离减少了编辑之间的破坏性干扰。通过将修订局部化到弱组件，同时保留高性能的结构，SAPO 解决了迭代式 APO 中常见的稳定性及“提示词漂移”问题。

这项工作断言，SAPO 提供了一个部署友好、兼容黑盒的流水线，能够在无需复杂实现开销的情况下实现段落级的可控性。尽管作者承认其在固定段落分类法以及固定正/负窗口可能遗漏更细粒度错误模式方面的局限性，但他们得出结论，SAPO 为自动提示词优化的未来扩展提供了一条具有解释性的路径。