💬 NLP

SePO: Self-Evolving Prompt Agent for System Prompt Optimization

该论文提出了 SePO，一种通过两阶段进化搜索同时优化任务智能体和提示词智能体自身系统提示词的自指框架，证明了其与现有方法相比，在多种基准测试中具有更优越的泛化能力和性能。

原作者： Wangcheng Tao, Han Wu, Weng-Fai Wong

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Wangcheng Tao, Han Wu, Weng-Fai Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个聪明但固执的机器人助手（任务智能体/Task Agent），它需要解决复杂的谜题、编写代码或进行数学运算。为了让这个机器人表现得更好，你给了它一套指令，称为“系统提示词（system prompt）”。

长期以来，人类一直是编写这些指令的人。如果机器人失败了，人类会重写指令，再次尝试，并寄希望于更好的结果。一些更新的方法使用一个“教练”（提示词智能体/Prompt Agent）来自动重写这些指令。但问题在于：教练自身的指令仍然是由人类编写且从未改变过的。无论教练尝试了多少次去帮助机器人，它都受困于一份固定的、由人工编写的手册。

SePO (自我进化提示词优化/Self-Evolving Prompt Optimization) 改变了这一局面，它让教练能够“教练自己”。

核心理念：教练教导教练

把 SePO 想象成一个 AI 指令手册的健身房。

旧方法： 你雇佣了一名私人教练（教练）来帮助一名客户（机器人）健身。但教练自己的训练计划是由人类编写的，并且从未更新。教练在帮助客户方面变得更专业了，但教练自己却从未变得更强壮。
SePO 方法： 教练同时也是一名客户。教练帮助客户变得强壮，但教练也使用同样的训练方法来改进自己的训练计划。教练不仅在帮助客户变强，教练自己也在变得更聪明、更强大。

运作方式：两个阶段的训练

论文描述了一个类似于人类学习新技能的两步过程：

第一阶段：“新兵训练营”（预训练/Pre-training）
在教练开始帮助任何特定的机器人之前，它先参加了一个包含各种挑战（数学、逻辑谜题、编程、科学）的“新兵训练营”。

在这个阶段，教练尝试解决这些问题。
当它失败时，它会批判自己的指令，重写指令，然后再次尝试。
它保留了一个“剪贴簿”（存档/archive）来记录其最佳指令。如果一条新指令比旧指令效果更好，它就会保留新指令。
结果： 教练进化成了一位大师级的导师，具备了修复指令的通用“技能”，而不仅仅是死记硬背某个特定的技巧。

第二阶段：“专业工作”（微调/Fine-tuning）
现在，教练被雇佣来帮助一个执行特定任务的特定机器人（例如，解决数独问题）。

教练利用其进化后的、超级智能的指令来帮助机器人。
它会针对特定的谜题来微调机器人的指令。
因为教练在第一阶段学会了“如何学习”，所以它可以快速适应新工作，而无需在开始前由人类先重写它的手册。

为什么这很重要（结果）

研究人员在五种截然不同的挑战类型上对其进行了测试：

数学（高难度竞赛题）
抽象推理（视觉模式谜题）
科学（研究生水平的问题）
编程（编写 Python 程序）
逻辑（数独谜题）

他们将 SePO 与以下方法进行了对比：

Manual-CoT： 由人类编写指令。
TextGrad： 一种会调整指令但使用固定的、由人类编写的“评论家”的方法。
MetaSPO： 一种学习全局规则但仍依赖于固定的、由人类编写的优化器的方法。

结果：
SePO 在每一项任务中都胜出了。与人类编写的基准线相比，平均准确率提升了 4.49 个百分点。

它不仅仅是记住了答案；它学会了一种编写更好指令的通用“技能”。
即使在测试一个它在“新兵训练营”期间从未见过的谜题（数独）时，它的表现仍然优于其他方法。这证明它学习到的是一种可迁移的技能，而非仅仅是一个特定的技巧。

“进化花园”的比喻

想象一下，指令就是花园里的植物。

旧方法： 你种下种子（指令）并浇水。如果一株植物枯死了，你就从袋子里选一颗新种子再试一次。园丁（教练）本身不会改变。
SePO： 园丁本身也是一株植物。园丁在照料其他植物的同时，也在生长、进化并变得更擅长园艺。花园会记录下最好的植物（存档），并利用它们作为阶梯，去培育更优秀的植物。最终，这个花园培育出了一位如此熟练的园丁，以至于他可以种出任何东西，甚至是那些他从未见过的植物。

总结

SePO 闭合了环路。SePO 不再是让一个人类为 AI 教练编写一份固定的手册，而是让 AI 教练能够编写并改进自己的手册。这使教练从一个静态的工具变成了一个通过经验变得越来越聪明的学习伙伴，从而在数学、科学、编程和逻辑谜题方面实现了更好的表现。

技术摘要：SePO (自我进化提示词优化)

1. 问题陈述

目前的系统提示词（System Prompt）优化方法旨在通过不修改底层模型权重来改进智能体行为，从而生成人类可读且与模型无关的指令。然而，现有的框架中存在一个关键的不对称性：虽然任务智能体（Task Agent）的系统提示词被视为优化目标，但提示词智能体（Prompt Agent）（即负责优化任务智能体提示词的实体）仍然是手工设计且固定的。

现有的方法（如进化搜索或文本梯度框架）依赖于一个不会随着接触更多任务而进步的提示词智能体。因此，优化过程受限于提示词智能体的初始人工设计，无法积累经验或在不同领域间泛化优化技能。核心问题在于“优化器”本身并未得到优化。

2. 方法论：SePO

作者提出了 SePO (Self-Evolving Prompt Optimization，自我进化提示词优化)，该框架将提示词智能体自身的系统提示词 ( $\tilde{p}$ ) 与任务智能体的提示词 ( $p$ ) 一并视为优化目标。这是通过自我引用设计（Self-Referential Design）和两阶段训练流水线实现的。

2.1 自我引用设计

SePO 定义了一个“提示词任务”，其中提示词智能体作为一个特殊的任务智能体运行。其目标是改进其他任务智能体的提示词。通过对提示词智能体自身的系统提示词 ( $\tilde{p}$ ) 应用与任务智能体提示词 ( $p$ ) 相同的优化程序，SePO 创建了一个“自我引用闭环”。

机制： 提示词智能体对其自身的副本进行精炼。
进化搜索： 该过程利用在候选提示词群体上的开放式进化搜索。它维护一个候选提示词存档（Archive），允许早期成功的提示词作为后期改进的“垫脚石”，从而防止搜索陷入局部最优。

2.2 两阶段训练流水线

模仿标准的预训练和微调范式，SePO 将优化组织为两个截然不同的阶段：

阶段 1：预训练（自我进化的提示词智能体）
- 目标： 进化提示词智能体的系统提示词 ( $\tilde{p}$ )，以获得广泛、通用的提示词优化技能。
- 过程： 提示词智能体在多任务池上进行进化搜索。
- 配置：
  - SePO-Generalist（通用型，默认）： 在多样化的任务混合体上进行训练，以实现最大程度的鲁棒性和泛化性。
  - SePO-Specialist（专家型）： 在与目标微调任务完全相同的单一任务上进行训练。
- 结果： 一个单一的、进化后的提示词智能体 ( $\tilde{p}^*$ )，能够优化各种场景下的提示词。
阶段 2：微调（优化目标任务智能体）
- 目标： 为特定的目标任务智能体优化系统提示词 ( $p$ )。
- 过程： 固定的进化后提示词智能体（来自阶段 1）被用于引导目标任务智能体提示词的进化搜索。
- 效率： 由于预训练的提示词智能体可以重复使用，因此自我进化提示词智能体的成本被分摊到了许多微调任务中。

3. 核心贡献

闭合优化环路： SePO 是第一个将提示词智能体本身视为可学习组件的方法，消除了对固定、手工设计优化器的依赖。
自我引用进化： 它引入了一种机制，使得相同的程序既能精炼任务智能体，也能精炼提示词智能体，从而实现优化技能的积累。
两阶段训练： 通过将预训练（技能获取）与微调（任务应用）分离，该方法解耦了开发优化器的成本与其在特定任务上的应用成本。
基于存档的搜索： 存档的使用使系统能够利用历史成功案例作为垫脚石，促进了开放式进化而非简单的迭代精炼。

4. 实验结果

作者在五个多样化的基准测试上评估了 SePO：AIME'25（数学）、ARC-AGI-1（抽象推理）、GPQA（研究生水平科学）、MBPP（代码生成）和 Sudoku（逻辑谜题）。

性能： SePO 一致优于三个基准方法：
- Manual-CoT： 带有思维链（Chain-of-Thought）的手工构建提示词。
- TextGrad： 具有固定提示词优化器的文本梯度框架。
- MetaSPO： 具有固定元优化器的元学习方法。
准确率提升： SePO-Generalist 在所有五项任务中均取得了最高的准确率，与 Manual-CoT 相比，平均准确率提升了 4.49 个百分点。
泛化能力：
- 提示词优化技能在预训练混合体之外的任务上也表现出了泛化能力（例如，Sudoku 未包含在预训练集中，但准确率仍显著提高）。
- 该方法在不同的模型对之间展示了鲁棒性（例如，将 DeepSeek-V3.2 和 Gemini 3.1 Pro Preview 替换为 Gemini 3.1 Flash-Lite 和 Claude Opus 4.6）。
成本效率： 虽然预训练会产生成本，但 SePO-Generalist 将其分摊到了多个任务中，导致其单任务成本低于为每个任务训练一个专家型模型，也低于使用 TextGrad 等无法分摊优化器训练成本的方法。

5. 重要性与主张

本文声称 SePO 从根本上将系统提示词优化从一种固定工具转变为一种可学习的技能。通过允许提示词智能体自我改进，该框架打破了由人工设计所设下的上限。

适度主张： 作者明确指出 SePO 仅作用于自然语言系统提示词，不对模型权重、工具和工作流进行任何修改。他们承认，虽然目前的工作侧重于提示词，但自我引用设计在理论上可以扩展到未来的工具和架构，但他们并未声称已经实现了这一点。
核心洞察： 其主要意义在于证明了提示词优化不仅仅是针对单个任务的搜索问题，而是一种可以习得并迁移的技能。提示词智能体不再是一个静态的固定组件，而是一个随着经验增加而不断增强的进化组件。

作者总结道，SePO 鼓励进一步研究能够持续扩大自身自我改进范围的自我进化智能体。