🤖 machine learning

Stabilizing Black-Box Prompt Optimization with Textual Regularization and Signal Aggregation

本文介绍了 TRAS，这是一个即插即用的框架，它通过结合来自成功预测的文本正则化与用于过滤噪声的蒙特卡洛信号聚合，稳定了黑盒提示词优化，从而与现有方法相比，提高了准确性、收敛速度以及针对模型迁移的鲁棒性。

原作者： MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： MohammadReza Davari, Utkarsh Garg, Weixin Cai, Eugene Belilovsky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个非常聪明但有点难以捉摸的机器人如何解决谜题。你无法看到它大脑内部的情况（它是一个“黑盒”），你只能通过编写指令（称为提示词/Prompts）来与它交流。

长期以来，改进这些指令的最佳方法叫做自动提示优化（Automatic Prompt Optimization, APO）。这就像是一个学生在考试，做错了一道题，然后询问老师：“我为什么会错？”老师给出一个批评（“文本梯度”），然后学生修改自己的答题卡，以修复那个特定的错误。

这篇论文指出，这种“只修补错误”的方法有一个巨大的缺陷：它过于关注哪里错了，而忽略了哪里对了。

问题：“过度修正”陷阱

想象一下你正在调节收音机以寻找一个清晰的频道。

旧方法（仅关注错误）： 每当听到杂音（错误）时，你就疯狂地转动旋钮试图修复它。但因为你只听到了杂音，你可能会不小心把旋钮转过了清晰的频道，或者删除了原本运行得非常完美的设置。你会在原地打转，让信号在变好之前变得更糟。用论文中的术极，这被称为语义漂移（semantic drift）——你修复了一个小错误，却意外地删除了原本对整体非常有帮助的关键指令。

解决方案：TRAS

作者提出了一个名为 TRAS（具有聚合信号的文本正则化）的新框架。这就像是给学生两种类型的反馈，而不不仅仅是一种。

1. “别碰那里！”信号（文本正则化）

与其只问“哪里错了？”，TRAS 还会问“什么地方起作用了？”

类比： 想象你正在炖肉。旧方法只会告诉你：“这根胡萝卜太硬了，切小一点！”TRAS 还会说：“嘿，盐的分量很完美，汤底也很浓郁——千万不要改动这些！”
运作方式： 当模型给出正确的答案时，TRAS 会分析它为什么是对的，并创建一个“正则化器”（一条规则），该规则规定：“保持这些指令部分原封不动。”这可以防止机器人在试图修复错误的同时，意外地删除了那些真正有用的部分。

2. “专家委员会”（蒙特卡洛信号聚合）

大语言模型（LLMs）有点像人类；如果你问它们同一个问题两次，它们可能会给出略有不同的答案。有时它们会产生噪声或感到困惑。

类比： 想象你向一个人问路，他说：“在那个大橡树那里左转。”你问第二个人，他也说：“在大橡树那里左转。”你问第三个人，他也说：“在大橡树那里左转。”于是你很有信心。但如果你问第四个人，他却说：“在加油站那里右转。”这时你就知道第四个人是个异类或者他糊涂了。
运作方式： TRAS 不仅仅向模型请求一次反馈。它会请求多次（采样多个“梯度”和“正则化器”）。然后，它表现得像一位明智的委员会主席，倾听所有的意见，并找到共同的、一致的建议。它会忽略那些奇怪的、带有噪声的异类，并给机器人一个单一的、清晰且可靠的指令。

加分项：“搬家”（自动提示迁移）

这篇论文还解决了实际问题：自动提示迁移（Automatic Prompt Migration, APM）。

场景： 你已经花费数周时间为“模型 A”（比如 GPT-3.5）完善了一套指令。现在，你想把同样的指令用于“模型 B”（比如 GPT-4o）。
风险： 如果你只是把完美的指令拿过来，并尝试使用旧的“修复错误”法来为新模型重新优化，新模型可能会感到困惑，并意外地删除了那些原本对它有效的指令部分。这就像你搬到新房子后，因为兴奋于重新布置家具，结果把那些完美契合的家具都扔掉了。
TRAS 的解决方法： 在迁移到新模型时，TRAS 会立即激活“别碰那里！”信号。它将旧的、行之有效的指令视为珍贵的基石，仅进行微小的、安全的调整以适应新模型，确保你不会丢失已经建立好的“专家级”知识。

结果

论文在各种逻辑和推理任务上测试了它。

更高的准确率： 机器人解决了更多的正确问题。
更快的学习速度： 它不需要为了寻找正确的设置而原地打转；它能更快达到目标。
更便宜： 因为它学习得更快且犯错更少，所以使用了更少的“API 调用”（这涉及成本）。
稳定性： 结果更加一致；它不会在性能的高峰和低谷之间剧烈波动。

简而言之，TRAS 教会我们，要很好地教导一个黑盒 AI，你不应该只在它失败时对着它大喊大叫。你也应该在它成功时对它耳语，告诉它具体要保留什么，并且你应该向一组人征求建议，以确保你没有在听从一个糊涂的声音。

技术摘要：通过文本正则化与信号聚合稳定黑盒提示词优化

1. 问题陈述

本文探讨了针对通过黑盒 API 访问的大型语言模型（LLM）进行自动提示词优化（APO）时面临的挑战，在这些场景中，内部模型状态（梯度、隐藏层状态）是无法获取的。虽然近期的 APO 方法通过利用基于失败案例生成的模型生成评论（文本梯度）来迭代优化提示词，但作者发现了两个关键局限性：

对成功的利用不足： 现有的方法主要基于错误纠正进行优化，忽略了成功预测中所包含的关于哪些提示词组件有效的相关信息。
不稳定与语义漂移： 仅依赖错误驱动的更新会导致“语义漂移”，即旨在修复局部失败的编辑可能会无意中抹除具有全局效益的提示词组件。这迫使优化器进入代价高昂的“删除并重新发现”循环。
自动提示词迁移（APM）失败： 在为某一模型（如 GPT-3.5-turbo）优化的专家提示词必须适配到另一模型（如 GPT-4o）的情景下，朴素的重新优化往往会导致指令丢失，即专家提示词中的承载性指令在适配过程中被覆盖。

2. 方法论：TRAS 框架

作者提出了 TRAS（带有聚合信号的文本正则化），这是一个以反馈为中心的框架，旨在与现有的 APO 搜索骨干网络（例如基于 MCTS 的策略如 PromptAgent）实现即插即用。TRAS 通过三个核心机制运行：

A. 双信号生成

TRAS 不仅仅依赖错误信号，而是在每个优化步骤 $t$ 生成两种互补的文本信号：

文本梯度（纠错信号）： 源自失败案例（ $B_t^-$ ）。评论策略 $\pi_g$ 分析错误的预测，生成关于应修改内容的自然语言指令（例如：缺失的约束、格式问题）。
文本正则化（保持信号）： 源自成功案例（ $B_t^+$ $B_{t}^{+}$ ）。归因策略 $\pi_r$ $π_{r}$ 分析正确的预测，以识别哪些提示词组件促成了成功。它生成一个正则化项 $r_t$ $r_{t}$ ，规定“不要删除”、“保持不变”或“加强”等约束，以保留有益的结构。
- 预热调度（Warm-up Schedule）： 为了防止锚定于糟糕的初始化，正则化信号在最初的 $\tau_{warmup}$ 次迭代中被禁用，允许优化器在稳定之前进行自由探索。

B. 蒙特卡洛信号聚合（MCSA）

由于文本梯度和正则化项都是随机的 LLM 输出，它们可能存在噪声。TRAS 采用 MCSA 来降低方差：

系统为梯度和正则化项各采样 $K$ 个独立的信号。
聚合算子（LLM 总结器）将这 $K$ 个样本合并为单一的可执行指令（ $\bar{g}_t, \bar{r}_t$ ）。
该过程强调一致且可执行的建议，同时过滤掉异常值。作者指出存在一个权衡：增加 $K$ 会降低方差，但如果压缩过多的信号，则存在“稀释”（变得过于泛泛）的风险。

C. 提示词更新与迁移

下一个提示词 $p_{t+1}$ 由更新策略生成，该策略在遵循保持约束的同时应用聚合后的纠错性更改。

对于 APM： 当将提示词从源模型迁移到目标模型时，TRAS 会立即激活文本正则化（ $\tau_{warmup} = 0$ ），并使用较小的采样数 $K$ （由于专家提示词具有较低的方差）。这确保了通过 $\bar{g}_t$ 纠正目标特定的不匹配，同时通过 $\bar{r}_t$ 保留专家提示词的可迁移结构。

3. 核心贡献

本文形式化并贡献了以下内容：

自动提示词迁移（APM）的形式化定义： 作者将 APM 定义为在跨模型版本或提供商适配专家提示词的实际问题，同时明确避免“指令丢失”。
文本正则化： 引入了一种以成功为条件的信号，鼓励保留有益的提示词组件，从而稳定优化轨迹。
蒙特卡洛信号聚合（MCSA）： 一种聚合多个随机信号的技术，用于降低方差并管理可执行建议的稀释问题。
TRAS 框架： 一个结合了上述元素以提高在标准 APO 和 APM 场景下鲁棒性的统一方法。

4. 实验结果

作者在五个推理任务（Causal Judgment, Geometric Shapes, Penguins, Biosses, CB）上评估了 TRAS，其中标准 APO 使用 GPT-3.5-turbo，APM（从 GPT-3.5-turbo 迁移）使用 GPT-4o。

标准 APO (GPT-3.5-turbo)：
- TRAS 在所有任务中均实现了相对于基线（PromptAgent）持续且具有统计显著性的准确率提升，提升幅度在 4.9% 到 21.5% 之间。
- 它降低了不同随机种子之间的标准差，表明优化过程更加稳定。
- 通过避免低效的“删除并重新发现”循环，它减少了 0.5% 到 3.3% 的 LLM API 调用。
自动提示词迁移 (GPT-3.5-turbo $\to$ GPT-4o)：
- 对专家提示词进行朴素的重新优化往往会因为指令丢失而侵蚀初始收益。
- TRAS 在最终准确率上始终优于基线，增幅在 2.2% 到 16.0% 之间。
- 在 Geometric Shapes (+12.5%) 和 Biosses (+16.0%) 任务中表现尤为突出，在这些任务中，保留领域特定结构至关重要。
- TRAS 在迁移设置中减少了 4.2% 到 6.2% 的总 API 调用。
消融研究：
- 预热（Warm-up）： 当正则化在 3–4 次迭代后激活时，性能达到顶峰；过早激活会锚定弱提示词，而激活过晚则会导致漂移。
- 聚合数量 ( $K$ )： 准确率随 $K \approx 6$ 提升（降低了方差），但由于信号稀释，当 $K$ 更大时性能会下降。

5. 重要性与主张

本文声称 TRAS 为黑盒提示词优化中固有的不稳定问题提供了鲁棒的解决方案。通过从纯粹的错误驱动范式转向平衡“纠正”与“保持”的以反馈为中心的方案，TRAS：

稳定了优化： 减少了提示词搜索轨迹中的语义漂移和方差。
实现了有效的迁移： 解决了在不同模型版本间适配提示词而不丢失关键指令的实际问题，这是朴素重新优化中常见的失效模式。
提高了效率： 通过更可靠地收敛并避免冗余循环，以更少的 API 调用实现了更高的准确率。

作者将 TRAS 定位为与搜索策略正交的方法，这意味着它可以增强各种现有的 APO 骨干网络。他们建议未来的工作可以探索替代的聚合机制、自适应正则化调度以及向多轮对话或持续部署设置的扩展。