💬 NLP

Bandit-Based Prompt Design Strategy Selection Improves Prompt Optimizers

本文介绍了 OPTS，这是一个通过实现显式的、基于多臂老虎机机制（具体为汤普森采样）来有效选择并应用提示设计策略的提示优化框架，该框架增强了现有优化器（如 EvoPrompt）的性能，从而超越了依赖隐式策略选择的方法。

原作者： Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

发布于 2026-06-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Rin Ashizawa, Yoichi Hirose, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明但有时有点固执的机器人（大语言模型）如何解开一个困难的谜题。你给机器人指令，这些指令被称为“提示词”（Prompt）。如果指令模糊，机器人会感到困惑；如果指令完美，机器人能瞬间解开谜题。

长期以来，人类一直尝试通过手工编写这些完美的指令，或者使用计算机程序自动调整指令直到它们效果更好。这被称为提示词优化（Prompt Optimization）。

然而，这里有一个问题：这些自动程序生成的指令虽然功能完备，却缺乏人类专家所使用的“秘密配方”。它们忽略了那些经过验证的技巧，比如“一步步思考”或“扮演专家”。

问题所在：机器人的糟糕猜谜游戏

最近，一个名为 APET 的工具试图修复这个问题。它给了机器人一份“设计策略”菜单（就像一份烹饪技巧菜单：加盐、切碎、慢火炖煮）。机器人应该查看这份菜单，并决定针对特定的谜题使用哪些技巧。

但论文指出，要求机器人做出这种选择，就像是要求一位疲惫的厨师去猜哪种香料能救活一锅烧焦的汤。机器人经常猜错，选用的策略实际上会让指令变得更糟。这是一种**隐式（implicit）**的选择（机器人只是凭“感觉”觉得应该使用某个技巧），而这种感觉并不靠谱。

解决方案：OPTS（聪明的侍酒师）

作者在这篇论文中介绍了一种新方法——OPTS（基于策略选择的提示词优化）。

与其让机器人去猜，OPTS 扮演的是聪明的侍酒师（葡萄酒专家）或赌场经理的角色，运行着一场概率游戏。以下是使用简单类比的工作原理：

想象你有一排老虎机（研究人员称之为“臂/arms”）：

机器 1： 在指令中加入“一步步思考”。
机器 2： 告诉机器人“再读一遍问题”。
机器 3： 告诉机器人“扮演一名数学专家”。
机器 K+1： 什么都不做（保持指令原样）。

在旧方法（APET）中，机器人只是随机拉动拉杆或凭直觉行动。

在新的 OPTS 方法中，系统使用了一种被称为**汤普森采样（Thompson Sampling）**的数学策略。把它想象成一个聪明的赌徒，他手里拿着一张记分卡：

它尝试一台机器（一种策略）。
如果机器人更好地解决了谜题，系统就会给那台机器一个“赞”，并使其在下次被选中的概率更高。
如果机器人失败了，系统就会给那台机器一个“踩”，并停止选择它。
至关重要的是，它还保留了一台“什么都不做”的机器。如果所有的技巧都让情况变得更糟，系统就会学会直接保持指令不变。

研究发现

研究人员在两个不同的机器人（LLM）上测试了这一方法，使用的是一组非常困难的逻辑与推理谜题（称为 BIG-Bench Hard）。

结果： 通过使用这种“聪明赌徒”的方法来挑选正确的策略，该系统创建出的指令比机器人自行生成的指令要好得多。
冠军： 汤普森采样法（聪明的赌徒）是明显的赢家。它将提示词优化器的性能在某些任务上提升了高达 50%。
对比： 旧方法（APET，即机器人进行猜测的方法）的表现甚至比随机选择策略还要差。这证明了机器人并不擅长猜测该使用哪些技巧，但如果我们告诉它使用哪个技巧，它就非常擅长执行指令。

核心启示

这篇论文并不声称已经解决了所有的 AI 问题，也不声称已经准备好进行医疗诊断。它仅仅表明，当我们试图教 AI 如何更好地交流时，我们不应该让 AI 去猜该使用哪种教学方法。相反，我们应该使用一个智能的、数据驱动的系统（如汤普森采样）来明确地选择最佳的教学技巧，就像教练为特定的比赛情况选择正确的战术一样。

这个“聪明教练”的代码现在已开放供他人使用。

技术摘要：基于 Bandit 的提示词设计策略选择

问题陈述

提示词优化旨在自动搜索有效的提示词，以增强大语言模型（LLM）的性能。虽然现有的离散提示词优化方法（例如进化算法）已经成功发现了有效的提示词，但这些提示词往往与人类专家精心设计的复杂提示词有所不同。在自动化优化过程中，如何利用已建立的“提示词设计策略”（如思维链 Chain-of-Thought 或角色扮演 Role Prompting 等最佳实践）存在一个关键的空白。

最近的方法，例如自主提示工程工具箱（APET），试图通过将所有可用的策略描述输入到 LLM 中，由其隐式地选择并应用这些策略，来整合这些策略。然而，这种隐式选择容易导致次优的表现，因为 LLM 可能无法有效地优化选择过程，并且不合适的策略可能会根据特定的任务和目标 LLM 对性能产生负面影响。其核心问题在于缺乏一种显式的、鲁棒的机制，用于在优化过程中选择最合适的提示词设计策略。

方法论

作者提出了 OPTS（通过策略选择优化提示词，Optimizing Prompts with sTrategy Selection），该框架引入了提示词设计策略的显式选择机制。OPTS 被集成到了 EvoPrompt 中，这是一个著名的提示词优化器，它模拟了进化算法（具体为遗传算法 GA 和差分进化算法 DE）。

核心组件

策略臂（Strategy Arms）： 系统定义了 $K$ 个臂，每个臂对应一种特定的提示词设计策略（例如思维链、情感提示、重读等）。此外还包含一个第 $(K+1)$ 个“不采取行动臂（inaction arm）”，代表不应用任何策略修改的选项。
选择机制： 论文提出并评估了三种不同的选择方法：
- OPTS(TS)： 使用 汤普森采样（Thompson Sampling），这是一种多臂老虎机算法。它为每个臂的预期回报维护一个概率分布（Beta 分布先验）。在评估修改后的提示词后，回报（基于任务解决 LLM 的准确率）会更新该分布，使系统能够在策略的探索（exploration）与利用（exploitation）之间取得平衡。
- OPTS(US)： 使用 均匀采样（Uniform Sampling），其中每个臂（包括不采取行动臂）被选中的概率相等，作为随机应用策略的基准。
- OPTS(APET)： 基于 APET 方法，即由 LLM 隐式地从列表中选择策略。该版本包含一个 50% 的显式概率来选择“不采取行动臂”，以模拟 APET 的行为，同时增加一个非修改控制。
集成工作流：
- EvoPrompt 通过交叉（crossover）和变异（mutation）生成一个新的候选提示词。
- OPTS 模块根据所选机制选择一个策略（或不采取行动）。
- 如果选择了某种策略，其描述将连同元提示词（meta-prompt）和候选提示词一起传递给“提示词设计 LLM”。
- “提示词设计 LLM”会对提示词进行修改，以融入所选策略。
- 修改后的提示词由“任务解决 LLM”进行评估，产生的得分用于更新选择分布（在 TS 的情况下）并确定下一代的种群。

核心贡献

显式策略选择： 本文引入了提示词优化中首个显式的提示词设计策略选择机制，区别于以往工作中如 APET 所使用的隐式选择。
汤普森采样集成： 作者提出了基于汤普森采样的方案（OPTS(TS)），并在实验中证明其在针对特定任务和 LLM 选择合适策略方面具有卓越的表现。
性能提升： 研究表明，集成显式策略选择能显著提高 EvoPrompt 优化器的性能。
全面评估： 这些方法在来自 BIG-Bench Hard (BBH) 的 27 个挑战性任务上进行了评估，使用了两种不同的任务解决 LLM（Llama-3-8B-Instruct 和 GPT-4o mini）以及两种不同的进化算法（GA 和 DE）。

实验结果

实验使用 BIG-Bench Hard 任务进行。任务解决 LLM 为 Llama-3-8B-Instruct（针对所有 27 个任务）和 GPT-4o mini（针对 3 个任务）。

整体提升： 所有三种 OPTS 变体（TS, US, APK）都使基准 EvoPrompt(DE) 的平均性能提升了约 4.5% 到 7.5%。
汤普森采样的优越性： OPTS(TS) 取得了最佳的整体结果。当使用 GPT-4o mini 同时进行提示词生成和任务解决时，OPTS(TS) 在特定任务（如“逻辑演绎五个物体”）上的性能提升了高达 50%。在针对 Llama-3-8B-Instruct 的 BBH 任务平均表现上，OPTS(TS) 比 OPTS(US) 高出约 1.7%，比 OPTS(APET) 高出约 2.7%。
与 APET 的比较： OPTS(APET) 的表现差于 OPTS(US)，这表明 LLM 存在会导致错误隐式策略选择的偏差。
任务差异性： 提升程度因任务而异。对于像“毁坏名字（ruin names）”这样的任务，OPTS(TS) 比基准提高了约 40%。在某些情况下，性能略有下降，但“不采取行动臂”确保了与收益相比，性能下降是极小的。
成本效率： 在 500 次 API 调用这一固定约束下，OPTS(TS) 仍然优于基准 EvoPrompt，表明其具有更高的成本效益。

重要性与主张

论文声称，显式选择提示词设计策略是推动提示词优化进步的关键一步。通过利用现有的提示词工程知识（如思维链等策略），通过基于 Bandit 的选择过程，OPTS 使优化器能够发现不仅有效而且在结构上符合人类最佳实践的提示词。

作者强调：

显式选择优于隐式选择： 与 APET 中的隐式选择相比，LLM 隐式选择策略的能力是次优的，而基于数据的汤普森采样更具优势。
策略可以组合： 虽然 OPTS(TS) 每次只选择一个策略，但生成的优化提示词往往表现出多种策略的结合（例如，包含了“重读”功能的“思维链”），这表明优化器有效地学习了如何叠加这些技术。
泛化性： 该方法无论是在特定的任务解决 LLM（Llama-3 或 GPT-4）还是在底层的进化算法（GA 或 DE）上都是有效的。

作者保持了谦逊的态度，指出了局限性，例如将 OPTS(TS) 建模为伯努利老虎机（Bernoulli bandit）的做法（可以进一步完善）、未在 EvoPrompt 之外的其他优化器上进行测试，以及结果可能随所准备的特定策略集而变化。他们总结道，这项工作强调了显式利用和选择现有的提示词设计知识以增强 LLM 性能的重要性。