🤖 machine learning

Efficient Multi-objective Prompt Optimization via Pure-exploration Bandits

本文通过将提示选择构建为多目标纯探索多臂老虎机问题，来应对提示性能的多面性，并提出了一套新颖的算法用于恢复帕累托集和识别最佳可行提示，这些算法在理论上得到保证，并在多个大语言模型上经实证验证，其表现优于现有基线。

原作者： Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Donghao Li, Chengshuai Shi, Weijuan Ou, Cong Shen, Jing Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图为一道新菜寻找完美的食谱。你拥有一本包含数千种潜在食谱（提示词）的巨型烹饪书，但只有有限的时间和食材（“预算”）来测试它们。

在大语言模型（LLM）的世界里，这些“食谱”就是我们要给 AI 的指令。问题在于，一个“好”食谱不仅仅关乎味道（准确性）；它还需要烹饪迅速（简洁性）、健康（安全性）且制作成本低廉（成本）。大多数以往的方法试图通过只关注一个方面（例如味道）来寻找最佳食谱。但在现实生活中，你往往需要权衡取舍：最美味的菜肴可能烹饪时间过长，而最快的菜肴可能味道平淡。

这篇题为《通过纯探索老虎机进行高效多目标提示优化》的论文提出了一种更聪明的方法，用于在时间紧迫且需同时兼顾多个目标时，寻找 AI 的最佳指令。

以下是他们方法的分解，使用了简单的类比：

1. 问题：“味道 vs. 速度”的困境

作者指出，评估 AI 提示词就像评判一辆汽车。你不能只看它跑得多快（准确性）；你还需要检查它的油耗（简洁性）或安全性（约束条件）。

旧方法：以往的方法试图将所有这些因素合并为一个单一分数（例如“速度减去油耗成本”）。这往往忽略了细微差别。有时，只要不爆炸（安全约束），即使耗油，你也想要最快的车。
新目标：这篇论文希望找到两个特定的东西：
1. 最佳可行提示词：绝对最好的食谱，同时仍满足严格的安全或速度限制（例如，“找出 10 分钟内能完成的最美味菜肴”）。
2. 帕累托集：一份“最佳权衡”菜单。这些是那些你无法在不使另一项变差的情况下改善某一项（味道）的食谱。这是一份代表最佳平衡的顶级竞争者名单。

2. 解决方案：“品尝菜单”策略（老虎机）

作者将这个问题视为一场名为“多臂老虎机”的游戏秀。想象一排老虎机（提示词）。你拥有有限数量的硬币（预算）来拉动杠杆。你想找到最好的机器，而不会把所有硬币都浪费在输家身上。

他们引入了两种新算法来管理这场游戏：

A. GENSEC：用于约束的“淘汰赛”

将其想象为寻找最佳可行提示词的锦标赛淘汰赛。

工作原理：你从所有 100 个食谱开始。你品尝每个食谱的一小部分。
转折：在每一轮中，你立即淘汰那些明显太慢（违反约束）或明显比当前领先者味道差的食谱。
魔力：该算法并没有将每个食谱视为完全独特且无关的项目，而是注意到食谱通常共享“食材”（特征）。如果食谱 A 和食谱 B 都使用“大蒜”，并且你从食谱 A 中了解了关于大蒜的某些信息，你就可以对食谱 B 做出一些推测。这让他们能学得更快，就像一位厨师知道，如果一道大蒜味重的菜太咸，另一道大蒜味重的菜可能也会太咸。
结果：他们发现，这种方法恢复了 80–90% 的潜在“完美”分数，而旧方法（只是随机品尝）仅获得了 20–50%。

B. GENPSI：用于权衡的“制图者”

该算法旨在寻找帕累托集（最佳权衡菜单）。

工作原理：它不是寻找一个赢家，而是试图描绘可能性的“前沿”。它会问：“哪些食谱好到无法在不损害另一项指标的情况下改善某一项指标？”
策略：它使用类似的淘汰过程，但关注食谱之间的“差距”。如果一个食谱明显被另一个食谱支配（在所有方面都更差），它就会被剔除。如果它是一个独特的权衡（速度极快，味道尚可），它就会被保留。
结果：与真实情况相比，该方法恢复了 超过 90% 的“超体积”（一种形容良好权衡总面积的复杂说法），而基线方法仅能达到约 80%。

3. “秘密酱料”：从联系中学习

他们成功的关键部分在于认识到提示词并非随机；它们是相互关联的。

类比：想象你在测试 100 辆不同的汽车。如果你测试了一辆红色跑车并发现它很快，你就不需要从头开始测试每一辆红色跑车。你知道它们共享相同的发动机类型。
论文的方法：他们使用“特征图”（提示词的指纹）来观察这些联系。通过使用神经网络（MLP）来理解这些共享模式，他们的算法比那些将每个提示词视为孤立岛屿的方法学习得快得多。

4. 证明：厨房测试

作者在真实的厨房（使用 Llama-3 和 Gemma 等真实 AI 模型）中，用真实的食谱（总结新闻文章）测试了这一点。

设置：他们必须总结新闻（准确性），同时保持摘要简短（简洁性）。
结果：他们的“老虎机”厨师（GENSEC 和 GENPSI）始终比“随机品尝者”（Uniform）或其他标准方法找到了更好、更安全、更平衡的提示词，尤其是在他们几乎没有时间（预算）进行测试时。

总结

简而言之，这篇论文说：“停止随机猜测，停止只看一个数字。”

通过将提示词选择视为一种战略游戏，在其中你尽早淘汰糟糕的选项，并从不同提示词之间的相似性中学习，你可以更快、用更少的尝试找到准确性、速度和安全性之间的完美平衡。这就像拥有一位聪明的副厨师，他知道如果一道菜太咸，下一道菜可能也会太咸，从而让你免于品尝烹饪书中的每一道菜。

技术摘要：基于纯探索多臂老虎机的多目标提示优化

问题定义

提示工程是充分利用大语言模型（LLM）的核心，然而现有方法主要集中于优化单一目标（例如任务准确率）。在现实世界应用中，提示性能 inherently 具有多面性，涉及在连贯性、忠实度、流畅性和安全性等相互竞争的指标之间进行权衡。单一提示很少能在所有维度上均占主导地位。此外，提示评估成本高昂，需要有限的 LLM 查询预算。

本文在固定评估预算 $B$ 下解决了多目标提示选择问题。作者形式化了两个具体目标：

最佳可行提示识别：识别一个能最大化主要目标（例如准确率）同时满足其他目标约束（例如安全性或简洁性阈值）的提示。
帕累托提示集识别：恢复代表所有目标间最优权衡的非支配提示集（帕累托前沿）。

该问题被置于纯探索多目标老虎机框架内。候选提示集 $\mathcal{X}$ 被视为一组臂（arms）。拉动一个臂对应于在采样输入上评估一个提示，产生随机奖励向量。挑战在于，鉴于评估的高成本和多目标权衡的复杂结构，如何高效地识别最优臂（或臂集）。

方法论

作者提出了一种通用框架，利用提示间固有的相关性来提高样本效率，超越了将每个提示视为独立臂的处理方式。

通用框架

该方法采用基于轮次的臂消除策略。整个过程包含 $R$ 轮，总预算为 $B$ 。在每一轮中：

预算分配：根据分配器（例如均匀采样或 G 最优设计）选择提示进行评估。
评估：向 LLM 查询提示，并观察奖励向量。
奖励估计：估计器更新活跃提示的期望性能向量 $\hat{\mu}(x)$ 。该框架支持通用的奖励函数 $g_\theta(\phi(x))$ ，其中 $\phi(x)$ 是提示的特征嵌入， $\theta$ 是所有提示共享的未知参数。
臂消除：根据特定目标问题的标准对提示进行排名并消除。

算法

基于该框架引入了两种具体算法：

GENSEC（约束下的广义连续消除）：
- 目标：最佳可行提示识别。
- 机制：它基于约束阈值构建经验可行集。臂首先根据可行性排名，然后根据主要目标估计值排名。前 $l_r$ 个臂被保留进入下一轮。
- 理论保证：对于线性奖励设置（ $\mu(x) = \phi(x)^\top \theta$ ），作者证明了无法识别最优可行提示的概率随预算 $B$ 呈指数级衰减。值得注意的是，误差界取决于 $\log_2 K$ （其中 $K$ 是提示数量），而非 $K^3$ ，与之前的随机老虎机结果相比，显著提高了可扩展性。
GENPSI（广义帕累托集识别）：
- 目标：帕累托提示集识别。
- 机制：它采用经验帕累托间隙作为消除指标。该间隙衡量将臂分类为帕累托最优或次优的难度。该算法统一并推广了现有的老虎机算法（如 EGE 和 GEGE），适用于标准和线性设置。

特征利用

为了高效处理大型提示集，该方法利用特征映射 $\phi: \mathcal{X} \to \mathbb{R}^d$ 。在线性设置中，这允许算法在所有提示间学习共享参数 $\theta$ ，从而加速收敛。在实验中，提示嵌入使用 GPT-3.5-turbo 提取并通过 PCA 降维。

实验结果

作者在两个摘要基准测试（XSum 和 CNN/DailyMail）上，使用 LLaMA-3-8B 和 Gemma-7B 评估了 GENSEC 和 GENPSI。目标指标为 ROUGE-L（质量）和 简洁性分数（长度）。

最佳可行识别：
- 基于老虎机的算法（CSR 和 MLP-CSR 变体）显著优于均匀采样基线。
- 在受限预算下，所提出的方法恢复了最优受限提示 80–90% 的效用，而基线仅达到 20–50%。
- 利用神经网络估计器通过共享结构进行学习的 MLP-CSR 变体，始终优于独立臂的 CSR 变体，证明了利用提示相关性的优势。
帕累托集识别：
- 使用超体积（HV）作为指标，基于 GENPSI 的算法（EGE 和 MLP-EGE）恢复了 >90% 的真实帕累托集超体积。
- 基线保持在低到中等 80% 的范围内。
- MLP-EGE 在低预算 regime 中显示出特别的优势，突显了共享参数学习的效率。

主要贡献

形式化：本文首次将多标准提示选择形式化为多目标纯探索老虎机问题。
算法创新：引入了 GENSEC 和 GENPSI，它们推广了现有的老虎机算法以处理约束和帕累托最优性，同时利用提示间的共享结构。
理论保证：本文为线性设置下的 GENSEC 提供了理论误差界，显示与 prior work 相比，其对提示数量（ $K$ ）的依赖关系有了显著改进。
实证验证：广泛的实验表明，基于老虎机的方法是原则性且高效的，在严格评估预算下，在恢复最优可行提示和帕累托前沿方面，相比基线提供了实质性改进。

意义与主张

本文声称建立了一个用于多目标提示优化的“原则性且高效的框架”。通过将提示工程与多目标老虎机相结合，作者认为可以超越临时性策略或单一指标策略。这项工作解决了提示性能涉及固有权衡这一实际现实，而这些权衡无法仅通过标量化指标来捕捉。作者将其方法定位为评估预算有限场景的解决方案，例如在受监管的领域或处理昂贵的 LLM 推理时。本文结论指出，该框架为在复杂评估标准下实现可扩展的提示优化开辟了新的机遇，尽管作者承认未来工作需要将这些方法扩展到更多样化的任务，并纳入公平性和效率等更丰富的指标。