💬 NLP

Evolutionary Pre-Prompt Optimization for Mathematical Reasoning

本文介绍了进化前置提示优化（Evolutionary Pre-Prompt Optimization, EPPO），这是一种利用进化算法来选择少样本思维链（few-shot chain-of-thought）示例的方法，通过与朴素方法相比，在 GSM8k 和 MathQA 等基准测试上将数学推理性能显著提升了超过 10 个绝对百分点。

原作者： Mathurin Videau, Alessandro Leite, Marc Schoenauer, Olivier Teytaud

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mathurin Videau, Alessandro Leite, Marc Schoenauer, Olivier Teytaud

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个聪明但有些困惑的学生（一个大型语言模型）如何解决复杂的数学问题。你不能重写这个学生的脑回路（你不能重新训练模型），相反，你必须在他们参加测试前给他们一份“小抄”或一组示例题目供其参考。这被称为少样本提示（few-shot prompting）。

核心问题在于：哪些例子应该出现在那份小抄上？

大多数人只是随手抓取一些随机的例子，或者挑选看起来“难”的例子。本文认为，有一种更聪明的方法来挑选这些例子，这种方法受到了进化论的启发。

以下是他们发现的拆解，即 EPPO（进化式前置提示优化），使用了简单的类比：

1. 问题所在：“小抄”抽奖

通常，当我们希望 AI 解决数学问题时，我们会先给它几个类似的解题示例。

旧方法： 人们通常只是随机挑选例子，或者手动挑选。这就像试图通过根据生日来挑选数字来赢得彩票一样。这有时会奏效，但并不可靠。
论文的洞察： 示例的具体选择比拥有更多示例更为重要。事实上，给 AI 太多的例子实际上会干扰它（有点像为了准备考试而阅读 50 本不同的教科书，而不是专注于最好的 4 本）。

2. 解决方案：“适者生存”的小抄

作者创建了一个名为 EPPO 的系统。把它想象成一场烹饪比赛，目的是寻找完美的食谱，只不过他们混合搭配的是数学题，而不是食物。

食材： 他们有一个包含数千个数学问题的巨大储藏室（“演示集”）。
竞赛： 计算机挑选出一小组例子（例如 4 道题）放入“小抄”中。
品尝测试： 它让 AI 使用这个特定的“小抄”来解决一系列练习数学题。
进化：
1. 如果 AI 表现出色，计算机就会保留那份小抄。
2. 如果 AI 表现糟糕，计算机就会从储藏室中换出其中一两个例子。
3. 它重复这个过程数千次，始终保留那些“最适应环境”（表现最好）的小抄，并丢弃差的。

随着时间的推移，系统会“进化”出一份精简且完美的示例集，使 AI 的表现显著提升。

3. 令人惊讶的发现：少即是多

论文中最有趣的发现之一是关于需要多少个例子。

常识认为： “例子越多 = 理解越好。”
EPPO 认为： “事实上，4 个例子通常是最佳平衡点。”

论文发现，当他们尝试使用 8 个、12 个或 16 个例子时，AI 的表现反而变差了。这就像试图通过阅读 20 遍同一篇演讲稿来背诵演讲；你可能会开始感到困惑或厌烦。AI 出现了“过拟合”，这意味着它过度记住了特定的例子，以至于无法将逻辑应用到新的、略有不同的问题上。这种“进化”方法自然地发现，一份由 4 个高质量例子组成的精简列表效果最好。

4. 为什么这很重要

成本低且速度快： 我们不需要重新训练庞大的 AI 模型（这需要耗费巨额的电力和时间），我们只需要优化“小抄”。这就像是调校汽车引擎，而不是制造一辆新车。
它擅长处理难题： 他们在非常困难的数学数据集（如高中和大学水平的数学）上进行了测试。仅仅通过改变小抄上的例子，AI 的得分就提高了 10 分以上。
它具有鲁棒性： 即使例子是由 AI 自己生成的（而不是完美的真人编写），该系统仍然能找到让它们奏效的方法。这就像是发现一个学生的乱涂乱画的笔记其实是备考的最佳方式。

5. “神奇”的组合

论文还发现，当这种方法与**自一致性（Self-Consistency）**结合时，效果会更好。

自一致性就像是要求 AI 将同一个问题解决 8 次，然后取出现次数最多的答案（类似于陪审团投票）。
结果： 当你使用“进化式小抄”（EPPO）加上“陪审团投票”（Self-Consistency）时，AI 就变成了一个数学天才。这两种方法可以叠加使用，产生更出色的结果。

总结

论文表明，我们不需要改变 AI 的大脑来让它更擅长数学。我们只需要使用一种聪明的进化过程，来挑选出那最优秀的 4 个例子展示给它。这种“进化式前置提示优化”（EPPO）防止了 AI 因信息过多而产生困惑，并帮助它更有效地进行复杂问题的推理。

简而言之： 不要只是把随机的例子扔给 AI。让进化论来挑选最完美的几个，然后看着 AI 的数学技能飙升。

技术摘要：面向数学推理的进化式前置提示词优化

问题陈述
大型语言模型（LLMs）在少样本学习方面展现出了卓越的能力，尤其是在结合思维链（Chain-of-Thought, CoT）提示词时，后者能引导模型阐述中间推理步骤。然而，CoT 提示词的效果对提供在前置提示词（pre-prompt）中的少样本示例的选择和结构高度敏感。虽然人工提示工程很常见，但往往并非最优且耗费大量人力。此外，现有的自动化方法通常依赖于针对每个示例的优化或细粒度的基于梯度的更新，这在计算上非常昂贵，且容易导致过拟合，特别是在面对规模有限的推理基准测试（如 GSM8k、MathQA）时，这些数据量不足以支持传统的微调。核心挑战在于：如何系统地选择一组固定且简洁的少样本 CoT 示例，从而在不针对训练数据过拟合的情况下，最大化 LLM 在特定下游数学推理任务上的性能。

方法论：进化式前置提示词优化 (EPPO)
作者提出了进化式前置提示词优化 (EPPO)，这是一个旨在从任务层面优化固定少样本前置提示词的基于比较的进化框架。

公式化： 该问题被构造成一个组合优化任务。演示集 $D$ （包含“提示词-解法”对）作为一个查找表。目标是从 $D$ 中找到一小部分索引（即“少样本前置提示词”），当将其用作所有查询的静态前置提示词时，能使模型在训练集 $T$ 上的准确率达到最大。
优化算法： EPPO 利用了通过 Nevergrad 库实现的黑盒进化算法（例如离散 (1+1)-ES、LogNormal、DoubleFastGA）。至关重要的是，该优化是基于比较的。优化器并不会接收绝对性能得分（这需要细粒度的反馈），而是在每次迭代中仅接收 $\kappa$ 个候选者中表现最佳者的索引。这种“询问-告知”（ask-and-tell）范式依赖于粗粒度反馈（排序）而非梯度信息。
数据策略： 为了管理计算成本，作者采用了子采样策略来创建演示集。他们还利用基于置信度的子采样方法（使用 LLaMA2-70B 的响应不确定性）来确保演示集涵盖了多样化的示例难度。
泛化分析： 论文提供了关于泛化风险的信息论分析。由于 EPPO 依赖于有限的反馈（比较）和有限的优化预算，作者推导出了界限，表明过拟合的风险是受控的，并且取决于反馈粒度和预算，而非环境提示空间的大小或模型的内部复杂度。这与访问细粒度数据且更容易在低数据量环境下过拟合的梯度类方法形成了对比。

核心贡献

框架引入： 引入了 EPPO，一种用于选择静态少样本 CoT 前置提示词的有原则的组合优化方法。
经验优越性： 证明了受控的探索性进化搜索在低数据量环境下优于暴力搜索、随机搜索和经典的微调，同时减少了过拟合。
性能提升： 在使用 LLaMA2 模型的情况下，在 GSM8k 和 MathQA 等基准测试上实现了显著的性能提升（在精确匹配得分上超过 10 个绝对百分点）。这些增益在不同的解码策略下都是稳健的，并且能与自一致性（Self-Consistency, SC）结合产生叠加效应。
机制洞察： 通过分析揭示，优化的前置提示词能诱导出更一致且更有结构的推理轨迹。研究发现，提示词的质量（特别是示例的选择）比提示词的长度更为关键；此外，在降采样场景下，较大的少样本规模（如 8-shot）可能导致过拟合，而较小的规模（如 4-shot）通常能带来更好的泛化效果。
理论界限： 推导了进化式少样本优化的泛化界限，这些界限刻画了数据规模、群体并行性和优化预算的影响，为梯度类微调提供了无法提供的理论保证。

实验结果

基准测试： 该方法在 LLaMA2-7B 和 LLaMA2-70B 上在 GSM8k、SVAMP、MathQA 和 MATH 上进行了评估。
性能： EPPO 始终优于基准方法（标准 CoT、Long CoT 和 Resprompt）。在 LLaMA2-70B 的 GSM8k 测试中，EPPO (4-shot) 达到了 68.2% 的准确率，而标准 CoT 为 56.8%。在 MathQA 和 MATH 上也观察到了类似的增益。
可迁移性：
- 任务迁移： 在 GSM8k 上优化的前置提示词成功迁移到了缺乏训练集的 SVAMP，提升了其相对于基准方法的性能。
- 模型迁移： 为较大的 70B 模型优化的提示词能有效地迁移到 7B 模型，但反向迁移（从 7B 到 70B）效果较差，尽管仍优于基后基准。
过拟合动态： 实验表明，在降采样训练设置中，增加 shot 的数量（例如从 4 增加到 8）会导致过拟合（训练准确率更高但测试准确率更低）。然而，使用完整的训练集可以缓解这一问题。
效率： 由于不涉及反向传播，EPPO 比基于反向传播的微调需要显著更少的计算资源和内存。

意义与主张
论文声称，EPPO 为数学推理任务提供了一种稳健、高效且具有理论依据的方法，可以替代手动提示工程和基于梯度的微调。通过利用基于比较的进化优化，该方法能够有效地在提示词空间中进行搜索，同时保持强大的泛化保证。作者强调，EPPO 的成功不仅在于找到了“更好”的示例，还在于找到了能诱导 LLM 产生更一致推理模式的简洁示例集。这项工作表明，有效的 CoT 推理关键在于战略性地选择提示词内容，而非仅仅增加提示词长度或依赖复杂的逐例检索机制。此外，论文指出 EPPO 与自一致性及其他自助法（bootstrapping methods）的加性兼容性，使其成为增强 LLM 推理能力的通用组件。

1. 问题所在：“小抄”抽奖

2. 解决方案：“适者生存”的小抄

3. 令人惊讶的发现：少即是多

4. 为什么这很重要

5. “神奇”的组合

总结

类似论文