🤖 AI

Structured Prompts Improve Evaluation of Language Models

该研究通过构建可复现的 DSPy+HELM 框架，首次系统性地量化了提示词选择对基准评估结果的影响，发现结构化提示策略不仅能平均提升 6% 的性能，还会显著改变模型在排行榜上的排名。

原作者： Asad Aali, Muhammad Ahmed Mohsin, Vasiliki Bikia, Arnav Singhvi, Richard Gaus, Suhana Bedi, Hejie Cui, Miguel Fuentes, Alyssa Unell, Yifan Mai, Jordan Cahoon, Michael Pfeffer, Roxana Daneshjou, Sanmi

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Asad Aali, Muhammad Ahmed Mohsin, Vasiliki Bikia, Arnav Singhvi, Richard Gaus, Suhana Bedi, Hejie Cui, Miguel Fuentes, Alyssa Unell, Yifan Mai, Jordan Cahoon, Michael Pfeffer, Roxana Daneshjou, Sanmi Koyejo, Emily Alsentzer, Christopher Potts, Nigam H. Shah, Akshay S. Chaudhari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给现在的"AI 排行榜”做了一次**“体检”**，发现了一个被大家忽略的大问题：我们之前给 AI 出的考题太“死板”了，导致排名可能并不真实。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文的核心内容：

1. 核心问题：只有一种“考法”的考试

想象一下，我们要给一群学生（也就是各种大语言模型，如 GPT-4, Claude, Llama 等）进行期末考试，看看谁最聪明。

以前的做法（HELM 框架）： 老师只给出一道固定的题目，而且题目怎么问、用什么语气问，都是写死的。比如：“请计算这个病人的风险值。”
问题所在： 有些学生很擅长回答“直接问”的问题，但有些学生需要老师先给点提示、或者换个问法（比如：“请一步步思考，先列出症状，再计算”）才能发挥真正的实力。
后果： 如果只按一种固定的问法考试，那些“死板”的学生可能得分很高，而那些“需要引导”的聪明学生反而得分很低。这就导致排行榜上的名次，反映的不是谁更聪明，而是谁更擅长回答这种特定的“死板问题”。

2. 解决方案：给 AI 换个“说话方式”（结构化提示）

作者们引入了一种叫 DSPy 的工具，这就像是一个**“超级出题教练”。它不再只给一道死题，而是尝试用五种不同的“说话方式”**（提示词策略）来考同一个学生：

直接问（Baseline）： 就像以前那样，直接问。
让 AI 先思考（Zero-Shot CoT）： 就像老师对学生说：“别急着给答案，先把你脑子里的思考过程写出来，再给结论。”
给几个例子（Few-Shot）： 就像老师先给几个做过的例题，让学生照着做。
优化后的例子 + 思考（BFRS/MIPROv2）： 教练自动挑选最好的例题和最好的问法组合。

3. 惊人的发现：换种问法，排名大变！

作者用这五种方法重新考了 6 个顶尖 AI 模型，结果发现：

分数普遍涨了： 平均来说，只要换个更好的问法（特别是加上“先思考”这一步），AI 的得分平均提高了 6%。这就像学生突然开窍了。
排行榜大洗牌： 在 7 个不同的考试项目中，有 5 个项目的排名完全变了！
- 比喻： 就像在百米赛跑中，以前大家穿一样的鞋子跑。现在有人穿了跑鞋，有人穿了钉鞋。结果发现，原本跑第二的选手，穿上钉鞋后直接冲到了第一，把原本的第一名挤下去了。
- 具体例子： 在医学计算题上，原本领先的 o3 Mini 被 Claude 3.7 反超了。
小模型逆袭： 一些开源的小模型（比如 Qwen3 4B），在用了好的“问法”后，表现甚至超过了那些昂贵的大模型。这说明小模型不是不行，只是以前没被“正确地问”而已。

4. 最大的功臣：让 AI“先思考”（Chain-of-Thought）

作者发现，在所有改进方法中，90% 的提升都来自于让 AI“先思考，再回答”（Chain-of-Thought, CoT）。

比喻： 这就像让一个学生做题时，不能只写“答案是 A"，而必须写出“因为 A 是...，B 是...，所以选 A"。
有趣的现象： 一旦让 AI 开始“思考”，再花大力气去优化题目（比如找更完美的例题、改更复杂的指令），提升就非常小了。
结论： 只要让 AI 学会“一步步思考”，它就能发挥 95% 的潜力。剩下的那 5% 的优化，性价比极低，就像给已经吃饱的人再喂一口饭，意义不大。

5. 成本与效率：最划算的升级

作者还算了一笔账：

高级优化（BFRS/MIPROv2）： 需要给 AI 看很多例题，导致题目变得很长，消耗大量的“算力”（就像考试时发了一本厚厚的参考书，既费时间又费钱）。
简单思考（Zero-Shot CoT）： 只需要加一句“请一步步思考”，题目长度增加很少，但效果却和那些复杂的优化方法差不多。
结论： “让 AI 先思考”是性价比最高的方法。 既省钱，效果又好。

6. 总结：这对我们意味着什么？

这篇论文告诉我们要重新审视 AI 的排行榜：

别只看分数： 现在的排行榜可能因为“题目问法太死”而误导了我们。
排名会变： 如果换一种更科学的问法，今天的“第一名”明天可能就不是了。
未来的方向： 以后评估 AI，不能只用一种固定的题目，而应该像这次研究一样，用多种“结构化”的方法去考它，看看它在不同引导下的真实能力。
实用建议： 如果你要使用 AI 解决复杂问题（比如医疗、数学），不要直接问，先让它“一步步思考”，这比花大价钱去调教它更有效。

一句话总结：
这篇论文就像给 AI 界敲了一记警钟：别被单一的考试分数骗了，换个问法（特别是让 AI 先思考），你会发现很多“差生”其实是“潜力股”，而排行榜上的名次可能完全不是那么回事。

这是一篇关于结构化提示（Structured Prompts）如何显著影响大语言模型（LLM）评估结果的研究论文。该研究将 DSPy（一种声明式提示优化框架）与现有的 HELM（语言模型整体评估）基准测试相结合，系统性地量化了提示词选择对排行榜排名的影响。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状： 随着 LLM 在各领域的广泛应用，高质量的基准测试框架（如 HELM）对于指导部署决策至关重要。然而，现有的评估框架通常使用单一的静态提示配置（Single Static Prompt Configuration）来评估模型。
痛点： 模型的表现高度依赖于提示词的选择。单一的静态提示不仅无法全面表征模型能力，还可能导致报告的分数和相对排名严重失真。
核心问题： 提示词的选择本身能在多大程度上改变基准测试的结论？目前的评估是否因为提示词设计不当而低估了模型的真实能力？
现有方法的局限： 传统的提示工程（Prompt Engineering）依赖人工设计，耗时且脆弱；自动提示优化（APO）虽然存在，但缺乏在标准化基准下系统性隔离“提示词选择”这一变量的研究。

2. 方法论 (Methodology)

研究团队构建了一个可复现的 DSPy + HELM 框架，旨在系统性地研究提示词选择对评估结果的影响。

框架集成：
- 利用 DSPy 将 HELM 的基准提示转化为模块化的、参数化的结构化提示。
- 在 HELM 的七个基准测试（涵盖通用推理和医疗领域）上评估模型。
评估对象：
- 模型： 4 个前沿闭源模型（Claude 3.7 Sonnet, Gemini 2.0 Flash, GPT 4o, o3 Mini）和 2 个开源模型（Llama 3.3 70B, Qwen3 4B）。
- 基准测试： MMLU-Pro, GPQA, GSM8K, MedCalc-Bench, Medec, HeadQA, MedBullets。
提示方法对比（5 种）：
1. HELM Baseline: 固定的、零样本（Zero-shot）、人工编写的提示（无思维链）。
2. Zero-Shot Predict: DSPy 的零样本预测，无优化，无演示。
3. Zero-Shot CoT (Chain-of-Thought): 强制模型生成逐步推理过程，然后输出答案。
4. BFRS (Bootstrap Few-Shot with Random Search): 通过自举（Bootstrapping）从训练集中筛选最佳演示样本，并结合随机搜索。
5. MIPROv2: 更高级的优化器，同时优化指令（Instruction）和少样本演示（Few-shot），利用贝叶斯搜索寻找最优配置。

3. 主要发现与结果 (Key Results)

A. 性能提升显著

平均提升： 结构化提示方法平均将模型性能提升了 6%。
关键驱动因素： 性能提升的主要来源是引入 思维链（Chain-of-Thought, CoT）。
- 从“零样本预测”到“零样本 CoT"带来了显著的统计显著性提升。
- 一旦引入 CoT，使用更复杂的优化器（如 BFRS 和 MIPROv2）带来的额外收益微乎其微（通常 <0.5%）。
成本效益： 虽然 BFRS 和 MIPROv2 能带来少量提升，但它们需要大量的 Few-shot 演示，导致 Token 消耗巨大（平均增加约 1700+ tokens）。相比之下，Zero-Shot CoT 仅增加少量 Token（约 164 tokens），却获得了绝大部分的性能增益，是最具成本效益的方法。

B. 排行榜排名发生剧烈变化

排名翻转： 在 7 个基准测试中，有 5 个 的模型排名发生了显著变化。
- 案例 1 (MMLU-Pro): 在 Baseline 下，o3 Mini (77.1%) > Claude 3.7 (76.3%)；但在最佳结构化提示下，Claude 3.7 (80.6%) > o3 Mini (78.4%)。
- 案例 2 (MedCalc-Bench): 同样发生了排名逆转，Claude 3.7 超越了 o3 Mini。
差距变化： 模型间的性能差距被重塑。例如，在 GPQA 上，Top 2 模型的差距从 Baseline 的 0.6% 扩大到 4.3%；而在其他基准上差距可能缩小。
小模型逆袭： 较小的开源模型（如 Qwen3 4B）在结构化提示下表现出巨大的提升潜力。在 MMLU-Pro 等任务中，Qwen3 4B 在最佳提示下甚至超过了大 18 倍的 Llama 3.3 70B。

C. 提示敏感性的异质性

任务类型： 推理类任务（如 MMLU-Pro, GSM8K, MedCalc-Bench）对提示词变化最敏感，增益最大。
模型类型： 非推理类模型（或较小模型）通常比专门的推理模型（如 o3 Mini）获得更大的相对提升。o3 Mini 对提示变化的敏感度较低，表现相对稳定。

4. 理论解释 (Theoretical Insight)

论文附录从理论角度解释了为什么 CoT 能降低提示词设计的敏感性：

决策边界（Decision Margin）： CoT 可能扩大了模型对正确答案的置信度（即决策边界 $m(x; p)$ 增大）。
推理路径分布： 一旦使用了统一的 CoT 接口（推理 + 输出），不同的结构化提示（如 BFRS vs MIPROv2）所诱导的推理路径分布（Reasoning Path Distributions）可能非常相似。根据数据处理不等式，如果推理路径分布相似，最终答案分布的差异也会很小。这解释了为什么在引入 CoT 后，进一步优化提示词带来的收益递减。

5. 贡献与意义 (Contributions & Significance)

首个系统性研究： 这是第一项在成熟评估框架（HELM）中系统性集成结构化提示，并量化“仅凭提示词选择”如何改变基准结论的研究。
开源工具： 作者开源了 (i) DSPy+HELM 评估框架，(ii) 提示优化流水线，供社区复现和扩展。
对未来的启示：
- 排行榜的可靠性： 现有的单一静态提示排行榜可能无法反映模型的真实能力，甚至误导部署决策。
- 评估标准建议： 未来的公共排行榜应报告多种提示策略下的性能，或者采用标准化的结构化提示族（Prompt Families），以评估结论对提示词选择的依赖程度。
- 部署建议： 对于实际部署，简单的 CoT 提示往往比复杂的自动优化更具性价比。

总结

该论文有力地证明了提示词选择是评估 LLM 能力的一个关键变量，其影响力不亚于模型本身的架构差异。通过引入简单的结构化提示（特别是思维链），可以显著改变模型的排名和性能表现。这呼吁学术界和工业界重新审视当前的评估范式，从单一的静态提示转向更鲁棒、多维度的评估协议。