🤖 AI

TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter

本文介绍了 TAPR，一种通过组相对策略优化（Group Relative Policy Optimization）训练的任务感知提示词重写器，它能将用户输入重新构建为优化的提示词，从而显著提升下游大语言模型在问答和算术推理等任务上的性能。

原作者： Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Oliver Savolainen, Emanuele Bastianelli, Hosein Azarbonyad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图与一个超级聪明的机器人交流，它几乎无所不知。这个机器人被称为“大语言模型”（LLM）。它就像一位天才图书管理员，读遍了世上所有的书，但它有一个古怪的个性：只有当你以一种非常特定、完美的方式向它提问时，它才能发挥出绝对最佳的状态。如果你问一个模糊的问题，比如“给我讲讲太空”，它可能会给你一个乏味且平庸的回答。但如果你问：“请用一个关于烘焙的比喻，向一个10岁的孩子解释恒星的生命周期”，它可能会解锁其全部潜力，并给你一些神奇的内容。

问题在于，弄清楚那些完美的提问方式非常困难。这就像是在调收音机以寻找一个清晰的电台；如果你把旋钮转错了一丁点，听到的就只有静电噪音。大多数人并不擅长“提示词工程”（即编写完美指令的艺术），因此他们经常陷入这种“静电噪音”的困境。科学家们一直试图构建一个助手，能够自动修复你的问题，将你粗糙、凌乱的请求转化为那个大 AI 最喜欢的、完美且精炼的指令。这篇论文深入探讨了这一挑战：我们能否教会一个小型 AI 成为一名“提示词编辑”，让我们的“大 AI 朋友”表现得更好？

认识 TAPR：黑进你问题的 AI 编辑器

在这篇论文中，作者介绍了一个名为 TAPR（任务感知提示词重写器）的新工具。把 TAPR 想象成一个坐在你和庞大 AI 之间的微型专业编辑。当你输入一个问题时，TAPR 不仅仅是将其传递下去；它会先对问题进行重写。它会将你简单的“回答问题”转化为详细、超清晰的指令，告诉大 AI 应该如何思考、使用什么格式以及应该避免什么。

但 TAPR 是如何学会成为如此优秀的编辑的呢？作者并没有仅仅通过展示示例来教它。相反，他们使用了一种称为强化学习的方法，这就像是用零食训练小狗。以下是训练循环的工作原理：

重写： TAPR 接收你的原始问题并对其进行重写。
测试： 大 AI（“任务 LLM”）尝试回答这个重写后的问题。
评判： 一个特殊的“评判 AI”会查看答案和重写后的问题，以决定：“这个新问题是否帮助大 AI 得到了正确答案？问题本身是否清晰且书写规范？”
奖励： 如果评判者说“做得好！”，TAPR 就会得到一个数字化的“奖励（treat）”。如果答案错误或问题令人困惑，TAPR 就拿不到奖励。

随着时间的推移，TAPR 会为了想要那些奖励而变得越来越擅长编写更好的问题。作者使用了一种特定的训练技术，称为 GRPO（组相对策略优化），他们发现这比像 PPO 这样的旧方法更稳定且更有效。

他们发现了什么？

团队在三种截然不同的任务类型上测试了 TAPR：

问答： 比如询问“谁是美国第一任总统？”
摘要： 比如要求 AI 总结一篇长篇新闻文章。
数学推理： 比如解决一个关于混合糖和水的复杂应用题。

结果令人期待，尽管它并非适用于所有情况的“魔杖”。

好消息： 当 TAPR（特别是基于名为 Phi-4-mini-instruct 模型的版本）经过训练后，它能持续提升大 AI 的表现。例如，在名为 GSM8K 的数学测试中，准确率从 11.91%（使用未训练的基础模型进行重写时）跃升至 83.60%（经过 TAPR 训练后）。在名为 Natural Questions 的问答测试中，准确率从 48.80% 提高到了 59.20%。
“秘诀”： 作者发现 TAPR 学会了编写更清晰、更有结构性的提示词，并且通常包含了“思维链”指令（告诉 AI 要“一步步思考”）。这使得大 AI 在解决问题时变得更加聪明。
“评判者”因素： 他们成功的关键之一是使用了 LLM-as-a-Judge（以大模型作为评判者）。他们没有仅仅检查答案是否与教科书逐字逐句匹配（因为如果答案正确但措辞不同，这种检查可能是不公平的），而是使用另一个 AI 来评判答案的质量和含义。这有助于 TAPR 学习编写能产生真正更好答案的提示词，而不仅仅是看起来符合清单要求的答案。

难点：它还不够完美

作者谨慎地指出，这还不是一个已解决的问题。

不一致性： 有时 TAPR 让情况变得更好，但有时结果却褒贬不一，甚至略有下降。例如，在某些摘要任务中，未经训练的“基础模型”表现得其实还不错，而 TAPR 并不总是能击败它。
“选择”策略： 作者尝试了一个技巧，即让 TAPR 生成五个不同的重写问题，然后从中挑选最好的一个。虽然这有时会有帮助，但并不能持续带来更好的结果，而且消耗了更多的计算能力。他们发现，没有强有力的证据表明，仅仅通过训练去编写，就能让 TAPR 成为一个更好的“评判者”。
成本： 训练 TAPR 需要时间和计算能力。作者建议，虽然它有效，但对于某些特定任务，额外的成本可能并不总是划算的，因为简单的、通用的提示词有时就能表现得很好。

核心结论

这篇论文表明，我们确实可以教会一个小型的 AI 成为一名帮助大 AI 表现得更好的提示词编辑。通过使用强化学习和聪明的“评判 AI”，TAPR 学会了将模糊的问题转化为清晰、强大的指令。虽然它还不是一个在 100% 的情况下都能奏效的完美解决方案，但它展示了一条清晰的前进路径：如果我们能够将“提出正确问题”的艺术自动化，我们或许就能为所有人而不仅仅是专家，释放出 AI 的全部潜力。作者总结道，这是一种可行且有效的技术，但仍需要进一步的完善，才能在每个现实场景中都做到可靠。

技术摘要：TAPR – 任务感知提示词重写器

问题陈述

大语言模型（LLMs）拥有巨大的潜力，但通常需要精心设计的输入提示词（prompts）才能实现最佳性能。这一要求为缺乏提示词工程专业知识的非专家用户制造了障碍，使他们难以制定出能充分利用模型能力的指令。现有的优化方法主要依赖于手动、迭代式的调整，或可能产生不可解释的提示词、且因依赖表面指标（如精确匹配）而无法针对实际效用进行优化的自动化技术。因此，需要一种能够将描述不足的用户查询细化为清晰、鲁棒的指令，以确保可靠下游任务性能的自动化系统。

方法论

作者提出了 任务感知提示词重写器（Task-Aware Prompt Rewriter, TAPR），这是一个旨在自动细化并适配 LLM 用户提示词的框架。该系统由一个较小的、专门的“TAPR LLM”组成，用于重写提示词，随后由一个较大的、冻结的“任务 LLM（Task LLM）”执行。

训练框架

该方法的核心在于使用 强化学习（RL） 中的 组相对策略优化（Group Relative Policy Optimization, GRPO） 来训练 TAPR LLM。训练流程如下：

输入： TAPR LLM 接收初始用户提示词。
重写： 它生成一个修订后的提示词。
执行： 修订后的提示词被输入到冻结的任务 LLM 中以生成任务输出。
奖励计算： 基于两个组件计算组合奖励信号：
- 任务性能奖励 ( $T$ )： 作者没有使用传统的精确匹配或 ROUGE 等指标，而是采用了 LLM-as-a-judge（以 LLM 作为评判者） 范式。一个独立的评判模型根据语义正确性和质量来评估任务 LLM 的响应相对于标准答案的表现。
- 提示词质量奖励 ( $Q$ )： 一个专门的奖励（由 LLM 评判者打分 0–5 分）用于评估重写后的提示词本身，确保其遵循提示词工程原则（如清晰度、相关性），并且不会改变原始意图或引入幻觉。
优化： 通过 GRPO 使用组合奖励 $R = \alpha T + \beta Q$ 来更新 TAPR 策略。

关键架构选择

GRPO vs. PPO： 作者采用了组相对策略优化（GRPO）而非近端策略优化（PPO）。GRPO 根据采样轨迹组来更新策略，无需显式的价值函数（critic），并在这一特定应用中展示了更高的连贯性。
提示词选择机制： 一种可选的推理时机制允许 TAPR 模型采样多个候选提示词（在较高温度下），并根据其自身的判断选择最佳提示词，尽管论文指出这并未一致地带来进一步的收益。
评估： 系统在包括问答（Natural Questions, HotpotQA）、摘要（CNN/Daily Mail, SciTLDR）和算术推理（GSM8K）在内的多种任务中进行了评估。

核心贡献

TAPR 框架： 引入了一种通过强化学习训练的任务感知提示词重写器，利用源自重写提示词质量和下游任务性能的反馈来优化提示词。
LLM-as-a-judge 集成： 将 LLM-as-a-judge 奖励创新性地应用于任务输出评估和提示词质量评估。作者证明，与仅依赖精确匹配等可验证指标相比，这种方法提高了训练的稳定性和有效性。
用于提示词重写的 GRPO： 首次探索了使用 GRPO 来增强提示词重写能力，表明其实现了更高的连贯性，并避免了在某些 PPO 配置下观察到的模型崩溃或奖励停滞现象。
实证验证： 大量的实验表明，与基准提示词和未经训练的基座模型生成的重写提示词相比，TAPR 生成的提示词带来了更高的准确性和更好的摘要质量。

实验结果

研究使用了 Phi-4-mini-instruct 和 LLaMA-3.2-3B-Instruct 作为 TAPR 模型，并使用 LLaMA-3.1-8B-Instruct 作为任务 LLM。

问答任务： 在 Natural Questions (NQ) 数据集上，TAPR 变体显著优于基座模型和基准提示词。对于 Phi-4-mini-instruct，准确率从 48.80%（基座）提升至 59.20%（TAPR）。在 HotpotQA 上也观察到了类似的增益。
摘要任务： 在 CNN/Daily Mail 和 SciTLDR 上，TAPR 变体获得了最高的 LLM-as-a-judge 分数。值得注意的是，Phi-4-mini-instruct TAPR 变体在 SciTLDR 上的胜率高达 84.58%。
算术推理： 在 GSM8K 上，Phi-4-mini-instruct 的 TAPR 变体达到了 83.60% 的准确率，超过了基准 “SOLUTION” 提示词（82.38%），并大幅超越了基座模型（11.91%），后者未能生成连贯的解题过程。
消融实验：
- 提示词质量奖励： 移除此奖励会严重限制训练进度，模型往往会退回到接近原始提示词的状态，这表明该奖励对于学习有效的重写至关重要。
- GRPO vs. PPO： GRPO 展示了可靠的改进，而 PPO 变体（在不同超参数下）则导致了奖励停滞或输出退化。
- 监督微调 (SFT)： 使用 SFT 进行预训练虽然提高了基座性能，但并未转化为增强的 RL 训练效果。

重要性与主张

论文声称 TAPR 证明了自动化提示词重写作为一种实用技术的可行性，可以释放 LLM 的全部潜力，特别是对于较小的模型。通过训练一个较小的模型来重写提示词，该系统可以在用户无需具备提示词工程专业知识的情况下，增强下游任务的性能。

作者强调，他们的方法通过利用 LLM-as-a-judge 来捕捉语义正确性和实际效用，从而解决了传统评估指标的局限性。他们认为，尽管提示词工程仍是一个开放且复杂的问题，但他们的方法能够一致地生成更清晰、更具指导性且更详细的提示词，并符合最佳实践。

然而，论文对其局限性保持了审慎的态度：

不一致性： 改进在所有任务和模型中并不统一；在某些情况下，简单的通用提示词在表现上与优化后的重写提示词相当。
训练稳定性： 用于文本生成的强化学习本质上是不稳定的，且对超参数非常敏感。
成本效益： 提示词重写的收益目前尚未能完全抵消训练和推理带来的额外计算成本。
范围： 研究局限于较小的非推理模型和特定的基准测试，这表明未来需要在更大的模型和更多样化的真实智能体工作流中验证这些方法。

总之，这项工作确立了：通过使用 GRPO 训练并受语义奖励引导，一个较小的模型可以有效地学习如何重写提示词以提升较大 LLM 的性能，从而为减少对手动提示词工程的依赖提供了一条路径。