💬 NLP

RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models

该论文提出了 RASPRef 框架，通过利用检索增强、多样本一致性、验证器反馈及模型自批判等自监督信号，无需人工标注即可迭代优化提示词，从而显著提升大语言模型在数学推理等任务中的表现。

原作者： Rahul Soni

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Rahul Soni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 RASPRef 的新框架，它的核心目标非常明确：教人工智能（AI）如何“自己教自己”写出更好的提问方式（Prompt），从而让它变得更聪明，而且不需要人类老师手把手地教。

为了让你轻松理解，我们可以把 AI 想象成一个才华横溢但有点“看人下菜碟”的超级大厨。

1. 核心问题：大厨很厉害，但“菜谱”写得太烂

现在的 AI 模型（比如 DeepSeek R1 或 OpenAI o1）就像一位拥有顶级厨艺的大厨。如果你给他一个模糊的指令（比如“做个好吃的”），他可能会做出一盘黑暗料理；但如果你给他一个结构清晰、步骤详细的指令（比如“先切洋葱，再炒三分钟，最后加盐”），他就能做出米其林级别的菜肴。

现状：目前，让大厨做出好菜的关键，在于人类如何写这个“指令”（Prompt）。但这就像人类在不停地试错：今天写“加点糖”，明天写“少放盐”，全靠人工反复调整，效率低且很难推广到所有菜系。
痛点：如果每次做新菜都要人类重新写菜谱，那太累了，而且人类写出来的菜谱可能并不完美。

2. RASPRef 的解决方案：建立“后厨记忆库” + “自我复盘”

RASPRef 就像给这位大厨装上了一个超级智能的后厨管理系统，它通过两个核心步骤让大厨自我进化：

第一步：翻找“旧账本”（检索增强，Retrieval-Augmented）

想象一下，当大厨接到一个新订单（比如“做一道复杂的数学题”）时，RASPRef 不会让他凭空瞎想，而是立刻去后厨的档案库里翻找：

“以前有没有人做过类似的菜？”
“当时是用什么步骤成功的？”
“哪次失败是因为盐放多了？”

系统会把过去最成功的 5 个类似案例（比如以前解过的类似数学题的解题过程）找出来，作为“参考菜谱”直接递给大厨。这就像给大厨看了一本《经典案例集》，让他知道：“哦，原来这种题应该先这样想，再那样算。”

第二步：自我“挑刺”与修改（自监督提示词优化，Self-Supervised Prompt Refinement）

拿到参考案例后，大厨开始尝试解题。但 RASPRef 不会止步于此，它会启动一个自我批评机制：

多试几次：让大厨用当前的指令做 5 遍同样的题。
找不同：如果 5 次答案都一样，说明指令很稳；如果 5 次答案五花八门，说明指令太模糊。
自我吐槽：让大厨自己读一遍自己的解题过程，问自己：“这里逻辑通顺吗？有没有引用刚才的参考案例？有没有犯低级错误？”
修改指令：根据这些反馈，RASPRef 会直接修改给大厨的“指令”本身。
- 比如：原来的指令是“解这道题”，修改后变成“请先参考案例 A 的思路，分三步走，并在最后检查计算是否一致”。

这个过程会像滚雪球一样循环：修改指令 -> 再试一次 -> 再自我批评 -> 再修改指令。直到大厨能稳定地做出完美菜肴为止。

3. 实验效果：从“及格”到“优秀”

论文在数学题（GSM8K 数据集）上做了测试：

普通模式（静态指令）：就像给大厨一个固定不变的通用菜谱，正确率只有 85.6%。
RASPRef 模式：大厨先翻找旧案例，再自我优化指令，正确率飙升到了 95.0%。

这证明了，只要给 AI 一个能“回顾过去”并“自我纠错”的机制，它就能自己把“提问的方式”打磨得极其精准，从而大幅提升解题能力。

4. 为什么这很重要？（通俗总结）

不需要人类老师：以前我们要花大量时间教 AI 怎么说话，现在 AI 可以自己从过去的经验里学习怎么说话。
像“活”的说明书：以前的指令是死的，RASPRef 让指令变成了活的。遇到新问题，它会自动调整指令，就像老司机遇到新路况会自动调整驾驶策略一样。
透明且安全：它不是偷偷修改 AI 的大脑（模型参数），而是修改给 AI 看的“纸条”（Prompt）。这意味着我们可以清楚地看到 AI 是怎么变聪明的，而且不需要昂贵的算力去重新训练模型。

一句话总结：
RASPRef 就是给 AI 配了一个自带“错题本”和“复盘会”的超级助手，让它通过不断回顾过去的成功经验和自我批评，自动学会如何提出最完美的问题，从而把解题能力发挥到极致。

1. 研究背景与问题定义 (Problem)

背景：以 DeepSeek R1 和 OpenAI o1 为代表的最新大型推理模型（Large Reasoning Models, LRMs）在结构化推理任务（如数学推理、代码生成、多跳问答）上表现卓越。然而，这些模型的性能高度依赖于提示词（Prompt）的构建方式。
痛点：
1. 敏感性：提示词的措辞、结构或示例选择发生微小变化，都会导致模型行为产生巨大差异。
2. 扩展性差：设计有效提示词通常是一个手动、迭代的过程，难以跨任务或跨领域扩展。
3. 现有局限：现有的提示优化方法（如软提示微调、基于梯度的搜索）往往需要访问模型权重、依赖标注数据或奖励模型，且计算成本高，难以应用于闭源 API 模型。
核心问题：如何在不依赖人工标注、不微调模型参数、且无需访问模型内部状态（黑盒）的情况下，自动优化提示词以提升推理性能？

2. 方法论 (Methodology)

作者提出了 RASPRef（检索增强自监督提示词优化）框架。该框架将提示词视为可自适应优化的组件，通过结合检索过去的推理轨迹与自监督评估信号，在推理阶段（Test-time）迭代地改进提示词。

核心流程 (Algorithm 1)

RASPRef 的优化过程包含四个主要步骤：

检索相关轨迹 (Retrieval)：
- 对于新的输入问题 $x$ ，系统从历史轨迹存储库 $M$ 中检索最相似的过去推理轨迹 $T_x$ 。
- 检索依据包括任务结构、领域特征或推理类型，利用向量相似度（如余弦相似度）匹配。
构建初始提示词 (Initial Prompt Construction)：
- 利用检索到的轨迹构建初始提示词 $p^{(0)}$ 。
- 内容包括：通用任务指令、从高质量推理轨迹中提炼的指导原则（Guidelines）、以及具有代表性的示例（Few-shot examples）。
自监督评估 (Self-Supervised Evaluation)：
- 使用候选提示词生成 $K$ 个推理样本。
- 利用无需真值标签的自监督信号评估提示词质量 $Q(p; x)$ $Q (p; x)$ ，该分数由以下四个分量加权组成：
  - 多样本一致性 ( $C_{cons}$ )：多个生成样本在最终答案上的一致性（Self-consistency）。
  - 验证器评分 ( $C_{ver}$ )：轻量级验证器模型对推理过程合理性和结构的评分。
  - 自我批判 ( $C_{crit}$ )：模型对自身推理过程的批判性分析。
  - 检索对齐度 ( $C_{ret}$ )：推理过程有效复用检索到的轨迹元素（如引用关键步骤）的程度。
迭代提示词精炼 (Iterative Refinement)：
- 模型充当“编辑者”，根据评估信号和生成的批判意见，对提示词本身进行修订（例如：“澄清分步推理结构”、“避免过早给出最终答案”）。
- 重复评估和修订过程，直到提示词稳定或达到计算预算上限。

形式化目标

将提示词优化定义为离散空间上的优化问题：
$p^* \approx \arg \max_{p \in \mathcal{P}} \mathbb{E}_{x \sim D_{test}} [Q(p; x)]$
其中 $Q$ 是上述定义的自监督质量分数。

3. 关键贡献 (Key Contributions)

提出 RASPRef 框架：首个将检索增强生成 (RAG) 与 自监督提示词优化 相结合的系统，专门针对推理模型设计。它不依赖人工标注或模型微调，完全在推理阶段工作。
提示词作为优化目标：不同于以往主要关注优化模型输出（Output），RASPRef 直接将提示词（Prompt） 作为优化目标，利用历史推理轨迹来指导新提示词的构建。
自监督信号设计：提出了一套无需 Ground Truth 的评估指标体系（一致性、验证器、自我批判、检索对齐），使得在缺乏标注数据的情况下也能进行有效的提示词迭代。
黑盒兼容性：该方法仅通过 API 与模型交互，适用于闭源模型（如 GPT-4o-mini），解决了梯度不可得和内部状态不可访问的问题。

4. 实验结果 (Results)

实验设置：
- 模型：GPT-4o-mini（作为冻结的推理模型）。
- 数据集：GSM8K（小学数学应用题），测试集 500 个样本，检索库基于 200 个训练样本构建。
- 基线：静态提示词（Static Prompting，固定模板，无检索）。
主要发现：
- 检索增强提示词显著优于静态提示词。
- 准确率提升：从静态提示词的 85.6% 提升至检索增强提示词的 95.0%。
结论：检索到的成功推理轨迹为模型提供了有效的上下文指导，帮助模型更有效地组织中间推理步骤，减少推理错误。

5. 意义与讨论 (Significance & Discussion)

可扩展性与实用性：RASPRef 提供了一种无需额外训练成本即可提升推理模型性能的策略，特别适用于那些无法进行微调的闭源大模型。
可解释性：与基于嵌入（Embedding）的优化或强化学习不同，RASPRef 生成的优化是显式的自然语言提示词。这使得研究人员可以清晰地看到模型从历史轨迹中学到了什么（如更清晰的任务描述、更结构化的推理引导）。
长尾泛化能力：通过检索深层推理模式而非表面词汇相似性，框架有望帮助模型适应罕见或结构特殊的输入（Long-tail cases）。
潜在风险：
- 过拟合风险：过度迭代可能导致提示词过于特化，难以泛化到新任务。
- 轨迹质量依赖：如果检索库中包含错误推理，可能会误导提示词优化。因此，引入基于验证器的过滤机制至关重要。
未来方向：扩展到更多推理领域（如多跳问答、程序合成），集成更强的验证信号，以及优化检索效率。

总结

RASPRef 证明了提示词设计仍然是推理型语言模型的关键瓶颈，而通过检索历史成功经验结合自监督反馈进行自动迭代优化，是一种极具潜力的、可扩展的解决方案。该工作为在不依赖人工标注和模型微调的情况下，持续提升大模型推理能力开辟了新路径。