技术摘要：基于经验迭代蒸馏的黑盒大语言模型多步推理与工具使用提示策略

1. 问题陈述

本文针对大语言模型（LLMs）现代生态中固有的“微调瓶颈”。随着行业转向仅能通过 API 访问的专有“黑盒”模型（例如 Gemini-Pro、GPT-5），由于无法获取模型权重、梯度或内部计算图，传统的迁移学习技术（如全参数更新或参数高效微调 PEFT，如 LoRA）已变得不可行。

因此，任务适应依赖于上下文学习（ICL）和提示工程。然而，手动提示工程具有启发式特征且脆弱；大语言模型对“语义噪声”高度敏感，措辞或示例顺序的微小扰动即可导致显著的性能波动。虽然存在自动提示优化（APO）方法，但许多方法依赖进化算法或基于大语言模型的反思，将优化视为启发式生成而非结构化策略。这些方法在处理复杂的多步推理轨迹时往往力不从心，且缺乏稳健部署所需的样本效率。

2. 方法论

作者提出了一种强化学习（RL）框架，用于训练一个可学习的“提示器策略”（Prompter Policy），以优化一个更大、冻结的“工作器”（Worker）大语言模型的提示。核心创新在于将控制逻辑（提示器）与执行逻辑（工作器）解耦，并利用经验迭代蒸馏。

2.1 双智能体架构

• 提示器智能体（$\pi_\theta$）： 一个较小、高效的 LLM（例如 20 亿至 100 亿参数），作为可训练策略。它根据任务上下文和过往经验历史生成任务指令（提示）。梯度仅针对该模型计算。
• 冻结工作器智能体（$\pi_{LLM}$）： 一个大型、冻结的推理引擎（例如 1 万亿参数），执行由提示器生成的指令。它充当环境并提供输出。

2.2 目标

目标是学习提示器策略 $\pi_\theta$ 的参数 $\theta$，以在数据集 $D$ 上最大化期望奖励 $R(p, x, y)$，同时通过 KL 散度惩罚最小化与参考策略 $\pi_{ref}$ 的偏差：
$$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
该框架支持固定提示优化（学习单个静态提示）和动态提示优化（学习适应特定任务上下文的元策略）。

2.3 对比经验缓冲区

为解决标量奖励（正确/错误）的稀疏性以及多轮自我反思的计算成本，作者引入了对比经验缓冲区。

• 机制： 缓冲区存储 $(提示，批评，奖励)$ 的轨迹。批评是由外部反馈模型生成的密集文本描述，用于说明工作器输出与真实值之间的差异。
• 摊销： 提示器在训练期间不是在执行阶段进行多轮反思，而是基于从缓冲区采样的历史 $H$ 进行条件化。这使得策略能够将复杂的多轮推理和修正模式“蒸馏”到其权重中。
• 更新策略： 如果提示的奖励相对于批次最大值达到阈值（$r \ge r_{max} - \epsilon$），则将其添加到缓冲区，以确保历史既多样又高性能。

3. 主要贡献

1. 带记忆的双智能体蒸馏： 一个将战略引导蒸馏到高效、记忆增强的提示器策略中的框架。这使得模型能够从经验中学习，有效地将复杂的多步推理轨迹压缩为精简的策略。
2. 对比经验缓冲区： 一种将标量奖励与密集文本批评耦合的高带宽反馈机制。作者提供了形式化表征，展示了如何将多轮自我反思循环摊销为单次策略权重，与仅标量基线相比，收敛速度最快提升2.4 倍。
3. 算法启发式的发现： 定性分析表明，学习到的策略进化出专门策略，如“真实值锚定”（不信任提供的轨迹而倾向于原始输入）和工具调用的“原子排序”，而非依赖抽象指导。
4. 实证验证： 该方法在用于逻辑密集型推理的Big Bench Extra Hard (BBEH) 套件和用于代理工具使用工作流的$\tau$-bench上进行了验证。

4. 实验结果

实验使用 Gemini 2.5 Flash 作为冻结的工作器，使用 Gemini 2.5 Flash-lite 作为可训练的提示器。

4.1 推理任务 (BBEH)

带有经验缓冲区的提示器策略显著优于零样本基线和最先进的进化基线 GEPA。

• Dyck 语言： 从 63.33%（基线）提升至91.25%（提示器策略），比 GEPA 高出 27.92%。
• 谎言网： 从 52.50%（基线）提升至90.12%，比 GEPA 高出 37.62%。
• 消歧问答： 从 57.08% 提升至 65.41%。

4.2 工具使用任务 ($\tau$-Bench)

该策略在多步工具使用场景（零售和航空领域）中表现出显著增益。

• 零售： 实现**91.30%**的成功率（基线为 73.91%）。
• 航空： 实现**83.33%**的成功率（基线为 65.27%）。
• 经过 RL 调优的提示通过用具体的、程序化的工作流（例如，显式的工具调用批处理、严格的状态验证）取代抽象指导，表现优于 GEPA。

4.3 跨模型泛化

在 Flash 模型上训练的策略显示出前向兼容性，成功引导更大的Gemini Pro模型在 Dyck 语言任务上达到 80% 的成功率（比其零样本基线高出 7.5%）。反之，它弥合了模型间的差距，使中等 tier 的 Flash 模型（经优化提示后为 91%）能够超越更大的 Pro 模型（零样本提示下为 72.5%）。

5. 意义与主张

本文主张，所提出的带有经验迭代蒸馏的 RL 框架代表了与黑盒大语言模型交互方面的重大进步。通过将提示生成视为马尔可夫决策过程并利用对比经验缓冲区，该方法：

• 克服微调瓶颈： 它能够在不访问模型权重的情况下优化特定任务的策略。
• 提高样本效率： 将密集文本批评整合到奖励信号中，使其比进化基线或仅标量 RL 具有更快的收敛速度和更好的性能。
• 实现结构进化： 该策略不仅找到“更好”的提示；它发现了专门的算法启发式（例如，独立堆栈模拟、锚定与链式推导），从根本上改变了工作器模型处理任务的方式。
• 提供成本效益优势： 该框架允许更小、更便宜的模型通过学到的指令引导，达到与更大、零样本模型相当甚至超越的性能水平。

作者承认了局限性，指出策略是在有限的任务集上训练的，且在没有缓冲区初始化的情况下，其向完全未见过的任务进行零样本迁移的能力仍是未来研究的挑战。他们还建议未来的工作集中在复杂的缓冲区管理和基于用户状态表征的个性化提示生成上。