🤖 machine learning

Kalman Meets Curriculum: Efficient Dynamic Prompt Selection for Adaptive RL Finetuning

本文介绍了卡尔曼引导的提示词选择（Kalman-Guided Prompt Selection, KGPS），这是一种高效的方法，它通过使用卡尔曼滤波器将提示词难度建模为一个动态状态估计问题，从而为强化学习微调自适应地选择最优提示词，进而显著提高训练效率和最终模型性能，且无需额外的采样。

原作者： Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个聪明但有点固执的机器人如何解决复杂的谜题。你拥有一个庞大的谜题库，从“在图片中找猫”到“解决让爱因斯坦都感到困惑的物理问题”应有尽有。如果你给机器人的谜题是它已经解决过一千次的，它会感到厌倦且学不到任何东西。如果你交给它一个极其困难、几乎不可能完成的谜题，它会感到挫败并放弃，同样学不到任何东西。那个“甜点位”（sweet spot）是：谜题要足够难，能让机器人思考，但又要足够容易，让它最终能够解决。这正是大语言模型（LLM）强化学习（RL）的核心挑战：为机器人的当前技能水平找到“金发姑娘原则”（Goldilocks）下的难度水平——即既不过难也不过易，而是恰到好处。

问题在于，机器人在你教学的同时也在进行学习。昨天的难题今天可能就变简单了，而曾经简单的题目可能已经变得过于基础。传统的挑选方法就像使用一张静态地图：它们要么只在开始时猜测一次难度并一直沿用（这很快就会过时），要么测试每一个谜题以确定其难度（这既耗时又浪费时间）。本文介绍了一种更聪明的新方法，旨在让机器人在保持参与感的同时，不浪费哪怕一秒钟的时间。

问题所在：移动的目标

把训练 AI 比作教练一支足球队。在赛季开始时，你的球员在点球练习方面表现很差。这时，你希望把球门设得近一些。但随着球员水平的提高，那些近处的球门就变得太容易了。如果你一直把球门设在那里，他们就会停止进步。如果你突然把球门移到球场的另一头，他们会射失每一个球并感到沮气。

教练们（研究人员）需要一种方法，根据球队当前的表现来不断调整球门的距离。有些教练试图通过让每位球员在每场比赛前进行一次练习射门来测量每个人的技能（这被称为“基于评估”的选择）。这种方法很准确，但它非常耗时，导致球队几乎没时间进行真正的比赛。其他教练则根据直觉或简单的公式来猜测技能水平（这是“基于预测”的方法）。这种方法很快，但他们的猜测经常出错，因为他们假设球员的技能保持不变，而实际上球员每天都在进步。

解决方案：卡尔曼教练

由 Haodong Zhu 及其同事领导的研究团队提出了一种名为 KGPS（卡尔曼引导的提示词选择）的新方法。他们不再仅仅是猜测或测试所有内容，而是将每个谜题的难度视为一个不断变化的移动目标。

他们使用了一种名为卡尔曼滤波器（Kalman Filter）的数学工具。要理解这一点，想象你正在追踪一只在迷雾森林中飞行的鸟。你无法完美地看到这只鸟，但你知道它通常飞行的速度以及它通常会如何转向。

预测： 在看到鸟之前，你根据它上一刻的位置来猜测它现在的位置。
更新： 当你终于捕捉到鸟的踪迹（即一次“rollout”或测试运行）时，你会调整你的猜测。
不确定性： 这是最巧妙的部分。如果鸟突然剧烈转向（这发生在 AI 的大脑发生快速变化时），你的猜测就会变得不再确定。你会意识到：“哇，这只鸟的行为变得难以预测了！”于是，你会扩大搜索范围。

在 AI 世界中，“鸟”是指特定提示词（问题或任务）的难度。当 AI 模型学到了新知识并改变了其内部大脑结构时，就会发生这种“剧烈转向”。KGPS 意识到，当 AI 发生巨大变化时，我们对某个问题的旧有猜测可能是错误的。因此，它会自动为该问题的记忆增加“不确定性”。

实际运作方式

系统会对库中的每一个问题保持一种“信念”（belief）。这种信念不仅仅是一个单一的数字（比如“难度为 50%”），而是一个可能性的云团。

如果 AI 一段时间没见到某个问题： 不确定性的云团就会扩大。系统会认为：“我已经很久没检查这个问题了，而且 AI 已经发生了很大变化。也许这个问题现在对 AI 来说正合适！”这自然地让那些被遗忘的旧问题重新回到训练序列中。
如果 AI 刚刚解决了一个问题： 云团就会缩小。系统知道这个问题对于当前版本的 AI 来说到底有多难。
选择： 系统会挑选那些“云团”暗示 AI 最有可能学到新知识的问题——通常是那些处于难度光谱中间位置的问题。

实验结果：更快、更智能

研究人员在一些极具挑战性的任务上测试了这种方法，包括数学问题、规划任务（如数字倒计时）和几何谜题。他们将 KGPS 与“猜测型”教练和“测试一切型”教练进行了对比。

结果令人印象深刻。在一个使用 DeepSeek-R1-Distill-7B 模型的特定数学基准测试中，KGPS 实现了与“测试一切型”方法相同（甚至略好）的最终性能，但它使用的 rollout 次数减少了 83%。用通俗的话说，AI 用极少的工作量就达到了同样优秀的学习效果。

此外，论文表明 KGPS 在预测问题难度方面比之前的“猜测型”方法要准确得多。其他方法的预测误差率约为 0.40，而 KGPS 将其误差控制在约 0.15。这意味着 AI 始终在合适的难度水平上进行练习，而不是在太简单或太难的事情上浪费时间。

为什么这很重要

这篇论文表明，我们不需要浪费大量的计算资源来确定下一步该教 AI 什么。通过将任务难度视为一个随 AI 学习而变化的动态、移动的状态，KGPS 扮演了一个高效教练的角色。它知道何时推动 AI，何时退后，以及何时重新审视旧话题，而无需进行额外的测试。它将 AI 训练这一混沌的过程变成了一段平滑且具有适应性的旅程，证明了只要运用一点聪明的数学，就能让 AI 变得更聪明、更快速、更高效。

技术摘要：用于自适应强化学习微调的卡尔曼引导提示词选择 (KGPS)

1. 问题陈述

强化学习 (RL) 微调显著增强了大语言模型 (LLM) 的推理能力，但其效果在很大程度上取决于能否选择与当前策略难度相匹配的训练提示词 (Prompts)。该领域的一个关键挑战是非平稳性 (Non-stationarity)：随着策略的改进，提示词的难度也在演变。曾经具有启发性的提示词可能变得过于简单，而曾经过难的提示词则可能变得可学习。

现有的在线提示词选择方法面临着权衡：

基于评估的方法（如 Dynamic Sampling）虽然准确，但计算成本高昂，需要大量的额外采样来估计提示词的成功率，这通常会导致标准训练 7 倍的推理开销。
基于预测的方法（如 MoPPS、GRESO）虽然高效，但通常将提示词难度建模为一个平稳的隐变量参数。它们依赖于启发式的衰减因子来处理非平稳性，这无法准确追踪由持续策略更新引起的难度景观的变化，从而导致持续的高估计误差。

本文认为，需要从静态参数估计转向动态状态估计，以在不增加额外推理成本的情况下，保持与不断演进的策略对齐。

2. 方法论：卡尔曼引导提示词选择 (KGPS)

KGPS 将提示词选择重新表述为一个动态状态估计问题。KGPS 不再将提示词的成功率视为一个固定参数，而是将其建模为线性高斯状态空间模型 (SSM) 中的时变隐状态。

核心组件：

逻辑空间 (Logit Space) 中的状态空间公式化：
- 提示词 $\tau$ 在步骤 $t$ 的隐成功率 $\phi^t_\tau$ 被转换为逻辑空间： $\psi^t_\tau = \text{logit}(\phi^t_\tau)$ 。
- 状态演化： 隐状态按随机游走演化： $\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$ ，其中过程噪声方差 $Q_t$ 与策略更新的幅度显式耦合： $Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$ 。这确保了当策略发生实质性变化时，不确定性会随之增加，反映了提示词难度的潜在偏移。
- 观测模型： 当一个提示词被选中并进行 $k$ 次采样（Rollout）时，经验成功率通过 Delta 方法进行转换，以近似为逻辑空间中的高斯观测。
用于后验维护的卡尔曼滤波器：
- KGPS 使用卡尔曼滤波器为池中的每个提示词维护一个高斯后验分布 $N(\hat{\psi}^t_\tau, P^t_\tau)$ 。
- 预测步骤： 在每个训练步骤中，所有提示词（无论是否被选中）的方差 $P^t_\tau$ 都会通过 $Q_t$ 进行膨胀。这种机制自然地增加了那些近期未被评估的提示词的不确定性得分，防止它们被永久忽略。
- 更新步骤： 对于在上一步被选中的提示词，滤波器会结合新的采样观测结果来更新均值并降低方差。
后验期望效用选择：
- KGPS 不仅根据难度的点估计进行选择，而是通过最大化后验期望训练效用来选择提示词： $\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$ ，其中 $h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ 在中间难度处达到峰值。
- 该期望值对完整的后验分布进行积分。因此，具有高不确定性（大 $P^t_\tau$ ）的提示词自然会获得更高的分数，从而平衡了对当前估计值的利用（Exploitation）与对不确定提示词的探索（Exploration）。
- 期望值使用 Gauss–Hermite 求积法进行高效计算，无需随机采样。

关键效率特性： KGPS 完全基于标准策略训练中已经生成的采样结果进行操作。它不需要额外的采样或针对 LLM 的额外推理来进行选择过程。

3. 主要贡献

本文确定了三个主要贡献：

重构难度追踪方式： 作者提出使用线性高斯 SSM 将提示词难度建模为动态状态估计问题，其中过程噪声与策略更新幅度耦合，而非将其视为平稳参数。
卡尔曼滤波器推导与效用评分： 他们推导出了用于在线难度追踪的卡尔曼滤波器，并引入了后验期望效用评分，在无需人工调优衰减计划的情况下实现了利用与探索的平衡。
实验验证： 广泛的实验证明，KGPS 在数学、规划和几何推理任务中，在最终准确率和采样效率方面均一致优于现有基线。

4. 实验结果

作者在三个推理基准测试（数学、规划/倒计时、视觉几何）上评估了 KGPS，使用了多种模型规模（从 Qwen3-0.6B 到 DeepSeek-R1-Distill-7B）和 RL 算法（GRPO、PPO、Reinforce++）。

性能 vs. 采样成本： 在 DeepSeek-R1-Distill-7B 模型上，KGPS 达到了与基于评估的 Oracle (Dynamic Sampling) 相当甚至略优的性能，同时减少了 83% 的采样量。与基于预测的基线 MoPPS 相比，在相同的采样预算下，KGPS 在六个数学基准测试中的平均性能提升了 0.12 点。
准确率增益： 在所有模型规模和任务中，KGPS 在在线选择方法中始终取得了最高的测试准确率，通常超过了计算成本巨大的 Oracle (DS)。
估计准确度： 与 MoPPS (MAE ≈ 0.40) 相比，KGPS 维持了显著较低的预测与经验成功率之间的平均绝对误差 (MAE ≈ 0.15)，展示了卓越的非平稳难度追踪能力。
消融研究：
- 去除后验期望（使用点估计）会导致性能下降约 1.09 点。
- 将过程噪声与策略更新幅度解耦（使用固定噪声）会导致性能下降约 1.21 点，证实了自适应不确定性的重要性。
- 去除预热初始化会导致轻微的性能下降，验证了稳定初始后验的必要性。

5. 意义与主张

本文声称 KGPS 为 RL 微调中的在线提示词选择建立了新的最先进水平 (SOTA)。其意义在于解决了效率与自适应性之间的紧张关系：

它在没有额外计算开销的情况下，实现了与昂贵的基于评估的方法相当的准确性。
它通过严谨地建模 RL 训练过程中的非平稳性质，克服了静态预测方法的局限性。
通过将难度视为动态状态而非静态参数，KGPS 提供了一种原则性的不确定性管理机制，能够自然地重新审视被忽视的提示词，确保训练课程与模型不断演进的能力保持一致。

作者得出结论，对于自适应 RL 微调，动态状态估计是静态难度近似的一种实用且更优的替代方案。