💬 NLP

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

本文针对大语言模型强化学习中因令牌级重要性采样比率高方差导致的策略优化不稳定问题，提出了一种在线因果卡尔曼滤波方法（KPO），通过自回归地建模并平滑潜在的重要性采样比率状态，在保留局部结构变化的同时有效抑制噪声，从而在数学推理等任务上实现了比现有最先进方法更稳定且高效的策略优化。

原作者： Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

发布于 2026-03-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文解决了一个大语言模型（LLM）在“自我提升”过程中遇到的棘手问题。为了让你轻松理解，我们可以把训练大模型想象成教一个学生做数学题，而这篇论文提出的方法（KPO）就像是一位超级聪明的“情绪稳定教练”。

1. 背景：学生为什么学崩了？

想象一下，你有一个很聪明的学生（大语言模型），他在做数学题。

旧方法（GRPO）： 老师（算法）让学生做很多道题，然后根据对错给反馈。但是，老师有时候会突然改变“评分标准”（策略更新）。
问题所在： 在每一道题的解题过程中，学生可能会突然“走神”或者“过度自信”。
- 比如，在解题的前半段，学生很稳；但在后半段，他可能突然开始胡编乱造，或者突然变得极其保守。
- 在数学上，这表现为**“重要性采样比率”（IS Ratio）像过山车一样剧烈波动**。今天觉得这个步骤“太棒了”（比率极高），下一秒觉得“太烂了”（比率极低）。
后果： 这种剧烈的、毫无规律的波动，让老师（优化算法）晕头转向。老师不知道该听哪一句，导致学生要么学得太激进（乱改），要么学得太保守（不敢动），最后训练崩溃，成绩不升反降。

2. 现有方法的笨办法

为了解决这个问题，以前的老师（其他算法）通常用两种笨办法：

一刀切（Sequence-level IS）： 不管学生解题过程中哪一步出了问题，老师直接给整道题打一个平均分。
- 比喻： 学生前半段做得完美，后半段胡编乱造，老师直接说：“这道题整体表现一般，扣 5 分。”
- 缺点： 这样太粗糙了！学生前半段的努力被埋没了，后半段的错误也没被精准纠正。
单独调整但不管逻辑： 试图单独调整每一步，但忽略了步骤之间的连贯性。
- 比喻： 老师盯着每一个字看，发现这个字写得不好就改，那个字写得不好也改，完全不管上下文。结果学生改得面目全非，逻辑全断了。

3. 这篇论文的妙招：KPO（卡尔曼滤波教练）

这篇论文提出了一个叫 KPO 的新方法。它的核心思想是：“相信趋势，忽略噪音”。

作者发现，虽然学生的状态（离题程度）在微观上看起来乱跳，但在局部（比如连续的几个解题步骤）应该是有逻辑、有连贯性的。

核心比喻：卡尔曼滤波 = 智能降噪耳机

想象学生解题时的状态是一个正在播放的音频信号：

真实的信号： 学生真实的解题思路（比如：先列方程，再代入，最后计算）。这应该是平滑、连贯的。
噪音： 计算时的笔误、瞬间的走神、或者模型输出的随机抖动。这些让信号看起来像“滋滋”作响的杂音。

KPO 就像一副“智能降噪耳机”：

预测（Prediction）： 耳机先根据学生过去的表现，预测他现在应该是什么状态。（比如：既然前一步是列方程，下一步大概率是代入，而不是突然开始写诗歌）。
观察（Observation）： 耳机听到学生当前实际输出的状态。
融合（Update）： 耳机比较“预测”和“实际”。
- 如果实际输出只是偶尔的“滋滋”声（噪音），耳机就忽略它，坚持认为学生还在列方程。
- 如果实际输出真的变了（比如学生真的开始写诗歌了），耳机就会平滑地调整预测，而不是瞬间跳变。

这样做的好处：

去噪： 把那些瞬间的、剧烈的、不合理的波动（比如突然的极高或极低的评分）给“熨平”了。
保真： 保留了学生解题思路中真实的、连贯的变化。如果学生真的从“列方程”转到了“计算”，KPO 会平滑地捕捉到这个转变，而不是像以前那样忽高忽低。

4. 实验结果：效果如何？

作者用这个“智能教练”去教学生做高难度的数学竞赛题（比如 AIME、Olympiad 等）。

结果： 使用 KPO 的学生，不仅成绩更好（在多个数学基准测试中超越了最先进的方法），而且学习过程更稳定。
对比：
- 旧方法（GRPO）：学生学一会儿就“崩溃”了，成绩忽上忽下，最后甚至退步。
- 旧方法（GSPO/GMPO）：学生很稳，但学得太慢，成绩到了瓶颈就上不去了。
- KPO： 学生既稳又快，能处理最难的题目。

5. 总结

简单来说，这篇论文发现大模型在自我进化时，因为“情绪”（策略权重）波动太大而容易学崩。

他们发明了一种**“平滑滤镜”（KPO），就像给模型戴上了降噪耳机。这个滤镜能过滤掉那些毫无意义的瞬间波动**，同时保留解题思路中真实的逻辑连贯性。

一句话概括：
以前教模型是“听风就是雨”，现在用 KPO 教模型是“透过现象看本质”，让模型在保持逻辑连贯的同时，更稳定、更高效地学会解决难题。

1. 研究背景与问题 (Problem)

核心问题：
在大语言模型（LLM）的强化学习（RL）微调（如 GRPO）中，Token 级别的重要性采样（Importance Sampling, IS）比率存在极高的方差，导致策略优化在大规模扩展时变得不稳定。

现有方法的局限性：

序列级固定比率（Sequence-level IS）： 如 GSPO、GMPO 等方法，将整条序列的 IS 比率固定为一个标量。虽然降低了方差，但完全忽略了序列内部不同 Token 之间的时序结构和异质性，抹平了局部特征。
单独调整 Token 比率： 现有方法试图单独调整每个 Token 的比率，但往往忽略了 Token 之间的**时序非策略推导（temporal off-policy derivation）**结构。

实证发现（关键洞察）：
作者通过实验发现，Token 级别的局部非策略偏差（off-policy deviation）在结构上是**不一致（structurally inconsistent）**的：

高频切换： 非 Token 状态（Up/Down）切换非常频繁（切换频率约 0.41）。
短生命周期： 非策略 Token 的连续运行长度（run-length）很短（平均约 1.5-3.5 个 Token）。
后果： 这种局部的结构不一致性会扭曲相邻 Token 之间的策略梯度更新，放大梯度方差，最终导致训练崩溃（Training Collapse）或熵崩溃。

2. 方法论：KPO (Methodology)

为了解决上述问题，作者提出了 KPO (Kalman Policy Optimization)，一种基于**在线因果卡尔曼滤波（Online Causal Kalman Filtering）**的自回归平滑方法。

核心思想：
将 Token 级别的 IS 比率建模为**状态空间模型（State-Space Model）**中的潜在状态。假设潜在的真实 IS 比率在相邻 Token 之间是平滑演变的（局部同质性），而观测到的原始比率包含噪声。

具体步骤：

状态空间建模：
- 潜在状态 ( $\rho_t$ )： 代表平滑后的真实 IS 比率（在 Log 空间）。
- 观测值 ( $z_t$ )： 原始计算的 IS 比率的对数 ( $\log r_t$ )。
- 过程模型： $\rho_t = \rho_{t-1} + \eta_t$ ，其中 $\eta_t$ 是过程噪声，控制潜在状态的演变速度。
- 观测模型： $z_t = \rho_t + \epsilon_t$ ，其中 $\epsilon_t$ 是观测噪声，反映原始比率的不可靠性。
因果卡尔曼滤波过程（仅利用过去和当前信息）：
- 预测步 (Prediction)： 基于上一时刻的估计值预测当前时刻的潜在状态。
- 卡尔曼增益 (Kalman Gain)： 根据预测误差协方差和观测噪声方差，自适应地计算权重。如果观测噪声大，则更多信任先验（平滑）；如果观测噪声小，则更多信任当前观测。
- 更新步 (Update)： 结合预测值和观测值，更新当前 Token 的潜在状态估计。
策略优化目标：
- 将滤波后的潜在状态 $\hat{\rho}_t$ 指数化回比率空间 ( $\hat{r}_t = \exp(\hat{\rho}_t)$ )。
- 用滤波后的比率 $\hat{r}_t$ 替换 GRPO/PPO 目标函数中的原始 Token 级 IS 比率。
- 保留了 Token 级别的细粒度优势分配（Credit Assignment），同时通过因果滤波显著降低了方差。

3. 主要贡献 (Key Contributions)

实证揭示局部非策略模式： 首次通过统计指标（窗口频率、运行长度、切换频率）揭示了 Token 级 IS 比率在局部结构上的不一致性，指出这是导致 GRPO 训练不稳定的根本原因之一。
提出 KPO 方法： 创新性地引入因果卡尔曼滤波来处理 Token 比率。该方法能够在平滑局部噪声波动的同时，保留序列内部的局部连贯结构（Local Coherent Structure）。
强大的实证结果： 在多个具有挑战性的数学推理基准测试中，KPO 在稳定性和最终性能上均优于当前的 SOTA 方法（如 GRPO, GMPO, GSPO）。

4. 实验结果 (Results)

实验设置：

模型： Qwen3-4B。
基准： AIME'24, AIME'25, AMC'23, MATH500, OlympiadBench 等 6 个数学推理数据集。
对比基线： Token-level GRPO, Sequence-level GMPO, GSPO。

关键发现：

性能提升： KPO（特别是带截断版本 KPO-clipped）在 5 个基准的 avg@16 和多个基准的 pass@16 上取得了最佳成绩。例如在 AIME'24 上，avg@16 从 GSPO 的 32.70 提升至 37.91。
训练稳定性：
- 奖励曲线： KPO 在整个训练过程中持续上升，而 GRPO 在 200 步后发散，GSPO/GMPO 较早饱和。
- 熵（Entropy）： GRPO 早期出现熵崩溃（接近 0），KPO 保持了较高的熵，说明探索能力更好。
- 截断比例（Clip Fraction）： KPO 的截断比例适中且稳定，避免了因全局比率导致的整条序列被截断，或原始比率导致的频繁截断。
滤波效果分析：
- 运行长度（Run-length）： 滤波后，Token 状态的连续运行长度从平均 1.5-3.5 激增至 35-135，表明形成了连贯的语义段。
- 切换频率（Switch Frequency）： 从 0.43 降至 0.01，消除了高频噪声切换。
- 方差： 全局和局部方差均降至接近零（ $10^{-4}$ 级别）。

5. 意义与结论 (Significance)

理论意义： 为 Token 级重要性采样比率提供了一个新的时序视角（Temporal Perspective），证明了在强化学习中，利用因果滤波保留局部结构一致性对于稳定优化至关重要。
实践价值：
- KPO 是一种轻量级插件，易于集成到现有的 RLHF/GRPO 流程中。
- 它解决了大规模 RL 训练中常见的梯度方差大和熵崩溃问题，特别适用于长链思维（Chain-of-Thought）和复杂推理任务。
未来方向： 由于卡尔曼滤波是串行的（自回归），难以并行化，未来工作可探索并行化的卡尔曼滤波算法以进一步提升效率。

总结：
KPO 通过引入在线因果卡尔曼滤波，成功地将 Token 级 IS 比率从“高频噪声、结构不一致”的状态转化为“低频平滑、结构连贯”的状态，从而在保持细粒度策略更新能力的同时，实现了大规模语言模型强化学习的稳定与高效。