🤖 machine learning

K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

本文提出了一种名为 K-Score 的方法，通过引入一维卡尔曼滤波器在线估计奖励均值，为策略梯度强化学习提供了一种比传统奖励归一化更具原则性且能适应非平稳环境的替代方案。

原作者： Zixuan Xia, Quanxi Li

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Zixuan Xia, Quanxi Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于如何让“人工智能（AI）学习变得更稳、更快”的研究论文。为了让你轻松理解，我们可以把 AI 想象成一个正在学骑自行车的小朋友。

1. 背景：AI 学习中的“情绪化”问题

想象一下，小朋友在学骑车时，每骑稳一秒钟，爸爸就会给他一个糖果（这就是奖励/Reward）。

但在现实中，这个奖励信号往往非常“乱”：

随机性： 有时候小朋友骑得很好，但因为地面有个小坑晃了一下，他摔倒了，这时候他会觉得“我刚才明明很努力，为什么没糖吃？”（高方差）。
环境变化： 刚开始是在平地上骑，后来换到了草地上，阻力变大了，奖励的节奏也变了（非平稳环境）。

传统的做法是**“算平均值”**（Reward Normalization）：就像老师记录小朋友过去一周拿了多少糖，然后告诉他：“你现在的表现大概在平均水平左右。”
问题在于： 这种“算平均”的方法太死板了。如果小朋友突然进步了，或者环境突然变了，这种“算平均”的方法反应很慢，小朋友会感到困惑，导致学习进度停滞不前。

2. 核心创新：K-Score —— 给 AI 装上一个“智能滤镜”

这篇论文提出了一个叫 K-Score 的新方法。它不再只是死板地算平均值，而是引入了数学界非常有名的**“卡尔曼滤波”（Kalman Filter）**。

我们可以把卡尔曼滤波想象成一个**“超级聪明的观察员”**。

这个观察员手里有两个工具：

经验预测（预判）： 他会根据小朋友之前的表现，预判小朋友下一秒大概能拿多少糖。
实时修正（纠偏）： 当小朋友真的拿到糖时，观察员不会盲目相信这个结果（因为可能运气好），也不会死守着旧经验（因为环境变了），而是根据“不确定性”来决定听谁的。

这个“智能观察员”的工作逻辑是：

如果环境很稳，观察员就多相信自己的“经验预测”，过滤掉那些偶然的颠簸。
如果环境突然变了（比如从平地变草地），观察员会发现“预测”和“现实”差得太远了，于是他会迅速调整，承认“哦，规则变了”，从而快速适应新环境。

3. 结果：学得更快，走得更稳

论文通过两个经典的实验（平衡杆和月球着陆器）证明了：

以前的方法（Z-Score）： 小朋友学骑车时，一会儿兴奋，一会儿沮丧，学习曲线像过山车一样乱跳，要花很久才能学会。
K-Score 方法： 小朋友的学习过程变得非常平滑。他能迅速识别出哪些是“偶然的失误”，哪些是“真正的进步”。

最终效果：
在某些任务中，原本需要几百次尝试才能学会，用了 K-Score 后，可能只需要几十次就能掌握。学习速度提升了数倍，而且表现非常稳定。

总结一下

过去的方法： 像是一个只会记账的会计，只会机械地算平均数，反应迟钝。
K-Score 方法： 像是一个经验丰富、反应敏捷的教练。他既能帮你过滤掉干扰项（噪音），又能敏锐地察觉到环境的变化，并实时调整教学策略。

一句话总结：这篇论文通过给 AI 引入一种“带预判和纠错功能”的智能奖励评估机制，解决了 AI 在学习过程中因为奖励信号太乱而“学不会”或“学得慢”的问题。

这是一篇关于强化学习（RL）中奖励归一化（Reward Normalization）改进方案的研究论文。以下是对该论文的详细技术总结：

1. 问题背景与动机 (Problem & Motivation)

在策略梯度（Policy Gradient）强化学习算法中，由于环境的随机性和策略本身的随机性，回报（Return）信号往往具有极高的方差。为了稳定训练并加速收敛，研究者通常采用“奖励归一化”技术（如 Z-score 归一化），通过维护回报均值和标准差的滚动估计来标准化信号。

然而，传统的归一化方法存在以下局限性：

非平稳性假设失效：传统方法假设奖励分布是平稳的，但在强化学习过程中，随着策略的改进，奖励分布会不断发生偏移（Non-stationarity），导致滚动统计量滞后。
缺乏不确定性建模：传统的启发式方法（如设置固定的衰减率）无法显式地处理观测噪声和奖励信号中的不确定性。
超参数敏感：移动平均的衰减系数需要精细调优。

2. 核心方法：K-Score (Methodology)

作者提出了一种基于**一维卡尔曼滤波（1D Kalman Filter）**的原则性替代方案，将奖励均值视为一个潜在的随机过程。

A. 数学建模

作者将回报信号 $G_t$ 建模为对潜在奖励均值 $x_t$ 的带噪声观测：

状态转移模型（过程模型）：假设潜在均值随时间缓慢演化：
$x_t = x_{t-1} + w_t, \quad w_t \sim \mathcal{N}(0, Q)$ （其中 $Q$ 为过程噪声，控制均值漂移的速度）。
观测模型：实际观测到的回报包含观测噪声：
$G_t = x_t + v_t, \quad v_t \sim \mathcal{N}(0, R)$ （其中 $R$ 为观测噪声）。

B. 递归估计过程

利用卡尔曼滤波的两个步骤进行在线更新：

预测步：预测下一时刻的状态和不确定性（协方差 $P_t$ ）。
更新步：计算卡尔曼增益（Kalman Gain） $K_t$ ，根据当前观测值 $G_t$ 与预测值的偏差来动态调整对新观测的信任程度。
归一化公式：使用滤波后的均值 $x_t$ 和不确定性 $\sqrt{P_t}$ 进行标准化：
$\hat{G}_t^{Kalman} = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$

C. 变体设计

Simple Kalman：使用通过网格搜索确定的固定 $Q$ 和 $R$ 。
Adaptive Kalman：通过残差的指数移动平均（EMA）动态更新观测噪声 $R_t$ ，使其能自适应环境的变化。

3. 主要贡献 (Key Contributions)

理论创新：将奖励归一化从“启发式统计”提升到了“贝叶斯估计”的理论高度，为处理非平稳奖励信号提供了原则性的框架。
轻量化与通用性：该方法仅作用于标量信号，计算开销极低，且无需修改任何现有的策略网络架构，可以作为“插件”直接应用于 REINFORCE、Actor-Critic、GAE 和 PPO 等主流算法。
自适应能力：通过卡尔曼增益 $K_t$ ，算法能在训练初期（高方差）和后期（分布偏移）之间自动平衡平滑度与响应速度。

4. 实验结果 (Results)

实验在 CartPole-v1（低方差密集奖励）和 LunarLander-v2（高方差稀疏奖励）两个经典环境上进行：

收敛速度显著提升：在 PPO 算法中，相比于传统的 Z-score 归一化，K-Score 在 CartPole 上的收敛速度提升了约 3.97倍，在 LunarLander 上提升了 1.32倍。
训练稳定性增强：观察训练曲线发现，使用卡尔曼滤波后，奖励曲线更加平滑，减少了训练早期的剧烈波动（Spikes）和性能崩溃（Collapses）。
自适应优于固定参数：实验证明 Adaptive Kalman（自适应版本）的表现优于 Simple Kalman，验证了动态噪声建模的有效性。
消融实验：研究了过程噪声 $Q$ 的影响，发现较小的 $Q$ 值（即更信任先验估计）有助于防止对噪声回报的过度反应，从而加速收敛。

5. 意义与总结 (Significance)

K-Score 为强化学习提供了一种更稳健、更智能的信号预处理手段。它证明了通过引入简单的贝叶斯滤波机制，可以有效解决策略梯度方法中长期存在的方差问题和非平稳性挑战。该方法不仅在理论上更完备，在实际应用中也具有极高的工程价值，因为它在不增加复杂度的前提下，显著提高了样本效率和学习稳定性。