K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

Resumen Técnico: K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

1. El Problema: La inestabilidad de la normalización heurística

En el Aprendizaje por Refuerzo (RL) basado en gradientes de política (como PPO o REINFORCE), la varianza de los retornos es un obstáculo crítico para la estabilidad. Para mitigar esto, la práctica estándar es la normalización de recompensas mediante el cálculo de medias y desviaciones estándar móviles (Z-score).

Sin embargo, los autores identifican tres limitaciones fundamentales en este enfoque:

• Suposición de estacionariedad: Asume que las estadísticas de la recompensa son constantes, cuando en realidad la distribución cambia a medida que la política mejora (no-estacionariedad).
• Dependencia de hiperparámetros: Requiere un ajuste manual de tasas de decaimiento para las medias móviles.
• Falta de modelado de incertidumbre: No ofrece un tratamiento formal del ruido en la señal de recompensa, lo que provoca actualizaciones ruidosas y colapsos en el entrenamiento.

2. Metodología: El Filtro de Kalman como estimador adaptativo

Los autores proponen sustituir la normalización heurística por un Filtro de Kalman unidimensional (1D). En lugar de promediar valores, el método trata la media de la recompensa como una variable latente que evoluciona en el tiempo.

El modelo matemático se divide en dos partes:

1. Dinámica de la recompensa latente: Se modela como un proceso de Markov de primer orden donde la media real ($x_t$) cambia ligeramente en cada paso debido a un ruido de proceso ($Q$).
2. Modelo de observación: El retorno observado ($G_t$) es la media latente más un ruido de observación ($R$).

El proceso de actualización recursiva:
El filtro utiliza un mecanismo de dos pasos (Predicción y Actualización) para calcular la media filtrada ($x_t$) y su incertidumbre ($P_t$). La clave es la Ganancia de Kalman ($K_t$), que decide de forma óptima cuánto confiar en la nueva observación frente a la estimación previa, basándose en la relación entre el ruido de proceso y el de observación.

La nueva señal normalizada se define como:
$$\hat{G}_t = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$$
Esto permite que la normalización sea consciente de la incertidumbre: si la varianza estimada ($P_t$) es alta, la escala de la normalización se ajusta automáticamente.

3. Contribuciones Clave

• Propuesta de un marco basado en la teoría de estimación bayesiana: Sustituye heurísticas por un método estadísticamente óptimo para el seguimiento de señales no estacionarias.
• Diseño de un módulo ligero y agnóstico: El filtro es computacionalmente eficiente (complejidad constante) y puede integrarse en cualquier algoritmo de gradiente de política (PPO, Actor-Critic, GAE) sin modificar la arquitectura de la red neuronal.
• Variante Adaptativa: Introducen una versión donde el ruido de observación ($R$) se actualiza dinámicamente mediante una media móvil exponencial de los residuos, permitiendo una adaptación automática al entorno.

4. Resultados Experimentales

Los experimentos se realizaron en entornos de control clásicos (CartPole-v1 y LunarLander-v2):

• Velocidad de convergencia: En CartPole, el método K-Score logró alcanzar el umbral de éxito en solo 77 episodios, comparado con los 306 de la normalización Z-score estándar (una mejora de 3.97x).
• Estabilidad: Las curvas de aprendizaje mostraron una reducción significativa en las fluctuaciones y "colapsos" de recompensa, especialmente en las fases tempranas del entrenamiento.
• Robustez en entornos difíciles: En LunarLander-v2 (recompensas dispersas y de alta varianza), el método demostró una convergencia más suave y rápida que los métodos tradicionales.
• Ablación: Se demostró que valores menores de ruido de proceso ($Q$) aceleran la convergencia al evitar reacciones excesivas al ruido, aunque se requiere un equilibrio para no perder la capacidad de adaptación.

5. Significado y Conclusión

El trabajo de Xia y Li demuestra que la normalización de recompensas no debe ser un proceso estático de promediado, sino un problema de estimación de estado bajo incertidumbre.

La importancia de este enfoque radica en su simplicidad y aplicabilidad: ofrece una mejora sustancial en la eficiencia de muestras y la estabilidad del entrenamiento sin añadir la complejidad computacional de modelos de aprendizaje profundo adicionales. Es una solución "plug-and-play" que aborda un problema fundamental del RL de manera matemáticamente rigurosa.