K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

Resumo Técnico: K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

1. O Problema

Em algoritmos de Aprendizado por Reforço (RL) baseados em gradiente de política (como PPO, REINFORCE e Actor-Critic), a alta variância nos retornos (returns) é um desafio crítico. Essa variância, causada pela natureza estocástica do ambiente e da própria política, pode levar a atualizações de gradiente ruidosas, instabilidade no treinamento e baixa eficiência de amostragem.

A solução convencional é a normalização de recompensa (geralmente via Z-score usando médias e desvios padrão móveis). No entanto, os autores identificam três falhas principais nessa abordagem heurística:

1. Suposição de Estacionaridade: Assume que a distribuição de recompensas é constante, o que é falso em RL, pois a política muda continuamente.
2. Dependência de Hiperparâmetros: Exige ajuste manual de taxas de decaimento (decay rates).
3. Falta de Tratamento de Incerteza: Não modela formalmente o ruído ou a incerteza estatística do sinal de recompensa.

2. Metodologia (K-Score)

Os autores propõem substituir a normalização heurística por um Filtro de Kalman unidimensional (1D) para estimar a média latente do sinal de retorno de forma recursiva e adaptativa.

Modelagem Matemática:
O método trata o retorno observado $G_t$ como uma observação ruidosa de uma média de recompensa latente $x_t$ que evolui no tempo:

• Dinâmica Latente (Processo): $x_t = x_{t-1} + w_t$, onde $w_t \sim \mathcal{N}(0, Q)$ representa o ruído do processo (o quanto a média pode mudar).
• Modelo de Observação: $G_t = x_t + v_t$, onde $v_t \sim \mathcal{N}(0, R)$ representa o ruído de observação (a variância do retorno).

O Filtro de Kalman realiza duas etapas:

1. Predição: Estima o estado atual e a incerteza ($P_t$) com base no passo anterior.
2. Atualização: Calcula o Ganho de Kalman ($K_t$), que decide o equilíbrio ideal entre a previsão anterior e a nova observação, dependendo dos níveis de ruído $Q$ e $R$.

Normalização Final:
O retorno normalizado é calculado como:
$$\hat{G}_t = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$$
Onde $x_t$ é a média filtrada e $\sqrt{P_t}$ fornece uma escala baseada na incerteza estatística, tornando o processo "consciente da incerteza" (uncertainty-aware).

O artigo introduz duas variantes:

• Simple Kalman: Usa valores fixos para $Q$ e $R$.
• Adaptive Kalman: Atualiza o ruído de observação $R_t$ dinamicamente usando uma média móvel exponencial dos resíduos quadráticos.

3. Principais Contribuições

• Abordagem Principiada: Substitui heurísticas de normalização por uma técnica de estimativa Bayesiana estatisticamente fundamentada.
• Adaptabilidade: O filtro ajusta-se automaticamente a ambientes não estacionários (onde a recompensa muda conforme o agente aprende).
• Arquitetura Agnóstica: O método é um módulo "plug-and-play" que não exige mudanças nas redes neurais da política, sendo compatível com PPO, GAE, Actor-Critic, etc.
• Eficiência Computacional: O custo de processamento é mínimo, operando em valores escalares com complexidade de tempo constante.

4. Resultados Experimentais

Os testes foram realizados nos ambientes CartPole-v1 (recompensa densa) e LunarLander-v2 (recompensa esparsa e de alta variância).

• Velocidade de Convergência: No CartPole, o PPO com K-Score atingiu o limiar de sucesso em apenas 77 episódios, comparado a 306 episódios com a normalização Z-score padrão (uma melhoria de 3.97x).
• Estabilidade: As curvas de aprendizado foram significativamente mais suaves. Enquanto a normalização padrão apresentava picos e quedas bruscas de performance (instabilidade), o K-Score manteve um progresso consistente.
• Superioridade do Adaptativo: A variante Adaptive Kalman superou a versão de parâmetros fixos, provando que modelar o ruído dinamicamente é crucial para lidar com a volatilidade do aprendizado.
• Ablação de $Q$: Demonstrou-se que valores menores de ruído de processo ($Q$) tendem a acelerar a convergência ao evitar reações exageradas a ruídos momentâneos.

5. Significância

O trabalho é significativo por oferecer uma solução elegante e de baixo custo para um dos problemas mais persistentes do RL: a variância do gradiente. Ao tratar a normalização como um problema de estimativa de estado sob incerteza, os autores elevam o padrão de como os sinais de recompensa devem ser tratados, movendo o campo de ajustes heurísticos para métodos baseados em teoria de controle e probabilidade. Isso tem implicações diretas na aplicação de RL em robótica e sistemas de decisão em tempo real, onde a estabilidade e a eficiência de dados são vitais.