On Reward-Balancing Methods for Reinforcement Learning

Resumo Técnico: Métodos de Balanceamento de Recompensa para Aprendizado por Reforço

Autores: Simone Baroncini, Bahman Gharesifard e Giuseppe NotarStefano.

1. Problema e Contexto

O artigo investiga uma nova classe de algoritmos para resolver problemas de Aprendizado por Reforço (RL) com retorno descontado, baseados em Métodos de Balanceamento de Recompensa (Reward-Balancing).

• Contexto Tradicional: A maioria dos algoritmos de RL (como Q-learning) mantém a função de recompensa fixa e itera para melhorar a política.
• Abordagem Proposta: Os métodos de balanceamento invertem a lógica: fixam a política como "gananciosa" (greedy) em relação à recompensa atual e ajustam iterativamente a função de recompensa para tornar essa política ótima.
• Objetivo: Transformar o problema de RL em um "MDP Normal" (Normal MDP), onde a função de valor ótima é zero. Em um MDP normal, encontrar a política ótima é trivial: basta selecionar, para cada estado, a ação com recompensa zero.
• Desafio: Realizar essa normalização sem alterar a estrutura fundamental do problema (preservando as políticas ótimas) e lidar com incertezas no modelo do ambiente (MDP).

2. Metodologia e Fundamentos Teóricos

Os autores desenvolvem uma estrutura teórica robusta baseada em álgebra linear, teoria de grupos e controle ótimo.

A. Estrutura Algébrica e Geométrica

• Transformações de Recompensa: O artigo define um grupo de transformações afins que preservam a função de vantagem (advantage function). Essas transformações atuam no espaço de recompensas como um grupo agindo sobre um espaço afim.
• Órbitas e Conjuntos Normais: O espaço de recompensas é particionado em órbitas. Dentro de cada órbita, existe um único ponto de interseção com o "Conjunto Normal" ($\mathcal{N}$), definido como o conjunto de recompensas onde o valor máximo em cada estado é zero.
• Estrutura de Fibras: O espaço de recompensas é caracterizado como um fibrado principal sobre o conjunto normal. Isso permite decompor qualquer função de recompensa em uma parte "normal" e uma função de valor ótima.

B. Reformulação como Problema de Controle Ótimo
O processo de normalização é recastado como um problema de estabilização de saída em um sistema dinâmico linear:

• Estado: Vetor de recompensas $R_t$.
• Entrada de Controle: A transformação $\Delta_t$ (baseada na função de valor).
• Dinâmica: $R_{t+1} = R_t + B\Delta_t$, onde $B$ depende da matriz de transição e do fator de desconto.
• Objetivo: Projetar uma lei de controle que leve o estado $R_t$ ao conjunto normal $\mathcal{N}$.
• Leis de Controle Analisadas:
  1. Controle Ideal: Convergência em um passo (impraticável pois requer o conhecimento da política ótima).
  2. Feedback de Saída Completa: Equivalente à iteração de valor clássica.
  3. Balanceamento de Recompensa Seguro (RB-S): Uma lei não-linear que garante a não-positividade das recompensas.

C. Tratamento de Incerteza do Modelo (Model Sampling)
Para cenários onde o modelo de transição $f$ é desconhecido ou incerto, o artigo propõe:

• Amostragem Estocástica: Uso de realizações aleatórias do modelo ($\hat{F}_t$) para atualizar a recompensa.
• Conjunto Admissível Invariante: Definição de um subconjunto de controles que garante a estabilidade e a não-positividade das recompensas independentemente da realização do modelo.
• MPC Baseado em Cenários (Scenario MPC): Um framework de Controle Preditivo Modelado (MPC) que utiliza múltiplos cenários de modelos amostrados para calcular a entrada de controle ótima, minimizando o erro de normalização esperado enquanto respeita restrições de robustez.

3. Principais Contribuições

1. Análise Teórica Completa: Fornecem uma caracterização rigorosa das transformações de recompensa, estabelecendo a estrutura de grupo e a geometria de fibrado subjacente, provando que cada órbita contém exatamente um MDP normal.
2. Reformulação de Controle Ótimo: Introduzem uma perspectiva de teoria de controle para o balanceamento de recompensas, permitindo o uso de ferramentas avançadas (como restrições e penalidades) para projetar novos algoritmos.
3. Garantias sob Incerteza: Estabelecem garantias de normalização e limites probabilísticos rigorosos para a flutuação estocástica quando se utiliza amostragem de modelos, provando que o método permanece bem posto e estável.
4. Algoritmo de MPC para Cenários: Propõem um método de controle baseado em cenários que supera os métodos existentes na literatura em termos de otimalidade da política resultante sob incerteza.

4. Resultados e Simulações

• Estudos de Caso: Simulações foram realizadas em um MDP com dois estados e cinco ações por estado.
• Comparação: O método proposto (MPC baseado em cenários) foi comparado com o método de "Feedback de Saída Completa" (Full-Output Feedback) descrito em trabalhos anteriores.
• Desempenho:
  • O MPC baseado em cenários demonstrou uma melhoria significativa na taxa de convergência para a política ótima.
  • Em simulações de Monte Carlo (500 execuções), o MPC alcançou a política ótima com maior frequência à medida que o número de cenários aumentava.
  • O método gerou políticas estocásticas médias que se aproximaram mais da política ótima determinística em comparação com o método de feedback padrão.
• Custo Computacional: O artigo reconhece que o MPC tem um custo computacional maior, mas argumenta que a melhoria na qualidade da política sob incerteza justifica o uso, especialmente em aplicações críticas.

5. Significado e Impacto

Este trabalho representa um avanço teórico e prático no campo do Aprendizado por Reforço:

• Novo Paradigma: Move o foco da otimização direta da política para a otimização da função de recompensa, oferecendo uma nova perspectiva para melhorar a eficiência de amostragem e a velocidade de convergência.
• Robustez: A abordagem proposta oferece uma solução sistemática para lidar com a incerteza do modelo, um dos maiores desafios no RL aplicado a sistemas reais.
• Ferramenta de Projeto: Ao enquadrar o problema como um problema de controle ótimo, os autores abrem caminho para o desenvolvimento de algoritmos personalizados que podem incorporar restrições específicas do domínio (segurança, energia, etc.) que seriam difíceis de tratar com métodos tradicionais de RL.

Em suma, o paper demonstra que o balanceamento de recompensa, quando analisado através de uma lente de controle ótimo e robusto, pode superar os métodos state-of-the-art atuais, especialmente em ambientes com modelos imperfeitos.