Resumo Técnico: Enfrentando Processos de Decisão com Objetivos Não Cumulativos usando Aprendizado por Reforço

Declaração do Problema

Os Processos de Decisão de Markov (MDPs) padrão modelam a tomada de decisão maximizando a recompensa esperada da soma ao longo de uma trajetória, definida como $E_\pi [\sum_{t=0}^{T-1} r_t]$. No entanto, muitas aplicações do mundo real exigem a otimização de Processos de Decisão de Markov Não Cumulativos (NCMDPs), onde o objetivo é maximizar o valor esperado de uma função $f$ arbitrária das recompensas, em vez de sua soma:
$$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$$
Exemplos de tais objetivos incluem maximizar a recompensa mínima (problemas de elo mais fraco), otimizar o índice de Sharpe (média dividida pelo desvio padrão dos retornos), ou minimizar a velocidade máxima em tarefas de controle. Os métodos existentes para resolver NCMDPs são limitados: eles frequentemente restringem os objetivos a funções específicas (por exemplo, apenas o máximo), operam apenas em ambientes determinísticos ou exigem a modificação dos algoritmos centrais de aprendizado por reforço (RL) (por exemplo, redefinindo erros de diferença temporal). Consequentemente, as abordagens de ponta de RL frequentemente dependem de aproximações ou falham em lidar com NCMDPs estocásticos de forma eficaz.

Metodologia

Os autores propõem um arcabouço teórico geral que mapeia qualquer NCMDP para um MDP padrão, permitindo assim a aplicação direta de resolvedores de MDP existentes (como programação dinâmica ou algoritmos de RL profundo como o PPO) sem modificação algorítmica.

O Mecanismo de Mapeamento

A inovação central é a construção de um espaço de estados aumentado e uma função de recompensa adaptada. Dado um NCMDP $\tilde{M}$ com estados $\tilde{s}_t$, recompensas $\tilde{r}_t$ e função objetivo $f$, o MDP correspondente $M$ é definido da seguinte forma:

1. Estados Adaptados ($s_t$): O espaço de estados é expandido para incluir um vetor de histórico $h_t$ que encapsula toda a informação necessária do histórico de recompensas para computar a função objetivo.
   $$s_t = (\tilde{s}_t, h_t)$$
   O vetor $h_t$ é atualizado em cada etapa via uma função $u$: $h_{t+1} = u(h_t, \tilde{r}_t)$. Para muitas funções comuns (por exemplo, máximo, mínimo, índice de Sharpe), $h_t$ pode ser mantido com tamanho constante.

2. Recompensas Adaptadas ($r_t$): A recompensa imediata no novo MDP é definida como a mudança incremental no valor da função objetivo:
   $$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$$
   Isso garante que a soma cumulativa das recompensas adaptadas no MDP seja igual ao valor do objetivo não cumulativo no NCMDP original:
   $$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$$

3. Equivalência: Os autores provam que a política ótima para o MDP construído é equivalente à política ótima para o NCMDP original. Além disso, qualquer política produz o mesmo retorno esperado em ambas as formulações. Isso permite que as garantias de convergência padrão (por exemplo, para Q-learning ou gradientes de política) se apliem diretamente aos NCMDPs.

Implementação

A abordagem trata o ambiente NCMDP e o resolvedor de MDP como caixas pretas. Uma camada intermediária simples calcula os estados e recompensas adaptados, não exigindo mudanças no algoritmo de RL subjacente. Isso facilita o uso de bibliotecas padrão (por exemplo, Stable-Baselines3) para problemas não cumulativos.

Principais Contribuições

1. Arcabouço Teórico: Introdução de um mapeamento geral de NCMDPs para MDPs padrão que acomoda objetivos não cumulativos arbitrários em ambientes tanto determinísticos quanto estocásticos.
2. Agnosticismo Algorítmico: O método permite o uso de qualquer resolvedor de MDP existente sem modificar o próprio algoritmo de aprendizado, ao contrário de trabalhos anteriores que exigiam a redefinição das regras de atualização.
3. Gestão do Espaço de Estados: Identificação das condições sob as quais a informação de histórico adicional $h_t$ permanece de tamanho constante, tornando a abordagem escalável para técnicas de RL profundo, apesar do espaço de estados expandido.
4. Validação Empírica: Demonstração da eficácia do método através de diversos domínios, incluindo controle clássico, otimização de portfólio financeiro e otimização discreta.

Resultados Experimentais

Os autores avaliaram sua abordagem contra formulações padrão de MDP e métodos anteriores específicos para NCMDP em três domínios:

• Controle Clássico (Lunar Lander): A tarefa envolveu a maximização de uma função de recompensa penalizada pela velocidade máxima durante uma trajetória. O método proposto (MAXVELPPO) alcançou um compromisso superior entre segurança de pouso e velocidade máxima comparado a uma abordagem cumulativa (FINALPPO) que adicionava a penalidade apenas ao final. Adicionar histórico ao agente cumulativo não melhorou o desempenho, enquanto a abordagem de mapeamento integrou o histórico naturalmente.
• Otimização de Portfólio: O objetivo era maximizar o índice de Sharpe. O método proposto (SHARPE) otimizou diretamente o índice de Sharpe exato, superando agentes que utilizam a aproximação do índice de Sharpe diferencial (DIFFSHARPE) ou uma formulação de recompensa final (FINALSHARPE).
• Otimização Discreta:
  • Ambiente Peak: Em um problema de brinquedo que exige aumentos intermitentes de custo para encontrar um mínimo global, o objetivo não cumulativo (MAXREINFORCE) treinou significativamente mais rápido que a linha de base cumulativa. A análise mostrou que isso se deve à redução da variância do gradiente e a uma direção de gradiente mais vantajosa.
  • Correção de Erros Quânticos e Diagramas ZX: Em tarefas envolvendo descoberta de circuitos quânticos e simplificação de diagramas ZX, a abordagem não cumulativa (MAXPPO) geralmente superou o PPO padrão. Na tarefa de diagrama ZX, o agente não cumulativo explorou de forma mais eficaz (maior entropia de política) e atingiu o desempenho ideal em aproximadamente metade das etapas de treinamento necessárias para o agente cumulativo.

Significância e Alegações

O artigo afirma que este trabalho expande significativamente o escopo do aprendizado por reforço ao unificar objetivos não cumulativos com resolvedores de MDP padrão. Os autores enfatizam que:

• O método remove a necessidade de algoritmos especializados de NCMDP, que são frequentemente restritos a ambientes determinísticos.
• Ele permite que pesquisadores especifiquem objetivos exatos (por exemplo, índice de Sharpe, recompensa mínima) diretamente para o agente sem aproximações.
• A implementação é direta, exigindo apenas uma camada de mapeamento, tornando-a acessível a especialistas de domínio que não são especialistas em RL.
• A abordagem melhora tanto o desempenho final quanto a eficiência de treinamento em tarefas onde o objetivo depende do histórico da trajetória de forma não aditiva.

Os autores observam limitações, como o potencial aumento no tamanho do espaço de estados (embora gerenciável por RL profundo) e a observação de que, em algumas tarefas de otimização discreta com trajetórias longas, o aprendizado pode ser inicialmente lento se o agente incorrer frequentemente em recompensa zero. Eles também reconhecem que, embora seu método melhore o desempenho dentro do ambiente treinado, a generalização para períodos não vistos (por exemplo, em dados financeiros) continua sendo um desafio comum a todos os agentes de RL nesses domínios.