Resumo Técnico: Aprendizado por Reforço Robusto com Restrição de Custo de Pico

1. Formulação do Problema

O artigo aborda o Aprendizado por Reforço Robusto com Restrição de Custo de Pico (RP-CRL), um cenário de problema onde um agente deve maximizar a recompensa cumulativa esperada enquanto garante que o custo máximo encontrado ao longo de qualquer trajetória permaneça abaixo de um limite especificado. Esta formulação é motivada por aplicações críticas de segurança, onde uma única violação catastrófica é inaceitável, tornando os frameworks padrão de Processos de Decisão de Markov Restritos (CMDP) — que dependem do custo cumulativo esperado — insuficientes.

Os autores formalizam dois desafios críticos:

1. Restrições de Custo de Pico: Diferente dos CMDPs padrão, a restrição depende do máximo de custo por trajetória em vez de uma soma aditiva. Isso leva a um problema de otimização não convexo em relação à medida de ocupação estado-ação.
2. Desajuste Sim-to-Real: Políticas treinadas em simulação frequentemente falham no mundo real devido a desajustes nas dinâmicas de transição. O artigo busca uma política que satisfaça a restrição de custo de pico sob a pior situação de dinâmicas de transição dentro de um conjunto de incerteza prescrito.

O problema de otimização central é definido como:
$$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{sujeito a} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$$
onde $V^{\pi,P}_{c,peak}$ representa a função de valor de custo de pico robusta, e $\mathcal{P}$ é o conjunto de incerteza dos modelos de transição.

2. Contribuições Principais e Insights Teóricos

A. Lacuna de Dualidade Não-Nula em MDPs de Custo de Pico

Uma principal contribuição teórica é a demonstração de que, diferentemente dos CMDPs padrão, os MDPs com restrição de custo de pico podem não admitir uma lacuna de dualidade zero, mesmo quando a condição de Slater é satisfeita.

• Raciocínio: A restrição de "máximo estrito" (hard-max) destrói a convexidade do problema em relação à medida de ocupação estado-ação.
• Implicação: Métodos primal-dual baseados em Lagrangiano padrão, que dependem da dualidade forte para recuperar a solução ótima, não têm garantia de funcionar para problemas de custo de pico. Os autores fornecem um contraexemplo (mesmo em um MDP de dois estados) mostrando que a relaxação Lagrangiana pode ser estritamente frouxa.

B. Estrutura de Otimização de Surrogato Robusto

Para superar a falta de dualidade forte e abordar a incerteza da dinâmica, os autores propõem uma estrutura de otimização de surrogato.

• Objetivo de Surrogato: Em vez de resolver o problema restrito diretamente, eles minimizam um objetivo de surrogato que equilibra a pior recompensa e a pior violação de custo:
  $$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$$
• Garantia Teórica: Os autores provam que, com uma escolha apropriada do hiperparâmetro $\beta$ (especificamente $\beta \geq C_{max}/\epsilon$), a solução ótima deste problema de surrogato atinge o mesmo valor de recompensa robusta do problema original, enquanto viola a restrição por no máximo $\epsilon$.

C. Estimativa de Valor Robusto via IPM

Para lidar com o conjunto de incerteza $\mathcal{P}$ de forma eficiente, o artigo utiliza Métricas de Probabilidade Integral (IPM).

• Para espaços de estados contínuos, o conjunto de incerteza é definido via distância IPM de um modelo nominal $P_0$.
• Isso permite uma expressão de forma fechada do operador de Bellman robusto sob aproximação de função linear. Especificamente, a atualização da função de valor de pior caso inclui um termo de regularização proporcional à norma dos pesos da função de valor:
  $$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$$
  Esta formulação evita a intratabilidade computacional de conjuntos de incerteza não retangulares.

3. Metodologia: O Algoritmo RP-CRL

O algoritmo proposto, RP-CRL, é uma estrutura Actor-Critic adaptada para otimização robusta de pico-restrita.

• Ator (Actor): Atualizado usando um objetivo clipado estilo Otimização de Política Próxima (PPO). O sinal de vantagem usado para a atualização do ator é selecionado dinamicamente com base em se a política atual é viável ou não.
• Crítico (Critic): Dois críticos são mantidos:
  1. Crítico de Recompensa ($V_r$): Estima a recompensa esperada robusta.
  2. Crítico de Pico de Custo ($V_{c,peak}$): Estima o custo de pico robusto usando uma recursão descontada envolvendo um operador max (aproximado via Log-Sum-Exponential para suavidade).
• Robustificação: Ambos os críticos incorporam o termo de robustificação baseado em IPM (a regularização $\rho \|\cdot\|$) em seus cálculos de erro de Diferença Temporal (TD).
• Loop de Treinamento: O algoritmo alterna entre atualizar os críticos de recompensa e de custo. Uma função de seleção determina se deve priorizar a minimização da violação de restrição (se infactível) ou a maximização da recompensa (se factível), resolvendo efetivamente o problema de surrogato.

4. Resultados Experimentais

Os autores avaliam o RP-CRL nos ambientes CartPole e MuJoCo (Ant, HalfCheetah, Humanoid, Swimmer) sob dinâmicas perturbadas.

• Baselines: Comparações são feitas contra:
  1. Um método Primal-Dual (PD) adaptado para restrições de custo de pico (de trabalhos anteriores [5], [6]).
  2. O surrogato proposto treinado em um ambiente não perturbado (nominal).
• Configuração de Perturbação: O treinamento envolve injetar ruído nas dinâmicas do sistema (ex: gravidade $g$ ou viscosidade). A inferência é testada sob perturbações mais fortes.
• Principais Descobertas:
  • Satisfação de Restrição: O RP-CRL mantém com sucesso o custo de pico abaixo do baseline (frequentemente alcançando custo de pico zero) mesmo sob perturbações significativas de dinâmica. Em contraste, o surrogato não-robusto e o método PD frequentemente violam as restrições durante a inferência.
  • Desempenho de Recompensa: O RP-CRL alcança retornos maiores que o método PD, que tende a aprender políticas subótimas devido à falta de dualidade forte.
  • Robustez: O treinamento com a formulação robusta (surrogato + IPM) leva a curvas de aprendizado mais suaves com menor variância e melhor generalização para perturbações não vistas em comparação ao treinamento em dinâmicas nominais.
  • Generalização: O método performa efetivamente através de diferentes definições de função de custo e níveis variados de perturbação ($\sigma$).

5. Significância e Alegações

O artigo afirma que o RP-CRL fornece um avanço necessário para o RL crítico de segurança ao:

1. Corrigir Suposições Teóricas: Estabelecer que a dualidade forte não se mantém para restrições de custo de pico, invalidando assim a aplicação direta de métodos Lagrangianos padrão para este objetivo específico de segurança.
2. Preencher o Gap Sim-to-Real: Oferecer uma estrutura de otimização robusta que garante que as restrições de segurança sejam atendidas mesmo quando o ambiente implantado difere do simulador de treinamento.
3. Eficácia Prática: Demonstrar através de experimentos que a proposta abordagem de surrogato, combinada com a estimativa de valor robusta via IPM, impõe efetivamente a segurança enquanto mantém um forte desempenho de recompensa em ambientes incertos.

Os autores observam que, embora a solução de surrogato atinja o valor de recompensa robusta do problema original, as garantias de convergência para o algoritmo actor-critic proposto em grandes espaços de estados são deixadas para trabalhos futuros.