Sampling-Based Safe Reinforcement Learning

Problema
A exploração segura permanece uma barreira fundamental para a implantação de agentes de Aprendizado por Reforço (RL) no mundo real. Algoritmos padrão de RL frequentemente exigem interação extensa com o ambiente, o que é impraticável ou custoso em sistemas físicos. Mais criticamente, garantir segurança durante o processo de treinamento é desafiador devido à incerteza epistêmica sobre as dinâmicas do sistema; cada interação é inerentemente exploratória e arrisca falhas catastróficas. Embora Processos de Decisão de Markov Constrained (CMDPs) forneçam uma estrutura para segurança, abordagens baseadas em modelo existentes frequentemente dependem de otimização no pior caso sobre dinâmicas incertas, o que é geralmente intratável. Além disso, métodos que aproximam isso via endurecimento heurístico de restrições frequentemente introduzem conservadorismo excessivo, enquanto aqueles que utilizam bônus de exploração exigem ajuste cuidadoso e podem levar à superexploração ou exploração prematura.

Metodologia
Os autores propõem Aprendizado por Reforço Seguro Baseado em Amostragem (SBSRL), um algoritmo baseado em modelo projetado para exploração segura e eficiente em termos de amostras em espaços contínuos de estado-ação. A metodologia central envolve três componentes-chave:

1. Aplicação de Restrições Baseada em Amostragem: Em vez de resolver um problema de otimização no pior caso intratável sobre um conjunto de modelos de dinâmicas plausíveis, o SBSRL mantém um conjunto finito de $M$ amostras de dinâmicas extraídas de um modelo aprendido consciente da incerteza (especificamente Processos Gaussianos na análise teórica). A segurança é aplicada satisfazendo conjuntamente as restrições em todas as $M$ dinâmicas amostradas. Isso aproxima o problema de otimização robusta, garantindo que, se as restrições valerem para as amostras, elas valerão para as dinâmicas do sistema real com alta probabilidade.
2. Exploração via Restrições de Incerteza Epistêmica: Em vez de adicionar bônus de exploração explícitos à função de recompensa, o SBSRL formula a exploração como uma restrição. O agente é obrigado a coletar informações suficientes (medidas pela incerteza epistêmica acumulada) ao longo de suas trajetórias. Essa restrição é ativa apenas quando a política gananciosa não é suficientemente informativa, permitindo que o agente permaneça ganancioso quando os requisitos de segurança e informação são atendidos.
3. Truncamento e Endurecimento: Para lidar com a lacuna entre amostras anteriores e as dinâmicas reais, o algoritmo truncam as amostras para que fiquem dentro da interseção dos conjuntos de confiança anteriores dos Processos Gaussianos. Adicionalmente, as restrições são endurecidas por uma constante $\Delta_\zeta$ dependente da proximidade das amostras às dinâmicas reais, garantindo garantias de segurança.

O algoritmo itera através de episódios, atualizando o modelo de dinâmicas com dados coletados, truncando amostras e resolvendo para uma política que maximiza a recompensa sujeita às restrições de segurança em todas as amostras e à restrição de exploração.

Principais Contribuições

• Proposta de Algoritmo: A introdução do SBSRL, um novo algoritmo de RL baseado em modelo que aplica segurança via um conjunto finito de amostras de dinâmicas e promove exploração através de uma restrição sobre incerteza epistêmica, eliminando a necessidade de bônus de exploração explícitos.
• Garantias Teóricas: Sob condições de regularidade (incluindo ruído Gaussiano e normas RKHS limitadas para dinâmicas), os autores derivam garantias de alta probabilidade de que o SBSRL satisfaz restrições de segurança ao longo do processo de aprendizado. Eles também fornecem um limite de complexidade de amostra de tempo finito, provando que o algoritmo termina e recupera uma política quase ótima.
• Validação Empírica: O artigo valida o SBSRL tanto em simulação quanto em hardware robótico do mundo real.
  • Em simulação (usando dinâmicas de Processo Gaussiano), o SBSRL alcança exploração segura e eficiente em tarefas como balanço de Pêndulo e Cartpole, superando linhas de base como ActSafe e abordagens de dinâmicas médias.
  • Uma variante escalável com ensemble neural é introduzida e avaliada em problemas de controle contínuo de alta dimensão (SafetyGym, RWRL) e hardware do mundo real (um carro de corrida controlado remotamente). Essa variante estende com sucesso os princípios do SBSRL para configurações práticas de aprendizado profundo.

Resultados
Resultados empíricos demonstram que o SBSRL mantém a segurança durante todo o treinamento enquanto alcança desempenho quase ótimo.

• Simulação: Em tarefas do Deepmind Control Suite, o SBSRL evita as violações de segurança observadas em linhas de base de dinâmicas médias e converge mais rápido do que estratégias de exploração pura como o ActSafe.
• Hardware: Em experimentos do mundo real com um carro controlado remotamente de alta frequência (60 Hz), o SBSRL melhorou com sucesso as recompensas sobre uma política anterior enquanto mantinha a segurança, whereas uma linha de base que aplicava restrições apenas no crítico médio incorreu em custos mais altos (energia cinética perdida em colisões).
• Escalabilidade: A variante de ensemble profundo do SBSRL lidou com sucesso com espaços de estado de alta dimensão (45 dimensões) e dinâmicas complexas onde métodos de Processo Gaussiano seriam computacionalmente proibitivos.

Significância
O artigo afirma fechar a lacuna entre garantias teóricas de segurança e implantação prática em domínios contínuos. Ao aproximar a otimização no pior caso intratável com uma abordagem baseada em amostragem tratável, o SBSRL fornece garantias rigorosas de segurança sem o conservadorismo excessivo de métodos anteriores. A formulação da exploração como uma restrição em vez de um bônus de recompensa oferece uma estratégia mais robusta que equilibra naturalmente a coleta de informações e a maximização de recompensas. A transferência bem-sucedida desses princípios de modelos teóricos de Processos Gaussianos para ensembles de redes neurais profundas e hardware do mundo real sugere que a exploração segura baseada em amostragem é um caminho viável para implantar agentes de RL em sistemas físicos críticos para a segurança. Os autores observam que, embora o trabalho atual se concentre em configurações episódicas de horizonte finito, a estrutura oferece uma base para futuras extensões para configurações não episódicas e restrições de segurança por estado.