Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

1. Declaração do Problema

O Aprendizado por Reforço (RL) enfrenta um desafio crítico: exploração segura durante o treinamento. O aprendizado direto em hardware físico é frequentemente impraticável devido ao risco de falhas catastróficas. As abordagens existentes geralmente se enquadram em duas categorias com limitações significativas:

• Restrições Suaves (e.g., MDPs Constrained): Estas garantem segurança apenas em expectativa, não oferecendo garantias rígidas contra falhas individuais.
• Filtros de Segurança da Teoria de Controle: Métodos como Funções de Barreira de Controle (CBFs) ou alcançabilidade de Hamilton-Jacobi fornecem garantias rígidas de segurança, mas exigem conhecimento extensivo do domínio (e.g., dinâmicas conhecidas, conjuntos invariantes) e lutam para escalar para sistemas de alta dimensionalidade.
• Filtros Baseados em Aprendizado: Tentativas recentes de aprender filtros de segurança via RL frequentemente dependem de simuladores ou falham em escalar efetivamente para ambientes complexos e de alta dimensionalidade com dinâmicas desconhecidas.

O problema central é desenvolver um método escalável e orientado por dados que aprenda um filtro de segurança e uma política de controle simultaneamente, exigindo conhecimento mínimo do domínio (apenas uma definição de "falha" e dados iniciais), enquanto garante segurança durante o processo de treinamento.

2. Metodologia: Dyna-SAuR

Os autores propõem Dyna-SAuR (Aprendizado por Reforço Aumentado de Segurança no Estilo Dyna), um framework de RL Baseado em Modelo (MBRL) que aprende iterativamente uma política de controle e um filtro de segurança usando um modelo de dinâmicas consciente da incerteza.

Arquitetura Central

O algoritmo opera em um loop iterativo (Algoritmo 1) consistindo em três fases principais:

1. Aprendizado do Modelo: Um modelo de dinâmicas probabilístico em conjunto ($\hat{p}$) é treinado em dados coletados. Este modelo captura incerteza epistêmica (incerteza devido à falta de dados) usando a discordância do conjunto.
2. Aprendizado do Filtro de Segurança: Uma política de filtro ($\mu$) é treinada exclusivamente no modelo aprendido. O filtro projeta as ações da política de controle em um conjunto "viável" para evitar falhas e regiões de alta incerteza do modelo.
3. Aprendizado da Política de Controle: A política de controle ($\pi$) é treinada usando tanto interações reais com o ambiente quanto rolagens baseadas em modelo, filtradas através do filtro de segurança atual $\mu$. Novos dados são coletados para refinar o modelo de dinâmicas, expandindo a região segura "certa" para a próxima iteração.

Inovações Técnicas Chave

A. Viabilidade em Modelos Conscientes da Incerteza
O artigo estende o conceito de Teoria da Viabilidade para MBRL. Em vez de apenas evitar estados de falha ($S_F$), o sistema deve evitar estados onde o modelo é incerto.

• Conjunto Seguro Certo ($SS(E)$): O conjunto de pares estado-ação onde o estado é seguro e a entropia preditiva do modelo está abaixo de um limiar ($\lambda_1$).
• Núcleo de Viabilidade Certo ($S_V(E)$): O conjunto de estados a partir dos quais existe uma política que mantém o sistema dentro de $SS(E)$ por um horizonte finito com alta probabilidade.
• O filtro é treinado para projetar ações no conjunto de políticas que permanecem dentro deste núcleo.

B. Formulação Eficiente do Espaço de Ações do Filtro
Uma contribuição majoritária é a reparametrização do filtro de segurança. Métodos anteriores aprendiam parâmetros de hiperplano ($w, b$) diretamente, levando a um espaço de busca ilimitado e superparametrizado.

• Espaço de Ações de Hiperesfera Unitária ($U$): A política de filtro $\mu$ produz um vetor $u$ em uma hiperesfera unitária ($0 < \|u\|_2 \leq 1$).
• Transformação Bijectiva ($h$): Uma função determinística mapeia $u$ para os parâmetros do hiperplano $(w, b)$:
  • $w = u / \|u\|_2$ (Direção do vetor normal)
  • $b = (2\|u\|_2 - 1)\|w\|_1$ (Deslocamento)
• Significado: Isso garante que o hiperplano sempre intersecte o espaço de ações limitado $A = [-1, 1]^{n_A}$. A norma $\|u\|_2$ atua como um botão de "restritividade": valores próximos de 0 são permissivos, enquanto valores próximos de 1 são restritivos. Isso cria um espaço de busca compacto e limitado para o agente de RL.

C. Moldagem de Recompensa e Distribuição de Dados
Para treinar o filtro efetivamente sem falhas no mundo real:

• Função de Recompensa: O filtro recebe uma recompensa de $+1$ se o próximo estado permanecer em $SS(E)$, e uma grande penalidade negativa ($-1/(1-\gamma)$) se sair, codificando efetivamente o "tempo até a falha".
• Objetivo: Maximizar o tempo esperado até a falha enquanto minimiza a norma da ação do filtro ($\|u\|_2$) para evitar comportamento excessivamente conservador.
• Moldagem de Dados: A distribuição de estados iniciais para o treinamento do filtro é uma mistura de:
  1. Dados iniciais do ambiente.
  2. Estados próximos a regiões de falha (para aprender a recuperar/evitar).
  3. Estados com altos retornos de controle (para garantir que o filtro não bloqueie o desempenho ótimo).

3. Contribuições Chave

1. Algoritmo Novel: Dyna-SAuR é a primeira abordagem escalável para aprender filtros de segurança baseados em viabilidade para sistemas diversos e de alta dimensionalidade usando conhecimento mínimo do domínio (apenas um conjunto de falhas e dados iniciais).
2. Formulação Compacta de RL: Formula o aprendizado do filtro de segurança como um problema padrão de RL com uma parametrização de espaço de ações novel e bijectiva que resolve os problemas de escalabilidade dos métodos anteriores de aprendizado de hiperplanos.
3. Viabilidade Consciente da Incerteza: Integra a incerteza do modelo diretamente no núcleo de viabilidade, permitindo que o sistema explore com segurança e expanda seu conhecimento do ambiente.
4. Melhoria Iterativa: O framework cria um ciclo de feedback positivo onde modelos melhores reduzem a incerteza, permitindo que o filtro de segurança se torne menos conservador e habilitando políticas de controle melhores.

4. Resultados Experimentais

O método foi avaliado em duas tarefas:

• CartPole com Alcançamento de Objetivo: Uma tarefa de baixa dimensionalidade com restrições de posição e ângulo.
• MuJoCo Walker: Uma tarefa de caminhada bípede de alta dimensionalidade (17 estados, 6 ações) com restrições no tronco.

Métricas de Desempenho:

• Segurança: Dyna-SAuR reduziu as falhas durante o treinamento em 2 ordens de magnitude (100x) comparado a métodos de RL seguro de última geração (PPO-Lagrangiano, DH-RL).
• Desempenho de Controle: Igualou ou superou o desempenho de controle (retorno) de métodos de RL seguro existentes.
• Escalabilidade: O método escalou com sucesso para o ambiente Walker de alta dimensionalidade, enquanto outros métodos de aprendizado de filtro lutaram.
• Estudos de Ablação: Remover a formulação novel do espaço de ações ou as heurísticas de moldagem de dados levou a degradação significativa de desempenho ou falha em aprender um filtro válido, validando as escolhas de design.

5. Significado

Dyna-SAuR representa um passo significativo em direção a um RL prático e seguro para robótica do mundo real.

• Ponte entre Lacunas: Une a lacuna entre a teoria de controle rigorosa (viabilidade) e o aprendizado orientado por dados, removendo a necessidade de modelos artesanais ou expertise extensiva do domínio.
• Aplicabilidade em Hardware: Ao reduzir falhas durante o treinamento em ordens de magnitude, torna a perspectiva de treinar agentes de RL diretamente em hardware físico (ou com transferência mínima simulação-para-real) muito mais viável.
• Escalabilidade: A parametrização de espaço de ações proposta e a abordagem consciente da incerteza fornecem um modelo para escalar o RL seguro para sistemas complexos e de alta dimensionalidade onde métodos tradicionais falham.

Em resumo, Dyna-SAuR oferece um framework robusto e orientado por dados que aprende a "permanecer seguro" aprendendo o que ele não sabe (incerteza) e o que ele não pode fazer (falha), expandindo dinamicamente o envelope de operação segura à medida que aprende.