Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

Resumo Técnico: Aproximação de Feedback de Segurança sem um Oráculo de Segurança via Controle Preditivo por Modelo

Declaração do Problema
A tomada de decisão segura para robôs móveis frequentemente depende da existência de um "oráculo de segurança"—um mecanismo para verificar se ações propostas violam restrições de segurança. Métodos atuais, como Funções de Barreira de Controle, Tubos de Alcance Reverso e discriminadores de Aprendizado por Reforço Seguro (Safe RL), geralmente exigem conhecimento prévio de restrições de segurança explícitas ou acesso a rótulos de segurança verdadeiros durante o treinamento. No entanto, em ambientes complexos (por exemplo, navegação em alta velocidade em terrenos irregulares ou manipulação robótica em células de trabalho abertas), as restrições de segurança são frequentemente implícitas, difíceis de modelar matematicamente ou incompletamente compreendidas. Embora simuladores possam modelar dinâmicas complexas, eles não fornecem inerentemente uma função de segurança. Abordagens existentes que tentam aprender proxies de segurança (por exemplo, via Processos Gaussianos ou discriminadores de aprendizado profundo) frequentemente exigem verdadeiros observáveis para rotulagem ou fazem suposições fortes sobre a suavidade da função de segurança, limitando sua aplicabilidade no mundo real. Além disso, muitos métodos de exploração reversíveis ainda arriscam tomar ações inseguras durante o processo de aprendizado.

Metodologia: SAVMPC
O artigo propõe Avaliação de Segurança via Controle Preditivo por Modelo (SAVMPC), um algoritmo de filtragem projetado para aproximar feedback de segurança sem acesso direto a um oráculo de segurança ou restrições projetadas manualmente. O método opera sob duas suposições primárias:

1. Invariância Positiva de Estados Inseguros: O espaço de estados inseguros ($X_{unsafe}$) é positivamente invariante, o que significa que, uma vez que um agente entra em um estado inseguro, ele não pode recuperar um estado seguro.
2. Reversibilidade como Proxy: Se um agente pode transicionar de um estado atual $x$ para um estado futuro $x'$ e subsequentemente encontrar uma sequência de ações para retornar de $x'$ de volta a $x$, então $x$ e $x'$ pertencem ao mesmo conjunto. Dada a invariância positiva de $X_{unsafe}$, se um caminho de retorno existir para um estado seguro conhecido, os estados intermediários também são seguros.

Fluxo de Trabalho Algorítmico:
O SAVMPC funciona como um escudo durante a seleção de ações:

1. Proposta de Ação: A política de controle $\pi$ propõe uma ação $u$ no estado $x$.
2. Projeção para Frente: A ação é projetada para frente usando um simulador (dinâmica de caixa preta $f_{dyn}$) até um próximo estado candidato $x'$.
3. Verificação de Reversibilidade: O algoritmo emprega o controlador Integral de Caminho Preditivo por Modelo (MPPI) para tentar encontrar uma sequência de ações que transicione o agente de $x'$ de volta ao estado original $x$ (ou a um estado anterior na trajetória).
   • Isso é formulado como um problema de viabilidade: encontrar uma sequência de controle $u_0, \dots, u_{T-1}$ tal que a trajetória resultante alcance $x$ dentro de uma tolerância $\delta$ ao longo de um horizonte de tempo $T$.
4. Decisão:
   • Se o MPPI encontrar um caminho de retorno válido, a ação $u$ é considerada segura e executada.
   • Se nenhum caminho de retorno for encontrado dentro do limite de amostragem, a ação é rejeitada e a política reamostra. Se a reamostragem falhar após $N$ tentativas, a trajetória é abortada e o ambiente é reiniciado.

Esta abordagem permite que o sistema verifique a segurança garantindo que nenhuma ação leve a um "beco sem saída" do qual o agente não possa retornar a uma região segura conhecida.

Principais Contribuições

1. Algoritmo SAVMPC: Um algoritmo de filtragem inovador que permite a seleção segura de ações planejando para trás até estados seguros conhecidos usando reversibilidade, eliminando a necessidade de restrições construídas manualmente ou rótulos de segurança verdadeiros.
2. Estimativa Conservadora de Restrições: Uma extensão do algoritmo de planejamento de reversibilidade que calcula explicitamente uma estimativa conservadora de restrições ambientais desconhecidas.
3. Validação Empírica: Avaliação do SAVMPC como um escudo no treinamento de Aprendizado por Reforço (RL), demonstrando desempenho comparável a escudos baseados em oráculo, enquanto supera outras abordagens baseadas em reversibilidade (RAC, LNT) em termos de garantias de segurança.

Resultados Experimentais
Os autores avaliaram o SAVMPC em dois ambientes: Pólo de Carrinho Contínuo e Navegação Bidimensional.

• Estudo de Discordância: Em uma simulação com 300.000 trajetórias, o SAVMPC foi comparado a um oráculo de segurança verdadeiro. Os resultados mostraram que o SAVMPC produz zero falsos negativos (nunca classifica um estado inseguro como seguro). As discordâncias ocorreram principalmente perto dos limites das restrições, onde o algoritmo foi mais conservador (superestimando a região insegura) ao usar tolerâncias de segurança mais rigorosas ($\delta$).
• Desempenho no Treinamento de RL:
  • Pólo de Carrinho Contínuo: O SAVMPC alcançou uma recompensa final comparável ao algoritmo PPO equipado com um escudo de Oráculo de Segurança verdadeiro e significativamente maior do que o PPO de base, RAC e Leave No Trace (LNT). Crucialmente, o SAVMPC manteve 0,0% de violações de restrição, enquanto métodos de base e outros métodos reversíveis incorreram em violações significativas (até 77,3%).
  • Navegação 2D: O SAVMPC superou o escudo de Oráculo de Segurança na recompensa final (842,74 vs. 782,23) enquanto mantinha 0,0% de violações de restrição. Ele convergiu mais rápido do que outros métodos, atribuído à sua aproximação conservadora que reduz efetivamente o espaço de exploração.
  • Comparação: Diferentemente do RAC e do LNT, que aprenderam aproximações de segurança ao longo do tempo e ainda incorreram em violações, o SAVMPC impôs segurança desde o primeiro passo sem informações privilegiadas.

Significado e Alegações
O artigo afirma que o SAVMPC oferece uma solução prática para a tomada de decisão segura em ambientes onde as restrições de segurança são complexas ou desconhecidas. Ao aproveitar a suposição de invariância positiva e o poder computacional do MPPI dentro de um simulador, o método aproxima o desempenho de um oráculo de segurança sem exigir rótulos verdadeiros. Os autores enfatizam que o algoritmo garante que um agente tome zero ações inseguras no ambiente subjacente, efetivamente fechando a lacuna entre garantias de segurança teóricas e as limitações práticas de modelar restrições físicas complexas. O trabalho sugere que a reversibilidade pode servir como um proxy robusto e livre de dados para segurança em cenários onde a modelagem tradicional de restrições é inviável.