Resumo Técnico: S.S. Explorer (Explorador Estocástico Seguro)

Declaração do Problema

Robôs autônomos operando em ambientes não estruturados e de segurança crítica (ex: exploração planetária, armazéns, residências) devem navegar e interagir com o entorno onde a dinâmica do sistema e as características de segurança não são totalmente conhecidas. Métodos de controle seguro existentes, como a Alcançabilidade de Hamilton-Jacobi (HJR) e Funções de Barreira de Controle (CBFs), tipicamente assumem dinâmicas de sistema conhecidas. Por outro vez, técnicas de exploração segura existentes frequentemente falham em considerar a estocasticidade inevitável inerente às interações do mundo real, como um rover derrapando em um terreno desconhecido ou um robô empurrando objetos não mapeados.

O problema central abordado é a exploração segura e orientada por objetivos em ambientes desconhecidos sob dinâmicas estocásticas. O robô deve equilibrar dois objetivos conflitantes:

1. Exploração: Coletar informações para reduzir a incerteza sobre as propriedades de segurança do ambiente.
   2.Segurança: Garantir com alta confiança que o robô permaneça dentro de um conjunto seguro durante toda a sua operação, apesar das transições de estado estocásticas.

O artigo define a função de segurança $q(x)$ como desconhecida, onde um estado é inseguro se $q(x) > q_T$. O agente opera sob um modelo de transição estocástica $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ e visa alcançar um objetivo maximizando uma função de desempenho $f(x)$ sem violar restrições de segurança.

Metodologia

Os autores propõem o S.S. Explorer (Safe Stochastic Explorer), um framework que utiliza Processos Gaussianos (GPs) para aprender a função de segurança desconhecida online. O método aproveita a incerteza preditiva dos GPs para guiar ações de coleta de informações, ao mesmo tempo em que fornece limites probabilísticos sobre violações de segurança. O framework é apresentado em três variações:

1. Formulação de Espaço de Estados Discreto

Para espaços de estados finitos e discretos, o método modela o movimento do agente como uma cadeia de Markov. Ele define estados "completamente seguros" através de três critérios iterativos:

• Segurança Imediata: O custo de segurança do estado está abaixo do limite com alta probabilidade.
• Retorno Estocástico Seguro: Existe uma trajetória garantida de volta ao conjunto seguro inicial sem sair do conjunto de estados imediatamente seguros, garantindo a viabilidade recursiva.
• Chegada Estocástica Segura: O agente pode transicionar para o estado a partir do conjunto seguro atual, garantindo que toda a distribuição de chegada estocástica permaneça dentro de limites seguros.

O algoritmo emprega operadores de expansão e refinamento de conjuntos:

• Expansão de Segurança Imediata ($\bar{I}$): Utiliza limites superior/inferior de confiança do GP ($u_t(x), l_t(x)$) e suposições de continuidade de Lipschitz para expandir o conjunto de estados considerados seguros.
• Refinamento de Retorno Estocástico Seguro ($\bar{R}$): Restringe iterativamente o conjunto seguro para estados dos quais o agente pode retornar ao núcleo seguro, apesar de desvios estocásticos.
• Refinamento de Chegada Estocástica Segura ($\bar{m}$): Garante que a distribuição de estados alcançáveis em um passo a partir do conjunto seguro permaneça segura.

O agente seleciona ações identificando "expansores candidatos" — estados incertos, mas pessimisticamente seguros, próximos à fronteira do conjunto seguro que fornecem informações sobre regiões alvo.

2. Formulação de Espaço de Estados Contínuo

Para abordar a escalabilidade em domínios contínuos, os autores introduzem uma relaxação. Em vez de rastrear conjuntos complexos, eles utilizam funções indicadoras derivadas das distribuições posteriores dos GPs.

• Relaxação: A garantia estrita de "Retorno Estocástico Seguro" é relaxada para garantir apenas a "Chegada Estocástica Segura" e a segurança imediata. Isso remove a garantia de conclusão da tarefa (evitar ficar preso), mas garante a segurança instantânea.
• Computação Analítica: Para lidar com a chegada estocástica de uma distribuição de transição Gaussiana $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$, o método usa o ajuste de momentos (moment matching) para computar analiticamente a distribuição de valor de segurança do estado de chegada. Isso permite a avaliação direta de indicadores de segurança sem amostragem.
• Segurança de Trajetória: A continuidade de Lipschitz é usada para ajustar o limiar de segurança ($q_T' = q_T - L \cdot d_{max}/2$) para garantir a segurança ao longo da trajetória contínua entre passos de planejamento discretos.

3. Formulação Centrada em Objetos

O framework é estendido para cenários envolvendo interação física com múltiplos objetos desconhecidos (ex: empurrar itens em uma prateleira).

• Representação Centrada no Objeto: Para lidar com objetos em movimento, a segurança é modelada no espaço de estados relativo do robô em relação a cada objeto. Isso permite que o GP reutilize dados de interações passadas mesmo quando as posições dos objetos mudam.
• Segurança de Múltiplos Objetos: A função de segurança global é definida como o máximo do custo de segurança entre todos os objetos. O conjunto seguro geral é computado como a interseção dos conjuntos seguros individuais de cada objeto.
• Implementação: No caso contínuo, isso é implementado treinando GPs separados para cada objeto e agregando seus limites probabilísticos de pior caso durante a predição, evitando o custo computacional de intersectar conjuntos de alta dimensão explicitamente.

Principais Contribuições

1. Exploração Segura Discreta: Um novo método para exploração segura em espaços de estados discretos com transições estocásticas, utilizando a incerteza baseada em GP para limitar violações de segurança e garantir o retorno estocástico seguro.
2. Relaxação Contínua: Uma relaxação escalável para espaços de estados contínuos que mantém garantias de segurança (segurança imediata e chegada segura) enquanto melhora a eficiência computacional para domínios do mundo real, embora com uma garantia relaxada sobre a conclusão da tarefa.
3. Interação Segura com Objetos: Uma extensão aplicada demonstrando como o framework garante a interação física segura com múltiplos objetos desconhecidos, modelando a segurança em coordenadas relativas e intersectando conjuntos seguros.

Resultados Experimentais

Os autores validaram o S.S. Explorer através de extensas simulações e experimentos de hardware:

• Robô Móvel Terrestre (Discreto): Em 80 tentativas em 8 ambientes com alta estocasticidade ($p=0,35$ para movimentos pretendidos), o S.S. Explorer alcançou uma taxa de sucesso de 100% com 0% de violações de segurança. Em contraste, um método de linha de base (que ignorava a estocasticidade) obteve apenas 35% de sucesso e 65% de taxa de violação.
• Robô Móvel Terrestre (Contínuo): Ao longo de 425 trajetórias, o S.S. Explorer alcançou uma taxa de sucesso de 70,35% com uma taxa de violação de 6,82%, superando significativamente a linha de base (41,8% de sucesso, 49,8% de violação). Uma variante com escala de $\beta$ dinâmica (ajustando o conservadorismo com base no progresso) alcançou uma taxa de sucesso de 88,47% com 9,88% de violação.
• Objeto Seguro (Simulação): Em 55 tentativas envolvendo um braço robótico empurrando objetos desconhecidos, a formulação estocástica alcançou até 81,8% de sucesso com 0% de violações (com configurações de variância específicas), enquanto a linha de base falhou 50,9% das vezes.
• Hardware: Experimentos reais usando um braço Franka Emika Panda navegaram com sucesso em uma mesa com latas de Pringles de massas variadas. O método atingiu o objetivo sem derrubar os objetos, enquanto uma linha de base ingênua derrubou os objetos, violando a segurança.

Significância e Alegações

O artigo afirma que o S.S. Explorer representa um avanço para permitir a autonomia robótica confiável e generalizada em ambientes complexos e incertos. Sua significância reside em:

• Preencher a Lacuna: Considerar explicitamente a dinâmica estocástica na exploração segura, uma lacuna crítica deixada por métodos anteriores que assumem dinâmicas conhecidas ou negligenciam a incerteza de transição.
• Lidar com Interações Desconhecidas: Fornecer um framework principiado para interação física segura com múltiplos objetos desconhecidos, indo além da simples evasão de colisão para gerenciar dinâmicas de interação (ex: tombamento, fricção).
• Equilibrar Segurança e Desempenho: Demonstrar que, ao aproveitar a incerteza (via GPs) e a modelagem estocástica, os robôs podem explorar mais efetivamente e alcançar objetivos com mais frequência do que as linhas de base determinísticas, que tendem a falhar ou violar a segurança quando confrontadas com o ruído do mundo real.

Os autores reconhecem limitações, incluindo a escalabilidade computacional dos GPs ($O(N^3)$), a dependência de conhecimento prévio dos limites do sistema (ex: constantes de Lipschitz) e o compromisso entre segurança e desempenho. Eles observam que as variantes contínua e centrada em objetos relaxam a garantia de "retorno estocástico seguro", o que significa que o robô poderia teoricamente ficar preso, embora permaneça instantaneamente seguro. O trabalho futuro visa reintroduzir garantias de retorno e lidar com interações complexas entre objetos.