Joint Chance Constrained Safe-Optimal Control

Resumo Técnico: Controle Seguro-Ótimo com Restrição de Chance Conjunta

Formulação do Problema
O artigo aborda as limitações do controle ótimo padrão com Restrição de Chance Conjunta (JCC - Joint Chance Constrained) para sistemas estocásticos. Nas formulações JCC tradicionais, o objetivo é minimizar o custo esperado de todas as trajetórias (tanto seguras quanto inseguras) sujeito a uma restrição de que a probabilidade de permanecer dentro de um conjunto seguro exceda um limiar $\alpha$. Os autores argumentam que essa abordagem padrão cria um incentivo perverso: o controlador pode deliberadamente violar restrições de segurança para explorar trajetórias de baixo custo, desde que a probabilidade global de segurança permaneça acima de $\alpha$. Esse comportamento é indesejável em aplicações onde as violações de restrição são catastróficas e irreversíveis (ex: acidentes de aeronaves, falhas de dispositivos médicos), pois o custo de uma trajetória falha não deve contribuir para o objetivo de otimização.

Para abordar isso, o artigo propõe um problema de Controle Seguro-Ótimo com Restrição de Chance Conjunta. O objetivo é modificado para minimizar o custo esperado de apenas as trajetórias seguras, enquanto ainda impõe a restrição de chance conjunta de que a probabilidade de segurança seja de pelo menos $\alpha$. Trajetórias inseguras são efetivamente atribuídas um custo zero na função objetivo, removendo o incentivo para "sacrificar" a segurança em prol de economias de custo.

Metodologia
A principal contribuição metodológica é a reformulação deste problema não-markoviano em um framework solucionável:

1. MDP de Espaço de Estados Aumentado: Os autores demonstram que o problema de Controle Seguro-Ótimo pode ser formulado como um Processo de Decisão de Markov Restrito (CMDP) sobre um espaço de estados aumentado $Z = X \times C$, onde $X$ é o espaço de estados original e $C$ representa o custo acumulado.

   • A evolução do estado inclui um acumulador de custo determinístico.
   • Um passo de tempo virtual adicional e uma entrada binária são introduzidos para lidar com a função de ponderação de trajetória $a(\cdot)$, que seleciona se uma trajetória contribui para o custo/restrição com base em sua segurança e custo total.
   • Essa transformação permite o uso de técnicas padrão de Programação Dinâmica (DP), que não são diretamente aplicáveis à formulação original devido à dependência do histórico completo da trajetória.

2. Aproximação e Limites de Erro: Para sistemas com espaços de estados contínuos, os autores empregam uma abstração de grade (gridding) para discretizar os espaços de estado, custo e ação. Eles derivam limites teóricos sobre o erro de segurança introduzido por essa discretização. Especificamente, mostram que, se uma política alcança segurança $\alpha$ no MDP discretizado, a segurança no sistema contínuo original é limitada inferiormente por $\alpha - N h_x M_x \mu \Delta x$, onde os parâmetros relacionam-se ao tamanho da grade, constantes de Lipschitz do núcleo de transição e o número de passos de tempo. Isso permite o estreitamento das restrições no problema discretizado para garantir a segurança no sistema contínuo.

3. Abordagens de Solução: O artigo avalia dois métodos de solução:

   • Programação Dinâmica (DP): Resolve o dual de Lagrange do CMDP usando iteração de valor e bisseção no multiplicador dual $\lambda$.
   • Aprendizado por Reforço (RL): Implementa um framework de aprendizado lexicográfico usando o algoritmo Soft-Actor-Critic (SAC). Isso envolve um processo de treinamento de duas etapas: primeiro maximizando a probabilidade de alcance-evasão (reach-avoid), depois ajustando o multiplicador de Lagrange para atender ao limiar de segurança específico $\alpha$.

Principais Contribuições

• Nova Definição de Problema: Introdução de um problema de controle que minimiza o custo apenas das trajetórias seguras, desacoplando o custo das trajetórias inseguras do objetivo de otimização.
• Reformulação Teórica: Prova de que o problema de Controle Seguro-Ótimo é equivalente a um MDP restrito em um espaço de estados aumentado, permitindo o uso de DP.
• Garantias de Segurança: Derivação de limites explícitos sobre a segurança da política ao resolver o problema via aproximações de grade em espaços de estados contínuos.
• Validação Empírica: Experimentos numéricos abrangentes comparando a abordagem proposta com o controle JCC padrão e soluções de RL.

Resultos Experimentais
Os autores validam sua abordagem em um sistema uniciclo 2D simulado em ambientes de alcance-evasão (reach-avoid) obstruídos.

• Diferenças Comportamentais: Observou-se que as políticas JCC padrão (minimizando o custo de todas as trajetórias) "desistem" de alcançar o alvo para evitar rotas seguras de alto custo, resultando frequentemente em trajetórias de baixo custo que permanecem próximas ao estado inicial ou tomam atalhos inseguros. Em contraste, as políticas Seguro-Ótimas propostas otimizam exclusivamente para trajetórias bem-sucedidas e seguras.
• Métricas de Desempenho: Em simulações de Monte-Carlo, a abordagem Seguro-Ótima alcançou custos de atuação menores para trajetórias seguras em comparação ao JCC padrão, mantendo a probabilidade de segurança exigida. O JCC padrão alcançou um custo esperado global menor apenas porque incluiu os custos de muitas trajetórias de baixo custo e inseguras (ou que não alcançaram o alvo).
• DP vs. RL: A DP geralmente superou o RL na busca por políticas ótimas, particularmente em ambientes complexos (ex: "Simple-Slit"), onde o RL convergiu para soluções conservadoras localmente ótimas. No entanto, o RL demonstrou capacidade de lidar com a estrutura do problema, embora tenha exigido tempos de computação significativamente maiores (90–130 minutos vs. <2 minutos para DP). Os autores observam que, embora a DP escale exponencialmente com a dimensão do estado, o RL é frequentemente preferido para problemas de alta dimensão do mundo real, onde a DP é inviável.

Significância e Alegações
O artigo afirma que a formulação JCC padrão é fundamentalmente falha para sistemas com restrições irreversíveis porque incentiva violações de restrição para reduzir custos. Ao mudar o objetivo para minimizar apenas o custo das trajetórias seguras, o método proposto alinha-se à intuição prática: o custo de um veículo acidentado ou de um procedimento médico falho é irrelevante para o custo operacional de missões bem-sucedidas. Os autores afirmam que sua formulação evita o comportamento de "desistir" das políticas de controle padrão e fornece um framework matematicamente rigoroso (via reformulação de CMDP e DP) para alcançar o controle seguro e de custo ótimo. Eles concluem que, embora a DP seja atualmente o solver superior para a formulação proposta em ambientes de baixa dimensão, o framework abre caminhos para aplicar esses princípios a restrições de lógica temporal mais amplas e sistemas do mundo real.