A Forward Reachability Perspective on Control Barrier Functions and Discount Factors in Reachability Analysis

Resumo Técnico: Uma Perspectiva de Alcançabilidade Futura para Funções de Barreira de Controle e Fatores de Desconto

1. Problema e Motivação

O artigo aborda o desafio crítico de garantir a segurança em sistemas de controle dinâmicos, especificamente a necessidade de projetar políticas de controle que mantenham o estado do sistema dentro de um conjunto de restrições seguras por um horizonte de tempo indefinido.

• Conjuntos Invariantes de Controle: São fundamentais para garantir que, uma vez dentro de um conjunto seguro, o sistema possa permanecer lá indefinidamente, independentemente de perturbações adversas.
• Funções de Barreira de Controle (CBFs): Oferecem uma abordagem baseada em funções escalares para verificar e impor a invariância, exigindo que uma função satisfaça uma desigualdade diferencial específica (a restrição de barreira).
• Limitações das Abordagens Atuais: A literatura predominante utiliza a alcançabilidade reversa (backward reachability) para calcular conjuntos invariantes máximos. No entanto, os métodos baseados em alcançabilidade reversa frequentemente resultam em funções de valor que são planas (gradiente zero) dentro do conjunto invariante ou descontínuas, o que impede a sua utilização direta como CBFs válidas (que exigem diferenciabilidade e gradientes não nulos para gerar leis de controle). Além disso, a imposição de restrições de barreira em equações de Hamilton-Jacobi (HJ) tradicionais pode levar a soluções não únicas ou ilimitadas.

2. Metodologia Proposta

Os autores propõem uma mudança de paradigma: utilizar a alcançabilidade futura (forward reachability) em vez da reversa, combinada com a introdução de um fator de desconto na função de custo.

• Tubo de Alcançabilidade Futura Inevitável (FRT): O conceito central é o "FRT Inevitável", definido como o conjunto de estados que inevitavelmente serão alcançados a partir de um conjunto inicial $C$, mesmo sob a pior perturbação adversária. Diferente do tubo de alcançabilidade viável (que considera todos os estados possíveis), o FRT inevitável representa o crescimento mínimo forçado do conjunto inicial.
• Formulação como Jogo Diferencial: O problema é formulado como um jogo diferencial entre o controlador (que tenta restringir o crescimento do FRT) e o distúrbio (que tenta expandi-lo).
• Função de Valor com Desconto: Define-se uma função de valor $V_\gamma(x)$ baseada em um custo de horizonte infinito com um fator de desconto $\gamma > 0$ aplicado retroativamente no tempo.
  • A função de valor é definida como:
    $$V_\gamma(x) := \sup_{\xi_d} \inf_{u} \sup_{t \in (-\infty, 0]} e^{\gamma t} h_C(x(t))$$
  • Onde $h_C$ é uma função que descreve o conjunto inicial.
• Equação de Hamilton-Jacobi (HJ-FRT-VI): A função de valor é caracterizada como a solução única de uma desigualdade variacional de Hamilton-Jacobi:
  $$0 = \min \left\{ V_\gamma(x) - h_C(x), \quad \max_{u} \min_{d} \left( \frac{\partial V_\gamma}{\partial x} \cdot f(x, u, d) + \gamma V_\gamma(x) \right) \right\}$$
• Conexão com CBFs: A introdução do termo de desconto positivo ($+\gamma V_\gamma$) na equação HJ faz com que a função de valor satisfaça naturalmente a restrição de barreira de controle (desigualdade diferencial) quase em toda parte.

3. Principais Contribuições Teóricas

O artigo estabelece duas conexões teóricas fundamentais:

1. CBFs via Alcançabilidade Futura: Demonstra-se que a função de valor do FRT descontado é uma função de barreira de controle robusta (CBF) se a fronteira do conjunto for diferenciável. Ao contrário das abordagens reversas, esta função de valor permanece positiva e diferenciável dentro do conjunto invariante, permitindo a geração de leis de controle.
2. Super-soluções e Invariância Robusta: Prova-se que qualquer super-solução $C^1$ (continua e diferenciável) da equação HJ-FRT-VI é uma CBF válida. O conjunto de nível zero-super dessa super-solução é um conjunto invariante de controle robusto que superestima (outer-approximates) o FRT inevitável. Isso fornece uma base teórica para aprender CBFs que garantem segurança, mesmo que o conjunto inicial não seja estritamente invariante.

4. Resultados e Validação

• Análise de Exemplos (Dobro Integrador): Os autores utilizam um sistema de dobro integrador para ilustrar como a diferenciabilidade da fronteira é crucial.
  • Mostraram que se o conjunto inicial não for invariante, o FRT inevitável pode não ser invariante se a fronteira não for suave.
  • No entanto, a super-solução aprendida (via rede neural) consegue encontrar um conjunto invariante que contém o FRT, garantindo a segurança.
• Método de Aprendizado (Neural FRT-CBF): Foi desenvolvido um framework de aprendizado baseado em redes neurais para encontrar super-soluções da equação HJ.
  • Arquitetura: Uma rede neural que aprende uma função $W_\theta(x)$ parametrizada para garantir $h_C(x) \leq W_\theta(x) \leq h_X(x)$ (onde $X$ é o conjunto de restrições de segurança).
  • Função de Perda: Combina três termos: violação da desigualdade HJ (restrição de barreira), condição de inclusão de conjuntos e condição de invariância na fronteira.
  • Desempenho: O método foi capaz de aprender uma CBF diferenciável que define um conjunto invariante robusto contendo o conjunto inicial não-invariante, com erro de treinamento negligenciável ($2.25 \times 10^{-7}$).

5. Significado e Impacto

• Ponte Teórica: O trabalho preenche uma lacuna crítica na literatura, estabelecendo uma ligação direta e rigorosa entre análise de alcançabilidade, invariância de controle e CBFs, algo que as abordagens de alcançabilidade reversa não conseguiam fazer de forma satisfatória.
• Solução para Não-Convexidade e Não-Suavidade: Ao focar em super-soluções diferenciáveis, o método permite projetar CBFs para sistemas complexos onde os conjuntos invariantes máximos exatos podem ter fronteiras não diferenciáveis (o que invalidaria CBFs clássicas).
• Novo Paradigma de Projeto: A introdução do fator de desconto na alcançabilidade futura transforma o problema de alcançabilidade em um problema de otimização que naturalmente gera funções de barreira, permitindo o uso de técnicas de aprendizado de máquina para sintetizar políticas de controle seguras e garantidas.
• Aplicabilidade: O framework oferece uma rota sistemática para aprender CBFs em sistemas de alta dimensão, superando as limitações computacionais dos métodos de grade (grid-based) tradicionais de alcançabilidade.

Em resumo, o artigo propõe que a alcançabilidade futura com desconto é a estrutura matemática correta para derivar Funções de Barreira de Controle, oferecendo garantias de segurança robustas e uma base sólida para métodos de aprendizado de CBFs.