Learning Safe-by-Design Neural Network Controllers

Resumo Técnico: Aprendizado de Controladores de Redes Neurais Seguros por Projeto

Declaração do Problema
Redes neurais (RN) são cada vez mais empregadas como políticas de controle por realimentação para lidar com dinâmicas não lineares complexas e de alta dimensão. No entanto, controladores puramente aprendidos frequentemente carecem de garantias formais de segurança, potencialmente gerando ações que violam restrições críticas, como evitar colisões ou limites de atuadores. Uma estratégia comum de mitigação envolve anexar um filtro de segurança, tipicamente baseado em Funções de Barreira de Controle (CBFs), a um controlador pré-treinado. Em frameworks padrão, esse filtro resolve um Programa Quadrático (QP) online para impor restrições de segurança definidas por uma candidata a CBF $h(x)$ e uma função de classe-$\mathcal{K}$ estendida $\alpha(\cdot)$.

Este projeto desacoplado apresenta duas limitações primárias:

1. Conservadorismo e Subotimalidade: A função $\alpha(\cdot)$ é frequentemente fixa (por exemplo, $\alpha(h) = \omega h$) com parâmetros ajustados manualmente. Um ajuste pobre leva a um comportamento excessivamente conservador, degradando o desempenho de controle, enquanto um ajuste agressivo arrisca violações de segurança.
2. Sobrecarga Computacional: Resolver um QP em tempo de execução introduz latência computacional e preocupações de confiabilidade, dificultando a implantação em tempo real, especialmente para sistemas com espaços de estado de alta dimensão ou numerosas restrições.

Embora trabalhos recentes como BarrierNet e CAffNet tentem integrar a segurança ao processo de aprendizado, eles ou mantêm a camada onerosa de QP online ou sofrem de problemas de escalabilidade devido à complexidade exponencial de projetar saídas em conjuntos viáveis definidos por muitas restrições.

Metodologia
Os autores propõem um framework "Seguro por Projeto" que aprende conjuntamente um controlador de rede neural e condições de CBF parametrizadas por rede neural, incorporando restrições de segurança diretamente na arquitetura do controlador para eliminar a necessidade de solucionadores de QP online.

1. Arquitetura CAffNet-Lite:
   A contribuição central é o CAffNet-Lite, uma extensão leve da arquitetura CAffNet existente. Ele integra uma camada afim de restrições com um módulo de projeção treinável para satisfazer restrições afins dependentes do estado $A(x)u \leq b(x)$ por construção.

   • Decomposição Leve de Restrições: Diferentemente do CAffNet, que enumera todas as combinações possíveis de restrições ativas (levando a complexidade exponencial $O(2^{n_c})$), o CAffNet-Lite emprega uma estratégia de decomposição reduzida. Ele considera apenas sub-restrições com a ordem mínima ($k=1$) ou a ordem máxima ($k=\min(n_c, m)$). Isso reduz a complexidade no pior caso para polinomial $O(n_c^m)$, melhorando significativamente a escalabilidade para sistemas com muitas restrições.
   • Mecanismo de Projeção: A rede produz um sinal de controle sem restrições $f_\theta(x)$. Se esse sinal violar restrições, uma camada de projeção calcula um conjunto candidato viável projetando sobre os hiperplanos de sub-restrições. A saída final é o sinal sem restrições (se viável) ou a projeção viável mais próxima, garantindo satisfação de restrições duras sem exigir restrições de posto completo ou linearmente independentes.

2. Aprendizado Conjunto de Parâmetros de CBF:
   Em vez de fixar a função de decaimento $\alpha(\cdot)$, o framework a substitui por uma parametrização treinável de rede neural $\alpha_\vartheta(x, h(x))$. Isso permite que o sistema aprenda uma propriedade de "decaimento ótimo" que se adapta ao comportamento do controlador e às dinâmicas do sistema. As restrições de segurança são formuladas como:
   $$A(x)u \leq b_\vartheta(x)$$
   onde $b_\vartheta(x)$ incorpora o $\alpha_\vartheta$ aprendido.

3. Garantias Teóricas:
   Como a camada de projeção envolve uma operação $\arg\min$ que pode resultar em sinais de controle descontínuos, os autores estabelecem a segurança no sentido de Filippov. Eles provam que a lei de controle contínua por partes resultante garante a invariância forte para frente do conjunto seguro, assegurando que, se o sistema começar dentro do conjunto seguro, ele permaneça lá para todo o tempo futuro.

Contribuições Principais

1. CAffNet-Lite: Introdução de uma arquitetura de projeção leve que reduz a complexidade computacional de exponencial para polinomial em relação ao número de restrições, preservando a satisfação de restrições afins duras e propriedades de aproximação universal.
2. Otimização Conjunta: Um framework que treina conjuntamente um controlador de rede neural e parâmetros de CBF (especificamente a função de decaimento), permitindo a satisfação de restrições de segurança por construção sem solucionadores de QP online.
3. Prova Teórica: Prova de que o controlador proposto satisfaz a invariância forte para frente do conjunto seguro no sentido de Filippov, abordando a descontinuidade introduzida pela camada de projeção.

Resultados Experimentais
O framework foi avaliado em dois cenários de simulação:

1. Integrador Único com Evitação de Colisões:

   • Configuração: Um sistema integrador 2D evitando três obstáculos poliedros convexos.
   • Descobertas: CAffNet e CAffNet-Lite alcançaram o menor custo médio (mais próximo do controlador nominal) enquanto satisfaziam estritamente todas as restrições de segurança (0% de violação). Em contraste, RNs padrão e HardNet exibiram violações de restrições, e métodos baseados em QP com parâmetros fixos foram ou muito conservadores (falhando em alcançar o objetivo) ou exigiram maior tempo computacional.
   • Eficiência: CAffNet-Lite igualou o desempenho do CAffNet, mas com tempo de teste reduzido, demonstrando a eficiência da decomposição leve.

2. Geofencing de Aeronave de Asa Fixa:

   • Configuração: Um modelo de aeronave com 7 estados e 3 entradas impondo restrições de geofencing.
   • Descobertas: Tanto CAffNet quanto CAffNet-Lite aprenderam com sucesso comandos de velocidade seguros que evitaram geofences.
   • Eficiência: CAffNet-Lite demonstrou tempos de treinamento e teste significativamente menores em comparação com o CAffNet original, confirmando sua superior escalabilidade para sistemas de dimensão mais alta. Embora o CAffNet tenha convergido ligeiramente mais rápido em termos de custo devido a mais candidatos de projeção, o CAffNet-Lite ofereceu um melhor compromisso para aplicabilidade em tempo real.

Significado e Alegações
O artigo alega que, ao incorporar restrições de segurança afins diretamente no controlador neural e aprender os parâmetros de CBF conjuntamente, o método proposto supera o conservadorismo de filtros de parâmetros fixos e o ônus computacional de solucionadores de QP online. Os autores enfatizam que o CAffNet-Lite fornece uma solução escalável e implantável em tempo real que garante restrições de segurança duras por construção. O trabalho se posiciona como um passo em direção ao controle "Seguro por Projeto", onde a segurança não é uma reflexão tardia ou um filtro em tempo de execução, mas uma propriedade intrínseca da política aprendida. Os autores notam modestamente que trabalhos futuros explorarão a extensão do framework para classes mais amplas de restrições e avaliarão o desempenho em sistemas do mundo real.