Resumo Técnico: Do Aprendizado à Segurança: Uma Estrutura de Controle Restrito Direta Baseada em Dados

1. Definição do Problema

O artigo aborda o desafio crítico de garantir a segurança (satisfação de restrições) em sistemas de controle baseados em aprendizado, particularmente em configurações sem modelo (model-free), onde a dinâmica explícita do sistema não está disponível. Embora os filtros de segurança tradicionais (ex: Funções de Barreira de Controle ou CBFs) imponham a segurança de forma eficaz em contextos baseados em modelos ao modificar os inputs de controle, eles tipicamente dependem de modelos preditivos derivados da física ou de dados. Essa dependência cria uma lacuna: os filtros de segurança baseados em dados existentes são majoritariamente "indiretos", exigdo a identificação do sistema primeiro, o que agrava os erros e degrada o desempenho da segurança. Além disso, métodos diretos baseados em dados são frequentemente limitados a restrições lineares ou carecem de garantias formais de segurança.

O problema central é projetar uma estrutura de controle que:

1. Opere diretamente a partir de dados de transição de estado sem identificação de sistema explícita.
2. Integre-se perfeitamente com algoritmos de aprendizado sem modelo arbitrários (ex: Aprendizado por Reforço, Aprendizado Supervisionado) para otimizar o desempenho.
3. Forneça garantias formais de segurança e viabilidade recursiva, mesmo na presença de imprecisões de aprendizado.

2. Metodologia

A solução proposta é uma estrutura de controle baseada em otimização que desacopla a otimização de desempenho da imposição de segurança. A estrutura baseia-se em um novo certificado de segurança chamado Função de Barreira de Controle Estado-Ação (SACBF).

A. Conceito Central: Função de Barreira de Controle Estado-Ação (SACBF)

Ao contrário das CBFs clássicas, que avaliam a segurança apenas com base no estado $x$, a SACBF, denotada por $Q_B(x, u)$, é uma função tanto do estado quanto do input de controle.

• Definição: Uma função $Q_B$ é uma SACBF se seu conjunto de subnível zero define um conjunto seguro $S_Q$ tal que, para qualquer estado em $S_Q$, existe um input que satisfaz $Q_B(x, u) \leq 0$ que mantém o próximo estado dentro de $S_Q$.
• Vantagem: Esta formulação permite que o filtro de segurança avalie a segurança de uma ação de controle candidata diretamente no par estado-ação atual, sem propagar a dinâmica para frente ou exigir um modelo $f(x, u)$.

B. A Estrutura de Controle

A política de controle $\pi(x)$ é definida como a solução de um problema de otimização restrito:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{sujeito a} \quad Q_B(x, u) \leq 0$$
Aqui, $Q(x, u)$ é uma função objetivo (aprendida via RL ou SL) que representa o desempenho da tarefa, e $Q_B(x, u)$ é a SACBF aprendida atuando como a restrição de segurança.

C. Aprendendo SACBFs

O artigo propõe três métodos distintos de síntese baseados em dados para $Q_B$:

1. Aprendizado por Reforço (RL): Trata a síntese da SACBF como um problema de alcançabilidade (reachability). Ele adapta métodos de RL baseados em valor (como o aprendizado de Diferença Temporal) para aproximar a função de valor ótima de um problema de alcançabilidade. Nota: Este método carece de garantias formais de convergência para o certificado de segurança devido à natureza não contrativa da equação de Bellman sem desconto no problema de alcançabilidade.
2. Aprendizado Guiado por Especialista: Assume a disponibilidade de um controlador seguro especialista (ex: Campos de Potencial Artificial). Ele formula a síntese como um problema de otimização robusta para encontrar uma SACBF que seja consistente com as trajetórias seguras do especialista.
3. Aprendizado Supervisionado (SL): Assume que uma CBF clássica válida $B(x)$ já é conhecida. Utiliza regressão supervisionada para aprender o mapeamento de pares estado-ação para o valor da SACBF, derivado da CBF conhecida.

D. Análise de Robustez: Segurança Erro-para-Estado (ESSf)

Para abordar erros de aprendizado (onde a $Q_B^\omega$ aprendida desvia da verdadeira $Q_B$), os autores introduzem uma estrutura de Segurança Erro-para-Estado (ESSf).

• Mecanismo: Em vez de depender de predição baseada em modelo, a estrutura quantifica o impacto dos erros de aprendizado ($\epsilon$) diretamente nas restrições de segurança.
• Estratégia: Emprega uma abordagem de estreitamento e relaxamento de restrições:
  • Estreita as restrições de estado originais ($h(x) \leq 0$) para $h(x) + \delta(\epsilon) \leq 0$.
  • Relaxa a restrição da SACBF no filtro para $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• Resultado: Os Teoremas 1 e 2 fornecem relações de forma fechada mostrando que, se o erro de aprendizado for limitado, o sistema permanece recursivamente viável e seguro dentro das restrições de estado estreitadas.

E. Refinamento de Política

Uma vez que uma SACBF válida é aprendida, a estrutura estende algoritmos de RL não restritos baseados em valor (como a Iteração Q Ajustada/Fitted Q Iteration) para o cenário restrito. O algoritmo (FQI Restrito) atualiza iterativamente o objetivo de desempenho $Q_\theta$ enquanto impõe a restrição da SACBF aprendida, garantindo que a política resultante seja próxima da ótima para a tarefa enquanto satisfaz a segurança.

3. Contribuições Principais

1. Estrutura de Controle Seguro Direta Baseada em Dados: O artigo propõe uma estrutura que aprende controladores seguros diretamente de dados sem identificação de sistema, unindo o aprendizado sem modelo e o controle restrito.
2. Funções de Barreira de Controle Estado-Ação (SACBF): Introduz e utiliza SACBFs, que avaliam a segurança em pares estado-ação, permitindo filtros de segurança que não requerem modelos explícitos de dinâmica.
3. Três Esquemas de Síntese: Apresenta três métodos para aprender SACBFs: via RL (geral, mas com menos garantias), via demonstrações de especialistas (robusto) e via aprendizado supervisionado de CBFs conhecidas (eficiente em amostras).
4. Análise de Segurança Erro-para-Estado (ESSf): Fornece uma nova estrutura de análise de robustez que quantifica como os erros de aprendizado afetam a segurança, oferecendo garantias formais através do estreitamento de restrições de estado e relaxamento de restrições de SACBF.
5. Otimização Desacoplada: A estrutura separa o aprendizado de desempenho (otimização de $Q$) da imposição de segurança (otimização de $Q_B$), permitindo a integração de vários algoritmos de aprendizado enquanto mantém a segurança.

4. Resultados

A estrutura foi validada através de simulações em um veículo autônomo movendo-se em um espaço 2D com obstáculos.

• Configuração do Estudo de Caso: Um modelo de veículo cinemático com restrições de estado e entrada foi utilizado, com a SACBF aprendida tanto pelo método guiado por especialista (usando Campos de Potencial Artificial como especialista) quanto pelo método de RL.
• Desempenho de Segurança:
  • O 3DSF proposto (Filtro de Segurança Direto Baseado em Dados) alcançou uma taxa de segurança de 100% em várias condições iniciais e políticas de referência (tanto APF inseguro quanto DDPG inseguro).
  • Em contraste, Filtros de Segurança Indiretos Baseados em Dados (que dependem de um modelo aprendido) alcançaram taxas de segurança menores (ex: ~79% para APF inseguro), atribuídas ao acúmulo de erros de identificação de modelo e erros de aprendizado de CBF.
  • O MPC (Controle Preditivo Baseado em Modelo) alcançou 100% de segurança, mas sofreu com baixo desempenho da tarefa (apenas ~78% das trajetórias atingiram o alvo) devido a problemas de otimização não convexos e alto custo computacional.
• Desempenho da Tarefa:
  • O algoritmo FQI Restrito (aprendendo $Q$ com restrições de SACBF) alcançou um custo total de 173.85, superando as políticas DDPG segura e insegura filtradas pelo 3DSF. Isso demonstra que incorporar restrições de segurança diretamente no processo de treinamento de RL melhora o desempenho da tarefa em comparação com a filtragem post-hoc ou o ajuste de recompensa (reward shaping).
• Eficiência Computacional: O 3DSF demonstrou tempos de CPU online significativamente menores (aprox. 2.2 ms) comparado ao MPC (aprox. 33 ms), tornando-o adequado para aplicações em tempo real.

5. Significância e Alegações

O artigo alega oferecer um avanço modesto, porém rigoroso, no controle baseado em aprendizado seguro:

• Unindo a Lacuna: Consegue unir o aprendizado sem modelo e o controle restrito ao remover a dependência de modelos explícitos de sistemas para a imposição de segurança.
• Garantias Formais sem Modelos: Fornece garantias formais de segurança (viabilidade recursiva e satisfação de restrições) mesmo quando a dinâmica do sistema é desconhecida, desde que os erros de aprendizado sejam limitados.
• Superioridade sobre Métodos Indiretos: Os resultados sugerem que abordagens diretas baseadas em dados evitam o acúmulo de erros inerente aos métodos indiretos (identificação de modelo + aprendizado de controlador), levando a melhores taxas de segurança.
• Flexibilidade: A estrutura é compatível com uma ampla gama de algoritmos de aprendizado existentes (RL, SL) e pode ser atualizada online.

Limitações Reconhecidas:

• O método requer amostragem no espaço estado-ação, o que aumenta a complexidade de amostragem em comparação com métodos de apenas estado.
• As restrições de segurança podem ser violadas durante a fase de coleta de dados para treinamento, o que pode não ser adequado para sistemas do mundo real onde a segurança é primordial o tempo todo (embora simuladores possam mitigar isso).
• A síntese de SACBFs via RL carece de garantias formais de convergência para o próprio certificado de segurança devido à natureza do problema de alcançabilidade.
• O trabalho atual foca em sistemas de tempo discreto; a extensão para tempo contínuo é um trabalho futuro.