Curvature-Guided Safety Filters: State-Dependent Hessian-Weighted Projection with Provable Performance Bounds

---

1. Problema e Motivação

O artigo aborda o desafio crítico de integrar segurança e desempenho em sistemas de controle aprendidos (como os baseados em Aprendizado por Reforço - RL).

• O Dilema: Filtros de segurança (Safety Filters - SFs) existentes, como os baseados em Projeção Euclidiana (ex: Funções de Barreira de Controle - CBFs), garantem que o sistema permaneça em um conjunto seguro, mas frequentemente o fazem de forma conservadora. Eles minimizam a distância geométrica entre a ação nominal e o conjunto seguro, ignorando como essa correção afeta o desempenho de longo prazo (valor da função).
• Limitações Atuais:
  • Projeção Euclidiana: Pode ser subótima perto das fronteiras do conjunto seguro, sacrificando desempenho desnecessariamente.
  • Otimização Direta do Valor (Q-function): Tentar otimizar diretamente a função valor dentro do conjunto seguro (como proposto em trabalhos anteriores) resulta em problemas não convexos e computacionalmente proibitivos para sistemas de alta dimensão em tempo real.
• Objetivo: Desenvolver um filtro de segurança que mantenha a eficiência computacional e a garantia de segurança (convexidade), mas que incorpore informações de curvatura da função valor para melhorar o desempenho de longo prazo.

2. Metodologia Proposta

Os autores propõem um Filtro de Segurança Guiado por Curvatura, que substitui a métrica de projeção padrão (Euclidiana) por uma métrica ponderada pelo Hessiano dependente do estado.

A. Projeção Ponderada pelo Hessiano

Em vez de resolver:
$$u_I = \arg \min_{u} \frac{1}{2} \|u - u_{ref}\|^2 \quad \text{s.t.} \quad u \in \mathcal{U}(x)$$
O método proposto resolve:
$$u_W = \arg \min_{u} \|u - u_{ref}\|^2_{W(x)} \quad \text{s.t.} \quad u \in \mathcal{U}(x)$$
Onde:

• $u_{ref}$ é a ação ótima não restrita (nominal).
• $\mathcal{U}(x)$ é o conjunto de ações admissíveis que garantem a segurança.
• A Matriz de Peso $W(x)$: É definida como o negativo do Hessiano da função valor de ação ($Q$) em relação à ação, avaliado na ação de referência:
  $$W(x) = -\nabla^2_u Q(x, u_{ref})$$
• Lógica: Se a função $Q$ é côncava (comum em problemas de maximização de recompensa), o Hessiano é negativo definido. Ao usar $W(x)$, o filtro penaliza mais fortemente desvios em direções onde a sensibilidade do valor (curvatura) é alta, preservando assim o desempenho de longo prazo.

B. Garantia de Segurança

O artigo prova que, independentemente da escolha da função objetivo (desde que o conjunto de restrições $\mathcal{U}(x)$ seja o mesmo), a invariância forward do conjunto seguro é preservada. A projeção ponderada apenas altera qual ação segura é escolhida, mas não viola a condição de que a próxima estado deve permanecer seguro.

C. Análise de Desempenho e Limites Teóricos

Os autores estabelecem limites rigorosos sob suposições de regularidade (Lipschitz continuidade do Hessiano e definição negativa local):

1. Limite de Subotimalidade: Existe um limite uniforme para a diferença de valor entre a ação projetada ponderada ($u_W$) e a ação segura ótima ($u^*$).
2. Condição de Superioridade: Derivaram uma condição suficiente onde a projeção ponderada pelo Hessiano supera a projeção Euclidiana. Isso ocorre quando a curvatura local da função valor é forte (grande $\mu$) em relação às variações de ordem superior (pequeno $L_2$) e quando a restrição de segurança força um desvio significativo da ação nominal.

D. Construção Baseada em Dados (Para Controladores "Caixa-Preta")

Como a função $Q$ e seu Hessiano são frequentemente desconhecidos em controladores de aprendizado:

• Propõem um esquema de Fitted Q-Iteration (FQI) com aproximação linear de funções.
• Utilizam uma mapeamento de características estruturado que inclui blocos quadráticos explícitos em $u$.
• Introduzem termos de regularização no treinamento:
  • Um termo que força a dominância dos termos quadráticos (garantindo que o Hessiano seja bem condicionado e negativo definido).
  • Um termo que limita a derivada de terceira ordem (controlando a variação do Hessiano).
• Isso permite aprender uma matriz de peso $W(x)$ aproximada que satisfaz as condições teóricas necessárias para os limites de desempenho.

3. Principais Contribuições

1. Novo Filtro de Segurança: Introdução de uma projeção dependente do estado baseada na curvatura da função valor, substituindo a projeção Euclidiana padrão.
2. Garantias Teóricas: Prova de que o método preserva a segurança e fornece limites de desempenho (bound) para a perda de valor, além de condições sob as quais ele supera a projeção Euclidiana.
3. Abordagem Prática para Caixas-Pretas: Desenvolvimento de um algoritmo de aprendizado de dados que constrói a matriz de ponderação via FQI com regularização específica para garantir as propriedades matemáticas necessárias (curvatura dominante).
4. Validação Computacional: Demonstração de que o custo computacional adicional é mínimo, mantendo a compatibilidade com operações em tempo real.

4. Resultados (Simulações)

O método foi testado em uma tarefa de rastreamento e evasão de obstáculos com um quadrotor não linear:

• Segurança: Tanto a projeção Euclidiana quanto a ponderada pelo Hessiano garantiram a evasão de obstáculos.
• Desempenho de Rastreamento: A projeção ponderada pelo Hessiano apresentou um rastreamento mais preciso (tracking tighter), especialmente próximo aos obstáculos, onde a projeção Euclidiana tendia a ser mais conservadora.
• Valor da Função (Q-value): Houve uma redução significativa na degradação do valor da função valor em comparação com a projeção Euclidiana, indicando melhor desempenho de longo prazo.
• Eficiência: O tempo de cálculo por passo de controle foi comparável ao da projeção Euclidiana, confirmando a viabilidade em tempo real.

5. Significado e Conclusão

Este trabalho preenche uma lacuna importante entre a segurança estrita e o desempenho ótimo em controle aprendido.

• Impacto: Permite que filtros de segurança não sejam apenas "guardiões conservadores", mas agentes que otimizam ativamente o desempenho dentro dos limites de segurança, utilizando a informação de curvatura do valor esperado.
• Aplicabilidade: A abordagem é particularmente valiosa para sistemas complexos onde modelos dinâmicos exatos são difíceis de obter, mas dados de trajetória estão disponíveis para aprendizado da função valor.
• Futuro: Os autores sugerem que incorporar incertezas na curvatura e adaptação online são direções promissoras para futuras pesquisas.

Em resumo, o artigo propõe uma evolução teórica e prática dos filtros de segurança, transformando a projeção de uma operação puramente geométrica em uma operação guiada por valor, com garantias matemáticas de que isso não compromete a segurança e melhora o desempenho.