TRUST-UP: Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit

Resumo Técnico: TRUST-UP

Declaração do Problema

O artigo aborda a lacuna crítica entre o alto desempenho do Aprendizado por Reforço (RL) na perseguição de veículos aéreos não tripulados (UAV) e os rigorosos requisitos de segurança e transparência necessários para a certificação de aviação, particularmente em ambientes urbanos de baixa altitude com presença humana.

Embora o RL permita um controle de voo ágil, sua natureza de "caixa-preta" e a falta de garantias de segurança determinísticas dificultam a certificação de aeronavegabilidade. Um desafio específico identificado é o conceito de "segurança percebida" ou "raio de confiança". Diferente de obstáculos inanimados, os seres humanos exigem margens de segurança expandidas baseadas no conforto psicológico e na proxêmica. As políticas de RL padrão frequentemente priorizam a evasão técnica de colisão (por exemplo, passar raspando por um pedestre em alta velocidade), o que pode satisfazer tecnicamente as restrições de colisão, mas viola a confiança humana ao invadir o espaço pessoal. Os métodos de RL seguro existentes, como a modelagem de recompensa (reward shaping) ou o shielding estático, muitas vezes falham em fornecer as garantias determinísticas necessárias para a confiança psicológica humana ou enfrentam problemas de viabilidade ao impor restrições complexas e conscientes do humano junto com limitações de empuxo e alcances de detecção.

Metodologia: O Framework TRUST-UP

Os autores propõem o TRUST-UP (Trustworthy Reinforcement learning Using Safe Techniques for UAV Pursuit), um framework que integra uma política de RL livre de modelo com um filtro de segurança formal baseado em Funções de Barreira de Controle (CBFs). O sistema é projetado para transformar ações de RL inseguras em comandos de voo comprovadamente seguros, mantendo a transparência operacional.

1. Aumento e Transformação do Sistema

Para abordar os problemas de viabilidade comuns em sistemas com restrição de empuxo, os autores aumentam a dinâmica do UAV introduzindo entradas de controle virtuais. Isso transforma o problema original de primeira ordem com restrição de empuxo em um problema de segunda ordem com restrição de saída. Esta transformação incorpora a inércia do atuador nas restrições de segurança, mitigando problemas de sobrecarga causados por mudanças abruptas de entrada em CBFs de primeira ordem tradicionais e aumentando a viabilidade do Programa Quadrático (QP) resultante.

2. Construção do Filtro de Segurança Adaptativo

O núcleo do TRUST-UP é um filtro de segurança construído a partir de três CBFs adaptativas, formuladas como um problema de QP. Essas restrições garantem a invariância para frente de três conjuntos de segurança específicos:

• Restrição de Entrada ($C_{u,i}$): Uma restrição variante no tempo que adapta dinamicamente a permissão máxima de empuxo com base na posição relativa entre o perseguidor e o alvo. Isso permite relaxar os limites durante manobras de emergência enquanto regula estritamente comandos erráticos durante o voo nominal.
• Evasão de Colisão ($C_{c,i}$): Garante uma distância mínima de segurança entre o perseguidor e todos os outros agentes (alvos, outros UAVs) e obstáculos estáticos.
• Alcance de Detecção ($C_{s,i}$): Garante que o perseguidor permaneça dentro de uma distância máxima para manter a cobertura sensorial de seu alvo.

O filtro considera incertezas do sistema (ex: vento, ruído de sensores) utilizando leis adaptativas para estimar parâmetros desconhecidos, garantindo robustez contra distúrbios.

3. Estratégia de Alternância Transparente

O framework emprega uma lei de controle híbrida com uma estratégia de alternância (switching strategy):

• Região $R_1$: Se a ação nominal de RL ($\pi_i$) satisfizer todas as restrições de segurança (ou seja, se estiver dentro do conjunto admissível), o sistema executa a ação de RL diretamente.
• Região $R_2$: Se a ação de RL violar qualquer restrição, o filtro de segurança é ativado. O sistema resolve o CBF-QP para encontrar a entrada de controle segura ($v^*_i$) mais próxima da ação nominal que satisfaça todas as restrições.

Os autores provam formalmente que esta estratégia de alternância garante que o problema de QP satisfaça as condições de Karush-Kuhn-Tucker (KKT), garantindo a existência de uma solução única e Lipschitz contínua que mantém a invariância do conjunto de segurança.

Principais Contribuições

1. Design de CBF com Restrição de Empuxo: O artigo introduz um método para lidar com restrições de empuxo aumentando o sistema com entradas virtuais. Esta abordagem impõe limites do envelope de voo operacional enquanto relaxa adaptativamente os limites superiores durante manobras de emergência, equilibrando o desempenho da missão com segurança verificável.
2. Filtro de Segurança Adaptativo: O design de duas CBFs baseadas em posição (para evasão de colisão e detecção) combinadas com a CBF de restrição de empuxo forma um filtro de segurança com viabilidade garantida. A natureza adaptativa destas restrições permite que os UAVs mantenham operações seguras mesmo sob distúrbios atmosféricos.
3. Algoritmo TRUST-UP com Viabilidade Provada: A proposta de uma estratégia de alternância transparente que determina a segurança das saídas de RL. Os autores fornecem uma prova formal de que o algoritmo satisfaz as condições KKT para todas as restrições de segurança, garantindo a conformidade com os requisitos de confiabilidade para implantação certificada.

Resultados de Simulação

Os autores validaram o TRUST-UP através de simulações numéricas envolvendo dois UAVs de perseguição rastreando alvos em ambientes com obstáculos estáticos e distúrbios desconhecidos. Dois cenários foram testados:

1. Manobras Circulares: Alvos realizaram grandes manobras circulares.
2. Manobras em "Figura-8": Alvos realizaram trajetórias complexas em "figura-8" com curvaturas variáveis.

Análise Comparativa:

• SAC-Only vs. TRUST-UP: O algoritmo base Soft Actor-Critic (SAC), treinado sem o filtro de segurança, falhou em garantir a segurança. Nas simulações, os agentes apenas com SAC colidiram com obstáculos e perderam a detecção de seus alvos (excedendo o raio de detecção).
• Garantias de Segurança: O TRUST-UP manteve com sucesso todas as restrições de segurança (evasão de colisão, alcance de detecção e limites de entrada) em ambos os cenários, mesmo quando os alvos realizaram manobras evasivas agressivas.
• Estabilidade de Controle: As entradas de controle geradas pelo TRUST-UP permaneceram dentro dos limites prescritos sem oscilações de alta frequência, enquanto a abordagem apenas com SAC exibiu comportamento de rastreamento instável sob distúrbios.
• Eficiência Computacional: A implementação do CBF-QP do TRUST-UP demonstrou melhor eficiência computacional online, reduzindo o tempo médio de resolução do QP em aproximadamente 14,1% em comparação com uma técnica padrão de CBF-QP com restrição de entrada.

Significância e Alegações

O artigo alega que o TRUST-UP aborda a deficiência fundamental no implante de sistemas autônomos em ambientes humanos: a desconexão entre segurança técnica e confiança percebida. Ao converter zonas de segurança psicológica (raios de confiança) em restrições determinísticas e rígidas dentro de um filtro de segurança transparente, o framework preenche a lacuna entre o desempenho da IA e os padrões de certificação de aviação.

Os autores enfatizam que seu trabalho contribui para frameworks de IA certificáveis e explicáveis para aviação de baixa altitude. Ao contrário de métodos que dependem de modelagem de recompensa (penalidades suaves), o TRUST-UP fornece garantias determinísticas. A estratégia de alternância transparente garante que as decisões de segurança sejam interpretáveis, satisfazendo os requisitos para certificação de aeronavegabilidade em operações aéreas críticas para a segurança. O artigo conclui que esta abordagem é um passo necessário para sistemas de voo autônomos confiáveis para a futura mobilidade aérea urbana, particularmente onde a presença humana e o conforto psicológico são fatores críticos.