Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

Resumo Técnico: Aprendizado por Reforço Robusto Adaptado por Currículo para Desconflito de UAVs em Ambientes Adversários

Definição do Problema
Veículos Aéreos Não Tripulados (UAVs) autônomos dependem cada vez mais de Aprendizado por Reforço (RL) para navegação e desconflito em espaços aéreos complexos. No entanto, esses sistemas enfrentam vulnerabilidades de segurança significativas, particularmente ataques de spoofing de Sistema Global de Navegação por Satélite (GNSS). Tais ataques induzem deslocamentos de observação fora da distribuição (out-of-distribution) que corrompem a estimativa de valor, levando ao esquecimento catastrófico e a comportamentos inseguros. As abordagens de RL robusto existentes tipicamente melhoram a resiliência contra modelos de ataque específicos e predefinidos, mas falham em generalizar para mecanismos de ataque não vistos. Além disso, as estratégias de defesa atuais frequentemente dependem de métodos centrados na detecção ou de redundâncias de sensores específicos, negligenciando a necessidade de políticas de tomada de decisão que possam se adaptar a deslocamentos de distribuição induzidos adversariamente sem comprometer a eficiência da missão.

Metodologia
Os autores propõem um arcabouço de adaptação guiado por currículo que opera no espaço de distribuição do erro de Diferença Temporal (TD) em vez do espaço de observação bruto. A hipótese central é que, embora os ataques difiram na forma como corrompem as entradas dos sensores, seu impacto final no comportamento da política é refletido no espaço de distribuição de valor.

O arcabouço procede através de quatro etapas principais:

1. Formulação do Crítico Especialista: Uma política robusta inicial é treinada usando um jogo de soma zero de dois jogadores (DDPG) onde um agente e um adversário competem no espaço de ação. Isso gera um "crítico especialista" ($Q_{AR}$) que é resiliente a perturbações no espaço de ação.
2. Geração de Currículo Adversário: O sistema emprega uma estratégia de currículo onde a política é progressivamente exposta a perturbações de observação adversárias baseadas em gradiente de intensidade ($\epsilon$) crescente. Essas perturbações são geradas via ascensão de gradiente projetada de múltiplas etapas para maximizar a perda da política dentro de uma norma limitada.
3. Adaptação no Espaço TD: Durante a adaptação, o arcabouço alinha as distribuições de erro TD entre o estágio atual e o estágio anterior. O crítico do estágio anterior atua como uma referência (especialista), e a adaptação minimiza a distância de Wasserstein-1 entre as distribuições de erro TD das observações nominais e adversárias. Este alinhamento é projetado para prevenir o esquecimento catastrófico e o desvio da função de valor.
4. Certificado de Generalização: Os autores derivam um "certificado de generalização no espaço TD" teórico. Este teorema estabelece que, se o deslocamento da distribuição de erro TD induzido por um ataque em tempo de teste permanecer suficientemente próximo ao do estágio final do currículo, a degradação de desempenho resultante será limitada. Isso fornece uma garantia formal de que a robustez aprendida sob perturbações sintéticas pode ser transferida para ataques físico-cibernéticos não vistos.

Principais Contribuições

• Adaptação de Currículo no Espaço TD: O artigo introduz uma nova estratégia de adaptação de currículo que impõe consistência nas distribuições de erro TD através dos estágios do currículo. Ao contrário do RL robusto convencional que assume conjuntos de incerteza fixos, esta abordagem se adapta a intensidades de perturbação crescentes enquanto limita o desvio nas estimativas de valor.
• Garantia Teórica de Generalização: Os autores derivam um certificado formal mostrando que a robustez se transfere entre domínios de ataque fundamentalmente diferentes (por exemplo, de perturbações de gradiente sintéticas para spoofing de GNSS real), desde que o deslocamento da distribuição de erro TD induzido permaneça limitado. Isso aborda a lacuna onde os métodos existentes carecem de garantias teóricas para mecanismos de ataque não vistos.
• Validação Empírica em Desconflito de UAV: O arcaboxo é validado em um ambiente de desconflito de UAV 3D contra ataques de spoofing de GNSS fixos e dinâmicos. O estudo demonstra que a política adaptada pelo currículo mantém altas taxas de sucesso de missão e eficiência de navegação sob condições de ataque.

Resultos
Experimentos foram conduzidos em um ambiente simulado com obstáculos 3D dinâmicos e densidades de tráfego aéreo variáveis.

• Ataques de Spoofing Fixos: Sob spoofing de GNSS fixo (viés de posição constante), a política adaptada pelo currículo alcançou taxas de sucesso de missão quase perfeitas. Em contraste, o DDPG padrão e outras linhas de base de RL robusto (incluindo meta-aprendizado adversário e NR-MDP) alcançaram taxas de sucesso entre 20% e 56%, frequentemente falhando em atingir o destino dentro do orçamento de voo.
• Ataques de Spoofing Dinâmicos: Contra ataques de spoofing dinâmicos de atração de obstáculos (onde o viés é ajustado para distorcer a percepção de obstáculos), o método proposto alcançou as maiores recompensas episódicas. Ele reduziu os passos de conclusão de missão em até 45% em comparação com as linhas de base através de densidades de tráfego crescentes.
• Divergência Percepção-Realidade: A política adaptada pelo currículo exibiu a menor divergência entre o desvio de obstáculos percebido e o real, indicando uma capacidade superior de manter representações internas de risco precisas, apesar das observações corrompidas.
• Ablação e Sensibilidade: O estudo identificou $\epsilon = 4.0$ como o ponto de parada ideal do currículo, equilibrando robustez e desempenho. Além disso, passos menores de currículo ($\Delta\epsilon = 0.25$) mostraram-se capazes de produzir um alinhamento TD mais suave e maior estabilidade em comparação com passos maiores, que induziram comportamentos do tipo colapso de modo (mode-collapse).

Significância e Alegações
O artigo alega que sua principal significância reside em demonstrar que a adaptação de currículo adversária pode transferir resiliência de perturbações sintéticas para ataques de spoofing de GNSS realistas sem retreinamento específico para o ataque. Ao focar na preservação da consistência da distribuição de erro TD em vez de se ajustar a um modelo de ataque específico, o arcaboxo fornece um mecanismo principado para melhorar a resiliência de sistemas de tomada de decisão autônomos sob ameaças físico-cibernéticas desconhecidas. Os autores afirmam que esta abordagem vai além do RL robusto convencional ao oferecer tanto melhorias empíricas no desempenho da missão quanto limites teóricos prováveis de generalização para domínios de ataque não vistos. O trabalho sugere que manter a consistência da função de valor é um fator crítico para prevenir o esquecimento catastrófico em ambientes adversários.