🤖 machine learning

ASGARD: Action-Space Guard for UAV Resilience via Reinforcement Learning

O artigo apresenta o ASGARD, uma estrutura de professor-aluno de duas fases que aumenta a resiliência de controladores de UAV baseados em Aprendizado por Reforço contra ataques de espaço de ação em tempo de execução, ao treinar um monitor para gerar comandos de ação corrigidos utilizando apenas o histórico de estado físico.

Autores originais: Mohsen Salehi, Karthik Pattabiraman

Publicado 2026-09-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohsen Salehi, Karthik Pattabiraman

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os drones já não são apenas brinquedos controlados remotamente; são máquinas sofisticadas que navegam pelo céu usando software para interpretar o mundo e decidir para onde voar. No coração desta autonomia reside um tipo de inteligência artificial chamada aprendizagem por reforço, onde um programa de computador aprende a controlar um veículo por tentativa e erro, tal como uma criança a aprender a andar de bicicleta. O sistema observa os seus arredores, tenta um movimento e recebe feedback sobre se esse movimento o aproximou do seu objetivo. Com o tempo, constrói uma estratégia para voar de forma segura e eficiente. No entanto, esta dependência de software cria uma vulnerabilidade. Tal como um piloto humano pode ser enganado por um sinal falso, o computador de um drone pode ser ludibriado. Embora os investigadores se preocupem há muito tempo com hackers a introduzir dados falsos nos sensores do drone, surgiu uma ameaça mais subtil e perigosa: ataques que ocorrem depois de o drone já ter decidido o que fazer.

Imagine que um drone calculou que precisa de se inclinar ligeiramente para a esquerda para manter o curso. O computador envia esta instrução para os motores. Num tipo específico de ciberataque, um intruso intercepta essa instrução na fração de segundo entre a decisão do computador e a ação do motor, alterando o comando antes de este ser executado. O cérebro do drone pensa que está a voar corretamente, mas o seu corpo está a ser forçado a mover-se numa direção diferente e perigosa. Isto é conhecido como um ataque ao espaço de ação (action-space attack). Como o ataque ocorre após a decisão ser tomada, os sistemas de segurança tradicionais que verificam os sensores ou a lógica do drone muitas vezes o ignoram por completo. O drone parece estar a pensar claramente, mesmo enquanto está a ser sequestrado.

Para enfrentar esta ameaça invisível, investigadores da Universidade da Colúmbia Britânica desenvolveram um novo sistema de defesa chamado ASGARD. O sistema foi concebido para atuar como um guardião dos comandos do drone, garantindo que o que os motores recebem é exatamente o que o computador pretendia, mesmo que um atacante tente adulterar a mensagem. Os investigadores construíram este sistema utilizando um processo de treino de duas etapas que imita a forma como um mestre professor treina um aluno. Na primeira etapa, o sistema "professor" aprende a voar tendo acesso a informações secretas sobre os ataques, como saber exatamente quando e como um intruso está a tentar interferir nos controlos. Este conhecimento privilegiado permite ao professor compreender a diferença entre um comando seguro e um comando corrompido. Ele aprende a gerar um sinal oculto que captura a verdadeira intenção do voo, independentemente do ruído no ambiente.

Depois de o professor ter aprendido esta competência, transfere o conhecimento para um sistema "aluno" que voará realmente o drone no mundo real. O aluno não tem acesso à informação secreta sobre os ataques; ele vê apenas o histórico dos movimentos físicos do drone, tais como a sua posição, velocidade e orientação. Através de um treino cuidadoso, o aluno aprende a reconstruir o sinal oculto do professor utilizando apenas estes factos observáveis. Isto permite ao aluno reconhecer quando um comando foi alterado, mesmo sem conhecer os detalhes específicos do ataque. O sistema inclui um componente de monitorização leve que se situa entre o software de tomada de decisão e os motores. Este monitor verifica constantemente os comandos de saída em relação ao sinal oculto que reconstruiu. Se detetar uma discrepância, corrige instantaneamente o comando antes que este chegue aos motores, neutralizando efetivamente o ataque em tempo real.

Os investigadores testaram esta abordagem num ambiente simulado onde um drone tinha de voar através de uma série de pontos de controlo. Eles sujeitaram o drone a vários tipos de ataques, incluindo aqueles que tentavam forçá-lo a inclinar-se para a frente, rolar lateralmente ou alterar a sua velocidade. Nestes testes, um controlador de drone padrão sem esta proteção colidiu em quase metade dos cenários. Até um sistema de defesa anterior, avançado e desenhado para lidar com ataques de sensores, falhou completamente quando confrontado com estas intrusões no espaço de ação, colidindo em todas as tentativas quando os quatro canais de controlo foram atacados simultaneamente. Em contraste, o sistema ASGARD manteve o drone a voar com segurança. Quando apenas um canal de controlo foi atacado, o sistema completou com sucesso 95% das missões sem um único acidente. Mesmo no cenário mais difícil, onde os quatro canais de controlo foram atacados simultaneamente, o sistema conseguiu completar dois terços das missões, um feito que os outros sistemas não conseguiram alcançar.

O sistema também se revelou surpreendentemente adaptável. Os investigadores treinaram o drone para se defender contra ataques num único controlo específico, como o de inclinação (pitch), e depois testaram-no contra ataques nos outros controlos que nunca tinha visto antes. O sistema generalizou bem, defendendo-se com sucesso contra estas ameaças inéditas e completando a maioria das missões. Isto sugere que o sistema aprendeu uma compreensão fundamental de como detetar a corrupção no fluxo de controlo, em vez de apenas memorizar padrões de ataque específicos. Além disso, o sistema permaneceu eficaz contra ataques furtivos que aumentavam lentamente a interferência ao longo do tempo, uma tática que frequentemente apanha outras defesas desprevenidas. Ao rastrear continuamente o histórico do drone e ajustar as suas correções à medida que a perturbação crescia, o sistema evitou que o drone saísse do curso.

Os resultados indicam que esta abordagem de duas fases oferece uma solução robusta para um problema que deixou os drones autónomos vulneráveis. Ao colocar uma camada inteligente e corretiva entre o software de tomada de decisão e os motores físicos, o sistema garante que o drone executa o seu caminho pretendido, mesmo quando um atacante tenta sequestrar a linha de comando. Embora o estudo tenha sido realizado em simulação, as descobertas sugerem um caminho claro para tornar o voo autónomo mais seguro num mundo cada vez mais conectado e potencialmente hostil. O trabalho demonstra que a resiliência contra ciberataques não requer que o drone pare ou aterre numa emergência; em vez disso, pode ser alcançada através da reparação ativa dos comandos em tempo real, permitindo que a máquina continue a sua missão com confiança.

Resumo Técnico: ASGARD – Proteção do Espaço de Ação para Resiliência de UAV via Aprendizado por Reforço

Declaração do Problema

O Aprendizado por Reforço (RL) tornou-se um padrão para navegação e controle de Veículos Aéreos Não Tripulados (UAVs) devido à sua adaptabilidade a ambientes complexos. No entanto, controladores baseados em RL são vulneráveis a ataques no espaço de ação. Diferente de ataques físicos (ex: spoofing de GPS) que corrompem as entradas dos sensores, os ataques no espaço de ação ocorrem após a política de controle gerar um comando de ação, mas antes de os atuadores o executarem. Atacantes podem sobrescrever esses comandos na memória (ex: via ataques de dados ou corrupção de memória) para injetar vieses nos canais de controle, como pitch, roll, thrust ou ganho.

Defesas existentes, como métodos de RL robusto (ex: ARMOR, RARL), focam primariamente em blindar a política contra perturbações de entrada ou treinar contra entradas adversárias. Uma vez implantados, esses sistemas encaminham a saída da política diretamente para os atuadores sem um mecanismo para intervir caso a ação tenha sido corrompida durante o trajeto. Consequentemente, mesmo que a política gere um comando "seguro", o UAV executa um comando corrompido, levando à falha da missão ou quedas.

Metodologia: O Pipeline ASGARD

Os autores propõem o ASGARD (Action-Space Guard), um pipeline professor-aluno de duas fases projetado para recuperar comandos de ação corrompidos em tempo de execução sem exigir informações privilegiadas durante a implantação. O sistema consiste em três componentes principais: um codificador, uma política de controle e um monitor.

1. Fase do Professor (Treinamento com Informação Privilegiada)

Nesta fase, o sistema é treinado com acesso a informações privilegiadas sobre o ataque (ex: o canal de ação alvo, o viés do ataque e a duração), que não estão disponíveis em tempo de execução.

Codificador Professor: Implementado como um Autoencoder Variacional (VAE), ele recebe o estado físico do UAV ( $o_t$ ) e o contexto do ataque ( $x_t$ ) para produzir uma representação latente ciente do ataque de ação ( $\bar{l}_t$ ).
Política de Controle: Treinada usando Otimização de Política Próxima (PPO) utilizando $\bar{l}_t$ como entrada para gerar ações pretendidas ( $\bar{a}_t$ ).
Monitor Professor: Um Perceptron Multicamadas (MLP) leve colocado entre a política e os atuadores. Ele observa o latente ( $\bar{l}_t$ ), a ação potencialmente corrompida ( $\bar{a}'_t$ ) e um próximo estado esperado ( $\hat{s}_{t+1}$ ) previsto por uma cabeça auxiliar. O monitor é treinado via regressão supervisionada para produzir uma ação corrigida ( $\tilde{\bar{a}}_t$ ) que corresponda à intenção original, aprendendo efetivamente a reparar comandos corrompidos antes que cheguem ao hardware.

2. Fase do Aluno (Implantação em Tempo de Execução)

Esta fase adapta o sistema para execução embarcada onde a informação privilegiada do ataque está ausente.

Codificador Aluno: Implementado como um VAE Temporal utilizando uma rede LSTM (Long Short-Term Memory). É treinado via aprendizado supervisionado para aproximar a representação latente do professor usando apenas o histórico de estados físicos e ações executadas anteriormente ( $H_t$ ).
Monitor Aluno: Treinado para mimetizar as correções do monitor professor usando o latente do aluno ( $l_t$ ) em vez do latente privilegiado.
Execução: Em tempo de execução, o Codificador Aluno, a Política de Controle e o Monitor Aluno operam em conjunto. O monitor intercepta ativamente cada comando de ação, corrigindo-o se necessário, e encaminha o comando seguro para os atuadores.

Principais Contribuições

Mecanismo de Recuperação em Tempo de Execução: Ao contrário de defesas de RL anteriores que visam tornar as políticas robustas contra perturbações, o ASGARD introduz um mecanismo para recuperar ações corrompidas em tempo de execução. Ele corrige ativamente os comandos em vez de apenas detectar ataques ou interromper o sistema.
Pipeline Professor-Aluno de Duas Fases: Os autores propõem um esquema de treinamento onde um professor com conhecimento privilegiado do ataque supervisiona um aluno que depende exclusivamente do histórico de estado físico. Isso permite que o sistema aprenda representações cientes do ataque sem exigir dados de ataque em tempo real durante a implantação.
Monitor de Correção Ativa: A introdução de um monitor MLP leve que reside entre a política e os atuadores. Este componente aprende a distinguir entre ações seguras e corrompidas, encaminhando comandos seguros sem alterações enquanto repara os corrompidos, garantindo que o UAV permaneça sob sinais de controle seguros em vez de retornar a modos degradados.

Resultados Experimentais

Os autores avaliaram o ASGARD em uma tarefa de seguimento de waypoint de um quadricóptero usando o simulador gym-pybullet, comparando-o com um controlador RL de linha de base e a defesa de última geração ARMOR.

Ataques de Canal Único: Sob ataques direcionados a canais individuais, o ASGARD alcançou altas taxas de sucesso na missão com zero quedas. Especificamente, alcançou 95% de sucesso para Pitch, 94% para Gain, 94% para Roll e 97% para Thrust, com 0% de taxa de queda em todos os quatro cenários de canal único. Em contraste, o controlador RL de linha de base teve sucesso em ~40% das missões (47% de taxa de queda), e o ARMOR teve sucesso em ~50% (36% de taxa de queda).
Ataques Combinados: Quando todos os quatro canais de ação foram corrompidos simultaneamente (um cenário de pior caso), tanto o RL de linha de base quanto o ARMOR falharam em 100% das missões. O ASGARD manteve uma taxa de sucesso de 67% com apenas 10% de taxa de queda.
Generalização Zero-Shot: O ASGARD demonstrou forte generalização para canais de ataque não vistos. Quando treinado em um tipo de ataque (ex: Pitch) e testado em outros (Roll, Thrust, Gain), alcançou uma taxa de sucesso 2 a 3 vezes maior que a do ARMOR e taxas de queda 5 a 6 vezes menores.
Ataques Silenciosos: Contra ataques silenciosos que acumulam viés gradualmente, o ASGARD manteve 100% de sucesso, enquanto o ARMOR falhou completamente. Os autores atribuem isso à capacidade do ASGARD de rastrear o acúmulo de viés via histórico latente, enquanto o ARMOR carece de uma etapa de correção em tempo de execução.
Eficiência de Treinamento: O pipeline professor-aluno convergiu mais rápido (aproximadamente 5x) e com menos variância do que o ARMOR sob condições de treinamento adversário.

Significância e Alegações

O artigo afirma que o ASGARD aborda uma lacuna crítica na segurança de UAVs: a incapacidade dos métodos de RL robusto existentes de lidar com ataques no espaço de ação que ocorrem após a inferência da política. Ao mudar a estratégia de defesa de "endurecer a política" para "corrigir ativamente a saída", o ASGções garante a continuidade da missão mesmo quando os comandos de controle são comprometidos.

Os autores enfatizam que sua abordagem permite que os UAVs completem missões apesar da corrupção em tempo de execução dos comandos de ação, uma capacidade que as defesas anteriores não possuíam. Eles observam que, embora a avaliação atual seja restrita a um único modelo de quadrotor em simulação, a arquitetura foi projetada para ser leve o suficiente para implantação embarcada. O artigo conclui que estender este framework para outros sistemas robóticos e alcançar a transferência sim-to-real permanecem como direções para trabalhos futuros.