Explainable graph-based meta-reinforcement learning for cognitive UAV swarms under partial observability and adaptive jamming

Resumo Técnico: Aprendizado por Reforço Meta-Baseado em Grafos Explicável para Enxames de UAV Cognitivos

Definição do Problema
Enxames de Veículos Aéreos Não Tripulados (UAV) cognitivos operando em ambientes eletromagnéticos contestados enfrentam quatro desafios persistentes: (1) degradação de desempenho conforme o tamanho do enxame aumenta e a comunicação entre agentes torna-se crítica; (2) baixa transferibilidade de políticas treinadas em um cenário para padrões de interferência (jamming) não vistos; (3) dependência de modelos de adversários estáticos e simplificados que falham em capturar ameaças adaptativas; e (4) a opacidade das políticas aprendidas, o que mina a confiança em operações de missão crítica. Embora pesquisas existentes abordem esses problemas isoladamente (por exemplo, navegação, acesso ao espectro ou coordenação de enxame separadamente), há uma falta de frameworks integrados que lidem simultaneamente com coordenação multiagente, meta-adaptação e explicabilidade sob observabilidade parcial. Além disso, permanece incerto quando mecanismos complexos, como coordenação baseada em grafos e meta-aprendizado, realmente oferecem benefício sobre baselines mais simples.

Metodologia: XM-MADRL
Os autores propõem o XM-MADRL, um framework de meta-aprendizado multiagente explicável projetado para ambientes descentralizados e parcialmente observáveis. A arquitetura integra vários componentes:

• Fusão Multimodal: Um codificador transformer funde observações de radiofrequência (RF), radar, visual e navegação para cada agente.
• Coordenação por Grafo: Uma rede convolucional de grafos (GCN) agrega características de UAVs vizinhos para facilitar a navegação coordenada.
• Cabeças de Política Desacopladas: Para abordar a questão do "super-suavização" (over-smoothing) de características locais de RF (que são críticas para a seleção de canais) via agregação de grafo, a política é dividida em duas cabeças:
  • Uma cabeça de navegação impulsionada pela representação coordenada (agregada pelo grafo).
  • Uma cabeça de seleção de canal impulsionada diretamente pelas observações locais de RF do agente, contornando o grafo.
• Meta-Aprendizado: O framework emprega o Meta-Aprendizado Agnóstico ao Modelo (MAML) de primeira ordem para permitir a rápida adaptação a novas tarefas (padrões de interferência) com aprendizado de poucos ou zero disparos (few-shot ou zero-shot learning).
• Explicabilidade: Explicações Aditivas de Shapley (SHAP) pós-hoc são usadas para atribuir decisões a modalidades de sensoriamento específicas.

O sistema é treinado usando Otimização de Política de Procuração Multiagente (MAPPO) com um crítico centralizado e execução descentralizada.

Design Experimental
O estudo avalia o framework sob dois regimes distintos de operação para testar três hipóteses falseáveis:

1. Regime de Controle (Observabilidade Total): Os agentes têm acesso total aos dados de radar/visual, e o interferidor é um interferidor de varredura (sweep jammer) previsível. Isso testa a Hipótese 1 (H1): se a coordenação e a meta-adaptação oferecem benefícios quando a informação local é suficiente.
2. Regime Difícil (Observabilidade Parcial): Dados de radar e visual são mascarados, e o interferidor é um adversário adaptativo e reativo que interfere nos canais atualmente em uso pelo enxame. Isso testa a H2 (benefício sob observabilidade parcial) e a H3 (generalização para interferidores não vistos).

Os baselines incluem PPO, A2C, DDPG, MADDPG e um controle de agente único recorrente (GRU-PPO) para isolar os efeitos da memória versus comunicação.

Resultados Principais

• Desempenho Condicional ao Regime:
  • Sob Observabilidade Total: O XM-MADRL apresenta desempenho estatisticamente indistinguível de um baseline PPO vanilla em sucesso da missão, uso de energia e segurança. Ele não supera o PPO e, em métricas de anti-interferência, é ligeiramente inferior. Isso apoia a H1: a maquinaria complexa é inerte quando os agentes possuem informação local suficiente e o adversário é previsível.
  • Sob Observabilidade Parcial: O XM-MADRL supera significativamente todos os baselines. Ele alcança uma melhoria de seis vezes na razão de entrega de pacotes (16,8% vs. 2,5% para o PPO), eleva a capacidade de anti-interferência de ~0% para 11,1% e melhora a média da Relação Sinal-Interferência-mais-Ruído (SINR) de -3,7 dB para -1,3 dB. Esses resultados são estatisticamente significativos (ajustado $P < 0,0001$) com grandes tamanhos de efeito.
• Fonte de Melhoria:
  • Memória vs. Coordenação: Uma política de agente único recorrente (GRU-PPO) com memória, mas sem comunicação entre agentes, falhou em recuperar o desempenho, performando tão mal quanto o PPO sem memória. Isso descarta a recorrência como o principal motor do sucesso.
  • Agregação de Grafo: Surpreendentemente, remover a passagem de mensagens do grafo (XM-noGNN) no regime difícil não degradou o desempenho; em algumas métricas, foi marginalmente superior. Os autores concluem que o ganho não se deve à passagem de mensagens do grafo, mas sim ao codificador de fusão multimodal e à cabeça de espectro desacoplada, que evita a super-suavização das características locais de RF.
• Generalização do Meta-Aprendizado: O meta-treinamento em interferidores de varredura e estáticos permitiu que o XM-MADRL alcançasse uma razão de entrega de pacotes de 32,0% contra interferidores reativos/aleatórios não vistos em um cenário de zero disparos ($K=0$), comparado a 4,2% para o PPO ajustado (fine-tuned). Essa vantagem diminui quando ambas as políticas são permitidas de se adaptar (poucos disparos), confirmando que o benefício está concentrado nos regimes de zero e poucos disparos.
• Escalabilidade e Interpretabilidade: O framework escala bem com o tamanho do enxame (6 a 18 agentes). A análise SHAP confirma que as decisões de seleção de canal são corretamente atribuídas à força do sinal de RF e ao SINR, fornecendo uma justificativa auditável para ações autônomas.

Significância e Alegações
O artigo alega que a coordenação e a meta-adaptação são capacidades condicionais, não melhorias universais. A principal contribuição é a demonstração rigorosa de quando esses mecanismos avançados valem a pena:

1. Valor Contextual: A maquinaria do framework só é benéfica quando as observações são parciais (exigindo compartilhamento de informações para recuperar o estado) e o adversário é não-estacionário (exigindo adaptação). Em ambientes benignos e totalmente observados, ela não oferece vantagem sobre baselines mais simples.
2. Insight Arquitetônico: O estudo identifica que a agregação de grafo padrão pode degradar as capacidades de sensoriamento local (super-suavização). A política desacoplada proposta (separando a coordenação de navegação da seleção de espectro local) é uma escolha de design crítica que restaura o desempenho sem sacrificar a coordenação.
3. Transparência: Em cenários onde o framework iguala o desempenho do baseline (observabilidade total), ele ainda fornece um diferencial prático através da explicabilidade, oferecendo justificativas auditáveis para decisões que políticas opacas não podem fornecer.
4. Rigor Metodológico: Os autores enfatizam a importância de relatar o regime operacional específico (observabilidade e tipo de adversário) junto com as pontuações de desempenho, pois a superioridade de uma nova arquitetura é frequentemente dependente do regime.

Os autores explicitamente notam limitações: os resultados baseiam-se em um simulador vetorizado rápido, em vez de testes de hardware em loop (hardware-in-the-loop), e as métricas de desempenho absoluto (por exemplo, 16,8% de entrega de pacotes) permanecem baixas, representando uma melhoria relativa sobre baselines falhos, em vez de um sistema de comunicação pronto para implantação. O trabalho é apresentado como um estudo metodológico sobre as condições sob as quais a coordenação ajuda, em vez de uma solução operacional pronta para uso.