DARA: Distributed Agent Reinforcement-based Adaptive routing in Flying Ad-hoc Network Environments

Resumo Técnico: DARA – Roteamento Adaptativo Baseado em Agentes de Aprendizado por Reforço Distribuído em Ambientes de Redes Volantes Ad-hoc

Definição do Problema
As Redes Volantes Ad-hoc (FANETs), compostas por Veículos Aéreos Não Tripulados (UAVs), enfrentam desafios de roteamento únicos que se distinguem das Redes Móveis Ad-hoc (MANETs) tradicionais. Estes incluem topologias tridimensionais altamente dinâmicas, interrupções rápidas de links devido à alta mobilidade, severas restrições de energia e a ausência de infraestrutura persistente. Os protocolos convencionais de MANET (ex: AODV, OLSR) degradam-se significativamente nestes ambientes devido a frequentes quebras de rota e alto overhead. Da mesma forma, soluções específicas para FANET muitas vezes dependem de agrupamento hierárquico (clustering) ou arquiteturas de Redes Definidas por Software (SDN) centralizadas. O artigo argumenta que as abordagens de agrupamento sofrem com altos custos de re-agrupamento e overhead de controle durante mudanças rápidas de topologia, enquanto as abordagens de SDN centralizadas introduzem pontos únicos de falha e latência devido à dependência de atualizações de estado global. Além disso, muitas abordagens de Aprendizado por Reforço (RL) existentes para FANETs permanecem semi-centralizadas ou incorporadas em estruturas de agrupamento, falhando em alcançar uma descentralização real.

Metodologia
Para abordar estas limitações, os autores propõem o DARA (Roteamento Adaptativo Baseado em Agentes de Aprendizado por Reforço Distribuído), um framework de roteamento totalmente descentralizado. No DARA, cada UAV opera como um agente de aprendizado independente e autônomo utilizando Q-learning. O sistema não depende de chefes de cluster ou de um controlador central.

• Modelo de Rede: A arquitetura consiste em UAVs de Plataforma de Baixa Altitude (LAP), responsáveis pela aquisição de dados, e UAVs de Plataforma de Alta Altitude (HAP), atuando como relés aéreos para uma Estação de Gestão de Desastres (DMS).
• Representação de Estado: Cada agente constrói um vetor de estado local composto por energia residual, qualidade do link (uma combinação ponderada de RSSI, Razão de Recepção de Pacotes e Tempo de Expiração de Link), distância ao HAP mais próximo, velocidade relativa dos vizinhos e ocupação do buffer do vizinho.
• Espaço de Ação: A ação é a seleção de um vizinho de próximo salto (next-hop) de um conjunto de candidatos filtrados por limiares de qualidade de link e progresso frontal em direção ao HAP.
• Função de Recompensa: O agente recebe uma recompensa escalar projetada para equilibrar quatro objetivos: confiabilidade da entrega de pacotes (PDR), qualidade do link, consumo de energia e evasão de congestionamento (ocupação de buffer). A função de recompensa penaliza transmissões intensivas de energia e o encaminhamento para nós congestionados.
• Fluxo Operacional: O protocolo opera em três estáções:
  1. Emissão de Beacon: Transmissão periódica de status local (posição, energia, velocidade) para manter tabelas de vizinhança.
  2. Época de Controle: Um ciclo de decisão impulsionado por RL onde o agente seleciona um próximo salto baseado em sua tabela Q (usando uma política $\epsilon$-greedy), transmite o pacote, observa o resultado (ACK/timeout) e atualiza o valor Q.
  3. Comportamento de Relé: Os nós receptores verificam duplicatas, tentam a transmissão direta para o HAP se estiverem ao alcance, ou encaminham o pacote para o próximo salto selecionado pelo seu próprio agente de RL local.

Principais Contribuições
O artigo descreve quatro contribções primárias:

1. Framework Descentralizado: A introdução de um framework de roteamento totalmente distribuído onde cada UAV atua como um agente de RL independente, eliminando os gargalos associados a estruturas de agrupamento e coordenadores centralizados.
2. Design de Recompensa Multiobjetivo: O desenvolvimento de uma representação de estado compacta e uma função de recompensa de múltiplos objetivos que otimiza conjuntamente a confiabilidade do link, estabilidade de roteamento, evasão de congestionamento e uso de energia.
3. Algoritmos Leves: O design de algoritmos práticos para troca de beacons, seleção de próximo salto impulsionada por RL e comportamento de relé, formando um fluxo de trabalho de três fases executável eficientemente em UAVs com recursos limitados.
4. Avaliação Abrangente: Simulações extensas usando ns-3 acoplado com ns3-gym para validar o DARA contra baselines estabelecidos (AODV, EMASS e ESOFCluster) através de vários modelos de mobilidade e padrões de tráfego.

Resultados
Simulações conduzidas em uma área de 2km $\times$ 2km com 30 a 50 LAPs e variadas velocidades de mobilidade (10–25 m/s) demonstram que o DARA supera consistentemente os protocolos de referência:

• Razão de Entrega de Pacotes (PDR): O DARA alcança uma melhoria de 10–25% sobre os baselines, com os ganhos mais significativos observados em cenários de alta mobilidade e alta densidade, onde protocolos tradicionais sofrem com instabilidade de link.
• Atraso Fim-a-Fim (End-to-End Delay): O DARA reduz o atraso em 20–45% comparado ao AODV e esquemas baseados em agrupamento, atribuído à evasão de flooding de descoberta de rota e overhead de manutenção de cluster.
• Throughput: O protocolo sustenta um throughput 18–40% maior ao utilizar eficientemente links estáveis e evitar pontos críticos de congestionamento.
• Overhead de Roteamento: O DARA reduz o overhead de controle em 45–65% em comparação aos baselines, pois elimina floods de descoberta de rota e sinalizações de reeleição de cluster.
• Eficiência Energética: O consumo de energia relacionado ao roteamento é reduzido em 25–45%, principalmente devido à eliminação de sinalizações de controle excessivas e à seleção de caminhos energeticamente eficientes.
• Estabilidade de Link: O DARA mantém tempos de retenção de link significativamente mais longos, indicando superior adaptabilidade à mobilidade 3D.

Significância e Alegações
O artigo afirma que o DARA valida o potencial do roteamento descentralizado, impulsionado por aprendizado por reforço, como uma solução escalável e robusta para redes de UAVs autônomas de próxima geração. Ao levar a inteligência para a borda da rede e depender exclusivamente de interações locais, o DARA aborda as limitações críticas de abordagens centralizadas e hierárquicas, especificamente gargalos do plano de controle e pontos únicos de falha. Os autores afirmam que o design de "free-clustering" (agrupamento livre) é particularmente vantajoso em ambientes altamente dinâmicos, onde minimizar a complexidade de controle melhora diretamente a eficiência da rede.

O artigo conclui modestamente, reconhecendo limitações como a escalabilidade do Q-learning tabular em espaços de estados extremamente grandes e a atual suposição de comportamento totalmente cooperativo. Trabalhos futuros são propostos para integrar aprendizado por reforço profundo para melhor generalização e para incorporar mecanismos de segurança para ambientes adversários.