Resumo Técnico: WDQAR - Um Protocolo de Roteamento Adaptativo para FANETs Baseado em Double Q-Learning Ponderado

1. Definição do Problema

As Redes FANET (Flying Ad Hoc Networks), compostas por Veículos Aéreos Não Tripulados (UAVs), enfrentam desafios significativos para manter um roteamento confiável devido à alta mobilidade dos nós, mudanças frequentes de topologia e links de comunicação instáveis. Embora existam protocolos de roteamento existentes para MANETs (Mobile Ad Hoc Networks) e VANETs (Vehicular Ad Hoc Networks), eles frequentemente falham em atender aos requisitos das FANETs devido ao alto overhead de controle, sensibilidade a imprecisões de localização e incapacidade de aprender com condições dinâmicas.

Especificamente, os protocolos de roteamento baseados em Q-learning, embora adaptativos, sofrem de três limitações primárias neste contexto:

1. Estimativa de Valor Q Viesada: O Q-learning convencional tende a superestimar valores futuros porque utiliza a mesma tabela Q tanto para a seleção de ações quanto para a avaliação de valores.
2. Convergência Lenta: A inicialização aleatória ou com valores zero dos valores Q leva a uma exploração ineficiente no início e a uma adaptação lenta ao ambiente de rede atual.
3. Alto Overhead de Controle: Intervalos estáticos de mensagens HELLO resultam frequentemente em informações de topologia desatualizadas (se muito longos) ou tráfego de controle excessivo (se muito curtos), falhando em se adaptar a diferentes durações de link e velocidades de nós.

2. Metodologia: WDQAR

O artigo propõe o WDQAR (Weighted Double Q-Learning based Adaptive Routing), um protocolo de dois estágios projetado para abordar os problemas mencionados. O protocolo opera dentro de um cenário de monitoramento de desastres em 3D onde os UAVs se comunicam com uma Estação de Controle de Solo (GCS).

2.1 Descoberta Adaptativa de Vizinhos

Para gerenciar mudanças de topologia de forma eficiente, o WDQAR introduz um mecanismo de ajuste dinâmico do intervalo de transmissão de mensagens HELLO.

• Mecanismo: Em vez de um intervalo fixo, o período de transmissão ($HP_i^t$) é calculado com base na Duração do Link ($LD_{ij}$) prevista e na Similaridade de Cosseno ($CS_i^t$) dos vetores de velocidade entre um nó e seus vizinhos.
• Lógica: Se os nós estiverem se afastando rapidamente (baixa duração de link) ou tiverem velocidades divergentes, o intervalo encurta para atualizar as tabelas de vizinhos rapidamente. Se a topologia estiver estável, o intervalo aumenta para reduzir o overhead de controle.
• Limites: O intervalo é restringido dentro de $[HP_{min}, HP_{max}]$ para evitar valores extremos.

2.2 Módulo de Decisão de Roteamento

A fase de roteamento emprega um framework de aprendizado por reforço com várias otimizações específicas:

A. Filtragem de Vizinhos Candidatos

Para reduzir o espaço de ação e acelerar a convergência, o protocolo filtra os próximos saltos potenciais usando um mecanismo baseado em setor.

• Um setor esférico é definido com o nó atual como centro, a GCS como eixo central e um ângulo de semi-cone ($\phi \approx 60^\circ$).
• Apenas vizinhos dentro deste setor são considerados candidatos primários. Se não houver vizinhos no setor, o protocolo recorre a um conjunto de candidatos ganancioso (nós mais próximos da GCS).

B. Inicialização de Valores Q

Para evitar uma exploração ineficiente no início, o WDQAR utiliza uma estratégia de inicialização baseada em posição em vez de inicialização aleatória ou zero.

• O valor Q inicial ($Q_{init}$) é atribuído com base na razão entre a distância do vizinho candidato ao destino versus a distância do nó atual.
• Vizinhos mais próximos do destino recebem valores Q iniciais mais altos, fornecendo ao agente conhecimento prévio sobre capacidades de encaminhamento.

C. Design da Função de Recompensa

A função de recompensa ($r_i^t$) é uma soma ponderada de quatro métricas normalizadas, com pesos determinados dinamicamente usando Entropia de Informação:

1. Energia Residual ($E_j$): Previne o esgotamento de energia em nós específicos.
2. Duração do Link ($LD_{ij}$): Prioriza links estáveis.
3. Progresso Geográfico ($F_{ij}$): Incentiva o movimento à frente em direção ao destino enquanto minimiza ângulos de desvio.
4. Razão de Vizinhos Válidos ($VNR_{ij}$): Reflete a densidade de vizinhos confiáveis disponíveis para saltos subsequentes, reduzindo o risco de buracos de roteamento.

D. Atualização de Weighted Double Q-Learning

Para mitigar o viés de superestimação do Q-learning padrão e a potencial subestimação do Double Q-learning, o WDQAR utiliza uma abordagem de Weighted Double Q-Learning.

• Tabelas Duplas: Cada UAV mantém duas tabelas Q independentes ($Q_1$ e $Q_2$).
• Processo de Atualização: Uma tabela é selecionada aleatoriamente para atualização, enquanto a outra é usada para avaliar o valor da ação.
• Ponderação Adaptativa: Um peso adaptativo ($\beta$) é calculado com base na dispersão dos valores entre os dois estimadores para as melhores e piores ações. Este peso equilibra os estimadores simples e duplos, produzindo uma estimativa de valor futuro ($Q_W$) mais precisa e aumentando a estabilidade.

E. Parâmetros de Aprendizado Dinâmicos

A taxa de aprendizado ($\alpha$) e o fator de desconto ($\gamma$) são ajustados de forma adaptativa:

• Taxa de Aprendizado: Aumenta quando o atraso do próximo salto é maior que a média (indicando instabilidade) para atualizar os valores mais rapidamente; diminui para links estáveis para confiar na experiência histórica.
• Fator de Desconto: Ajustado com base na estabilidade dos conjuntos de vizinhos entre passos de tempo consecutivos, reduzindo a dependência de recompensas futuras quando a variação da topologia é drástica.

3. Principais Contribuições

O artigo descreve quatro contribuições principais:

1. Mecanismo HELLO Adaptativo: Um ajuste dinâmico dos intervalos de transmissão baseado na duração do link e similaridade de velocidade para equilibrar atualizações oportunas de topologia com a redução do overhead de controle.
2. Framework de Weighted Double Q-Learning: Um protocolo de roteamento distribuído que mantém duas tabelas Q com um mecanismo de ponderação adaptativa para reduzir o viés de estimativa e melhorar a estabilidade em ambientes altamente dinâmicos.
3. Função de Recompensa Abrangente: Uma função de recompensa multimétrica incorporando energia residual, duração de link, progresso geográfico e razão de vizinhos válidos, com pesos determinados dinamicamente via entropia de informação.
4. Estratégias de Otimização: A integração de inicialização de valor Q baseada em posição e parâmetros de aprendizado adaptativos para acelerar a convergência e melhorar a adaptabilidade.

4. Resultados de Simulação

O protocolo foi avaliado usando NS-3 em um cenário de monitoramento de desastres em 3D com 40–100 UAVs movendo-se a 10–30 m/s. O WDQAR foi comparado com QFANET e QGEO.

• Estabilidade do Valor Q: O weighted double Q-learning reduziu a volatilidade do valor Q em aproximadamente 45,62% e a variação total em 33,03% em comparação com o single Q-learning.
• Razão de Entrega de Pacotes (PDR): O WDQAR alcançou o maior PDR, com média de 92,62% (cerca de 3,42% superior ao QFANET e 6,50% superior ao QGEO). Ele manteve um desempenho superior em diversas densidades de nós e velocidades de UAV.
• Atraso Fim-a-Fim: O WDQAR demonstrou o menor atraso médio (16,80 ms), representando uma redução de 40,93% em relação ao QFANET e 44,30% em relação ao QGEO.
• Consumo de Energia: O protocolo reduziu o consumo médio de energia em 12,34% (vs. QFANET) e 6,86% (vs. QGEO) ao equilibrar a carga e reduzir retransmissões desnecessárias.
• Overhead de Roteamento: O WDQAR alcançou o menor overhead (9,94%), reduzindo-o em 29,43% e 34,80% em comparação com os protocolos comparativos, principalmente devido ao intervalo HELLO adaptativo.

5. Significância e Alegações

Os autores afirmam que o WDQAR melhora significadamente a confiabilidade do roteamento e a estabilidade do aprendizado em ambientes FANET altamente dinâmicos. Ao abordar as limitações específicas das abordagens de Q-learning existentes — nomeadamente o viés de estimativa, a convergência lenta e o overhead de controle estático — o protocolo oferece uma solução robusta para enxames de UAVs operando em cenários de alta mobilidade e recursos limitados.

O artigo conclui que a combinação de descoberta de vizinhos adaptativa, filtragem baseada em setor e weighted double Q-learning permite que a rede identifique rotas ótimas de forma mais precisa e se adapte às mudanças de topologia de forma mais eficaz do que os protocolos de estado da arte atuais. Um trabalho futuro mencionado inclui a extensão do protocolo para cenários maiores e mais complexos e a validação da abordagem através de hardware-in-the-loop e experimentos reais com UAVs.