A Decentralized Multi-Metric Q-Learning Objective Function (MM-QLOF) for Efficient Routing in IoT Networks

Resumo Técnico: Uma Função Objetivo de Aprendizado por Reforço Q Multi-Métrica (MM-QLOF) Descentralizada para Roteamento Eficiente em Redes IoT

Definição do Problema
O artigo aborda a degradação do desempenho em redes Internet das Coisas (IoT) operando sob condições de alto tráfego. Especificamente, em Redes de Baixa Potência e Perda (LLNs) que utilizam o Protocolo de Roteamento IPv6 para Redes de Baixa Potência e Perda (RPL), altas cargas de tráfego levam a congestionamentos significativos, degradação da qualidade do link e interferência de pacotes. Essas condições tornam a seleção de um nó pai ideal (próximo salto) extremamente difícil para as Funções Objetivo (OFs) padrão do RPL. As abordagens tradicionais como a Função Objetivo Zero (OF0), que se baseia na contagem de saltos, e a Função Objetivo de Rank Mínimo com Histerese (MRHOF), que se baseia na Contagem de Transmissão Esperada (ETX), frequentemente falham em considerar os níveis dinâmicos de congestionamento e as taxas de sucesso de pacotes em tempo real. Consequentemente, os nós podem selecionar pais com filas MAC saturadas, levando ao aumento de colisões, retransmissões, latência de ponta a ponta e perda de pacotes.

Metodologia
Os autores propõem o MM-QLOF (Função Objetivo de Aprendizado Q Multi-Métrica), uma abordagem descentralizada que integra o Aprendizado por Reforço (especificamente o Q-learning) no processo de seleção de pais do RPL. A metodologia opera da seguinte forma:

1. Definição de Estado e Ação: Cada nó IoT atua como um agente autônomo. O "estado" é a necessidade atual do nó de selecionar um pai preferencial, e a "ação" é a seleção de um pai candidato específico do conjunto de pais do RPL.
2. Função de Recompensa Multi-Métrica: A inovação central reside na função de recompensa, que avalia os candidatos a pais com base em três métricas normalizadas:
   • Taxa de Sucesso de Pacotes (PSR): Mede a confiabilidade do link imediato (ACKs recebidos vs. pacotes transmitidos).
   • Contagem de Transmissão Esperada (ETX): Indica o número de transmissões necessárias para uma entrega bem-sucedida; valores mais baixos são preferidos.
   • Nível de Congestionamento: Uma métrica da camada MAC que reflete a ocupação da fila e as quedas de pacotes em relação às transmissões.
     A função de recompensa é formulada para maximizar a PSR e o baixo congestionamento (alto "Congestionamento Normalizado") enquanto minimiza o ETX. A fórmula é:
     $$Recompensa = \frac{w_{psr} \cdot PSR\_Normalizado + w_{congestionamento} \cdot CONGESTIONAMENTO\_Normalizado}{w_{etx} \cdot ETX}$$
3. Mecanismo de Q-Learning: Os nós mantêm uma tabela Q mapeando candidatos a pais para valores Q. Ao selecionar um pai e observar o resultado, o nó atualiza o valor Q usando a equação de Bellman:
   $$Q_{novo}(s_t, a_t) = (1 - \alpha)Q_{antigo}(s_t, a_t) + \alpha [R_t + \gamma \max Q(s_{t+1}, a_{t+1})]$$
   onde $\alpha$ é a taxa de aprendizado e $\gamma$ é o fator de desconto, e $R_t$ é a recompensa calculada.
4. Mecanismos de Estabilidade: Para evitar a instabilidade da rede causada pela troca frequente de pais devido a pequenas flutuações de métricas, os autores implementam:
   • Histerese: Uma troca de pai ocorre apenas se o valor Q do novo candidato exceder o valor Q do pai atual por um limiar específico (10%).
   • Estratégia $\epsilon$-greedy: Um equilíbrio dinâmico entre exploração (selecionar pais aleatórios para descobrir melhores caminhos) e explotação (selecionar o pai com o maior valor Q). A taxa de exploração $\epsilon$ é reduzida conforme os valores Q convergem.

Principais Contribuições

• Aprendizado Descentralizado: O artigo demonstra que os nós podem aprender autonomamente decisões de roteamento ideais sem coordenação centralizada, adaptando-se às variáveis condições da rede.
• Estrutura de Métricas Integradas: O trabalho propõe uma combinação específica de PSR, ETX e Nível de Congestionamento dentro de uma estrutura de Q-learning, argumentando que este trio fornece uma visão mais abrangente da saúde da rede do que abordagens de métrica única.
• Ponderação Adaptativa: O estudo fornece uma análise empírica mostrando como a ponderação dessas métricas influencia o compromisso entre a Taxa de Entrega de Pacotes (PDR) e a latência. Sugere-se que os pesos das métricas devem ser ajustados com base na carga de tráfego (por exemplo, priorizando métricas de congestionamento sob alta carga).
• Implementação Algorítmica: Os autores fornecem algoritmos detalhados para o processo de atualização de Q-value e o processo de seleção de pai, incluindo estratégias de inicialização e verificações de convergência.

Resultos
A abordagem MM-QLOF foi avaliada utilizando o emulador Cooja (Contiki-NG) em uma topologia linear de 51 nós sob cargas de tráfego variadas (de 1 pacote a cada 3 segundos para 1 pacote a cada 0,5 segundos). Os resultados foram comparados com o OF0 e MRHOF padrão:

• Taxa de Entrega de Pacotes (PDR): O MM-QLOF melhorou o PDR em 10,7% em comparação ao OF0 e em 11,1% em comparação ao MRHOF, em média. Sob alto tráfego (120 pacotes/min), superou o OF0 em 4,65% e o MRHOF em 1,52%.
• Latência de Ponta a Ponta: O método proposto reduziu a latência em 18,7% em comparação ao OF0 e em 23,6% em comparação ao MRHOF, em média. Em cenários de alto tráfego, a redução foi ainda mais pronunciada (34,11% vs. OF0 e 44,66% vs. MRHOF).
• Consumo de Energia: Devido à redução de retransmissões e atrasos, o MM-QLOF alcançou uma leve redução no consumo de energia em comparação com as funções de base.
• Sensibilidade de Métricas: Estudos empíricos confirmaram que priorizar PSR e ETX melhora o PDR, mas pode aumentar a latência, enquanto priorizar o Congestionamento reduz significativamente a latência, mas pode diminuir ligeiramente o PDR se não for equilibrado corretamente.

Significância e Alegações
O artigo afirma que o MM-QLOF oferece uma melhoria significativa na eficiência de roteamento para redes IoT, particularmente sob condições de alto tráfego, onde as funções objetivo estáticas tradicionais falham. Ao incorporar a consciência de congestionamento diretamente na lógica de seleção de pais via aprendizado por reforço, o protocolo alcança um melhor equilíbrio entre confiabilidade (PDR), velocidade (latência) e eficiência energética. Os autores enfatizam que a abordagem permite um comportamento adaptativo, permitindo que os nós evitem dinamicamente caminhos congestionados e filas saturadas, mitigando assim os efeitos negativos de picos de tráfego. O trabalho sugere que, embora a implementação atual seja eficaz, trabalhos futuros poderiam estender este modelo para cenários de IoT móvel e incorporar métricas adicionais, como energia residual.