Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

Resumo Técnico: Transmissão Sem Fio Segura e Eficiente em Energia: Uma Solução de RL de Horizonte Finito vs. Infinito

Definição do Problema
Este artigo aborda a otimização da segurança e da eficiência energética de redes sem fio em sistemas equipados com capacidades de Colheita de Energia (EH - Energy Harvesting). Especificamente, os autores consideram um cenário envolvendo um nó de origem (S), um nó de destino de modo full-duplex (D) e um interceptador passivo (E). Tanto S quanto D são alimentados por baterias recarregáveis com capacidade limitada e dependem de processos estocásticos de colheita de energia. O destino utiliza sua capacidade full-duplex para transmitir sinais de interferência (jamming), degradando assim a recepção do interceptador enquanto simultaneamente recebe dados da origem.

O desafio central é alocar conjuntamente a potência de transmissão na origem ($P_S$) e a potência de interferência no destino ($P_D$) ao longo de uma duração de tempo finita (um número fixo de intervalos de tempo, $K$). O objetivo é maximizar a Eficiência Energética de Sigilo Média (SEE - Average Secrecy Energy Efficiency), definida como o número médio de bits seguros transmitidos por unidade de energia consumida. O sistema está sujeito a restrições de causalidade (a energia não pode ser usada antes de ser colhida), limites de capacidade de bateria e à natureza Markoviana dos estados de canal e chegada de energia.

Metodologia
O problema é formulado como um Processo de Decisão de Markov (MDP) de Horizonte Finito, pois a duração da transmissão $K$ é conhecida a priori e a dinâmica do sistema (ganhos de canal e chegada de energia) evolui ao longo do tempo. Os autores propõem três abordagens distintas de solução para comparar estratégias de modelagem de horizonte finito e de horizonte infinito:

1. Alocação Conjunta de Potência de Horizonte Finito (FHJPA): Esta é a solução ótima proposta para o problema de horizonte finito. Ela utiliza um algoritmo de Indução Retroativa (BI - Backward Induction). O algoritmo itera do intervalo de tempo final ($K$) de volta ao primeiro ($0$), computando a função de valor e a política ótima (uma tabela de consulta de pares de potência) para cada estado possível. O estado inclui ganhos de canal, níveis de bateria e o intervalo de tempo atual.
2. Algoritmo Ganancioso (GA - Greedy Algorithm): Uma linha de base subótima de baixa complexidade. Em cada intervalo de tempo, o GA seleciona a alocação de potência que maximiza a recompensa imediata (SEE instantânea) sem considerar recompensas futuras ou transições de estado.
3. Alocação Conjunta de Potência de Horizonte Infinito (IHJPA): Um algoritmo projetado para cenários onde a vida útil da rede é desconhecida ou efetivamente infinita. Ele emprega Iteração de Política (PI - Policy Iteration) para encontrar uma política estacionária que maximize a recompensa média de longo prazo, assumindo um fator de desconto ou uma distribuição geométrica do horizonte temporal.

Principais Contribuições

• Formulação Inovadora: O artigo apresenta um novo framework de otimização conjunta de potência de transmissão e de interferência que incorpora simultaneamente as capacidades de EH tanto nos nós de origem quanto no de destino ao maximizar a SEE. Os autores observam que trabalhos anteriores focaram ou na maximização do total de bits seguros em vez da SEE, ou assumiram EH apenas no destino.
• Análise Comparativa de Horizontes: Este trabalho é o primeiro a investigar e comparar modelos de Aprendizado por Reforço (RL) de horizonte finito e de horizonte infinito especificamente para a maximação de SEE em problemas de alocação conjunta de potência.
• Desenvolvimento de Algoritmos: Os autores propõem o algoritmo FHJPA para otimização de horizonte finito e o algoritmo IHJPA para otimização de horizonte infinito, fornecendo uma análise comparativa detalhada contra uma linha de base gananciosa.
• Percepção sobre Disponibilidade de Energia: O estudo fornece percepções sobre como a disponibilidade de energia colhida afeta a otimalidade das estratégias gananciosas versus as abordagens de programação dinâmica ótimas.

Resultos
O desempenho dos algoritmos foi avaliado através de simulações variando parâmetros como níveis de energia colhida ($E_S, E_D$), probabilidades de colheita ($p, q$) e o número total de intervalos de tempo ($K$).

• Desempenho do FHJPA: O algoritmo FHJPA supera consistentemente tanto o GA quanto o IHJPA em termos de SEE Média. Essa superioridade é atribuída à modelagem precisa do problema como um MDP de horizonte finito, que considera as restrições de tempo específicas e a dinâmica das baterias.
• Comportamento do GA: Embora o GA geralmente tenha um desempenho inferior ao FHJPA, sua lacuna de desempenho diminui significativamente quando a bateria do nó de origem possui energia suficiente (devido a uma alta probabilidade de colheita ou grandes unidades de energia colhida). Nesses cenários de alta energia, a maximização gananciosa da recompensa imediata torna-se quase ótima.
• Comportamento do IHJPA: O algoritmo IHJPA apresenta um desempenho insatisfatório quando o horizonte de tempo $K$ é pequeno, pois a suposição de horizonte infinito não reflete com precisão a terminação finita da transmissão. No entanto, à medida que $K$ aumenta, a precisão do modelo de horizonte infinito melhora, reduzindo a lacuna de desempenho entre o FHJPA e o IHJPA.
• Compromissos (Trade-offs): Os resultados indicam um compromisso entre a SEE Média e o total de bits seguros transmitidos. O algoritmo FHJPA, ao otimizar a eficiência, pode reduzir a potência de transmissão para conservar energia, resultando em menos bits seguros totais em comparação ao GA, que transmite agressivamente quando a energia é abundante.
• Complexidade Computacional: O algoritmo FHJPA requer uma fase de planejamento com complexidade $O((K-1)N_S^2 N_A$), enquanto o GA não possui fase de planejamento. Curiosamente, a análise de tempo computacional mostra que o algoritmo FHJPA leva 16,6% menos tempo do que o algoritmo IHJPA, sugerindo que, para problemas de horizonte finito, a abordagem de indução retroativa é mais eficiente computacionalmente do que a iteração de política para horizontes infinitos neste contexto específico.

Significância e Alegações
O artigo afirma que, para redes sem fio com durações de transmissão finitas conhecidas e restrições de colheita de energia, a modelagem de horizonte finito é superior à modelagem de horizonte infinito para maximizar a Eficiência Energética de Sigilo. Os autores enfatizam que, embora os modelos de horizonte infinito sejam comuns na literatura, eles podem gerar resultados subótimos quando a vida útil da rede é finita e conhecida.

Além disso, o artigo destaca uma percepção prática: quando a energia é abundante, estratégias gananciosas de baixa complexidade podem aproximar o desempenho ótimo, oferecendo uma alternativa viável para sistemas onde os recursos computacionais são limitados. Por fim, os autores concluem que a otimização do sistema não deve focar apenas na maximização da SEE ou do total de bits seguros de forma isolada, mas deve buscar um equilíbrio entre essas métricas com base nos requisitos específicos da rede.