Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

Résumé Technique : Transmission Sans Fil Sécurisée et Énergétiquement Efficace : Une Solution d'Apprentissage par Renforcement à Horizon Fini vs Infini

Énoncé du Problème
Cet article traite de l'optimisation de la sécurité et de l'efficacité énergétique des réseaux sans fil dans des systèmes équipés de capacités de récupération d'énergie (Energy Harvesting - EH). Plus précisément, les auteurs considèrent un scénario impliquant un nœud source (S), un nœu destination (D) en mode duplex intégral (full-duplex), et un espion passif (E). S et D sont alimentés par des batteries rechargeables à capacité limitée et dépendent de processus de récupération d'énergie stochastiques. La destination utilise sa capacité duplex intégral pour transmettre des signaux de brouillage, dégradant ainsi la réception de l'espion tout en recevant simultanément les données de la source.

Le défi central consiste à allouer conjointement la puissance de transmission à la source ($P_S$) et la puissance de brouillage à la destination ($P_D$) sur une durée de temps finie (un nombre fixe de créneaux temporels, $K$). L'objectif est de maximiser l'Efficacité Énergétique de Sécurité Moyenne (Average Secrecy Energy Efficiency - SEE), définie comme le nombre moyen de bits sécurisés transmis par unité d'énergie consommée. Le système est soumis à des contraintes de causalité (l'énergie ne peut être utilisée avant d'être récoltée), des limites de capacité de batterie et à la nature markovienne des états de canal et des arrivées d'énergie.

Méthodologie
Le problème est formulé comme un Processus de Décision de Markov (MDP) à horizon fini, car la durée de transmission $K$ est connue a priori et la dynamique du système (gains de canal et récupération d'énergie) évolue au fil du temps. Les auteurs proposent trois approches de solution distinctes pour comparer les stratégies de modélisation à horizon fini et à horizon infini :

1. Allocation de Puissance Conjointe à Horizon Fini (FHJPA - Finite-Horizon Joint Power Allocation) : Il s'agit de la solution optimale proposée pour le problème à horizon fini. Elle utilise un algorithme d'Induction par Retour (Backward Induction - BI). L'algorithme itère de l'ultime créneau temporel ($K$) vers le premier ($0$), calculant la fonction de valeur et la politique optimale (une table de correspondance de paires de puissances) pour chaque état possible. L'état inclut les gains de canal, les niveaux de batterie et le créneau temporel actuel.
2. Algorithme Glouton (GA - Greedy Algorithm) : Une base de référence sous-optimale à faible complexité. À chaque créneau temporel, le GA sélectionne l'allocation de puissance qui maximise la récompense immédiate (SEE instantanée) sans considérer les récompenses futures ou les transitions d'état.
3. Allocation de Puissance Conjointe à Horizon Infini (IHJPA - Infinite-Horizon Joint Power Allocation) : Un algorithme conçu pour les scénarios où la durée de vie du réseau est inconnue ou effectivement infinie. Il emploie l'Itération de Politique (Policy Iteration - PI) pour trouver une politique stationnaire qui maximise la récompense moyenne à long terme, en supposant un facteur d'actualisation ou une distribution géométrique de l'horizon temporel.

Principales Contributions

• Nouvelle Formulation : L'article présente un nouveau cadre d'optimisation conjointe de la puissance de transmission et de brouillage qui intègre simultanément les capacités d'EH aux nœuds source et destination tout en maximisant la SEE. Les auteurs notent que les travaux antérieurs se concentraient soit sur la maximisation du nombre total de bits sécurisés plutôt que de la SEE, soit supposaient que l'EH ne concernait que la destination.
• Analyse Comparative des Horizons : Ce travail est le premier à étudier et à comparer les modèles d'apprentissage par renforcement (RL) à horizon fini et à horizon infini spécifiquement pour la maximisation de la SEE dans les problèmes d'allocation de puissance conjointe.
• Développement d'Algorithmes : Les auteurs proposent l'algorithme FHJPA pour l'optimisation à horizon fini et l'algorithme IHJPA pour l'optimisation à horizon infini, fournissant une analyse comparative détaillée par rapport à une base gloutonne.
• Aperçu sur la Disponibilité de l'Énergie : L'étude fournit des informations sur la manière dont la disponibilité de l'énergie récoltée affecte l'optimalité des stratégies gloutnes par rapport aux approches de programmation dynamique optimales.

Résultats
Les performances des algorithmes ont été évaluées via des simulations faisant varier des paramètres tels que les niveaux d'énergie récoltée ($E_S, E_D$), les probabilités de récolte ($p, q$) et le nombre total de créneaux temporels ($K$).

• Performance de FHJPA : L'algorithme FHJPA surpasse systématiquement les algorithmes GA et IHJPA en termes de SEE moyenne. Cette supériorité est attribuée à la modélisation précise du problème comme un MDP à horizon fini, qui prend en compte les contraintes temporelles spécifiques et la dynamique des batteries.
• Comportement du GA : Bien que le GA soit généralement moins performant que le FHJPA, son écart de performance se réduit considérablement lorsque la batterie du nœud source dispose d'une énergie suffisante (en raison d'une haute probabilité de récolte ou de grandes unités d'énergie récoltées). Dans ces scénarios de haute énergie, la maximisation gloutonne de la récompense immédiate devient presque optimale.
• Comportement de l'IHJPA : L'algorithme IHJPA est peu performant lorsque l'horizon temporel $K$ est petit, car l'hypothèse d'un horizon infini ne reflète pas précisément la terminaison finie de la transmission. Cependant, à mesure que $K$ augmente, la précision du modèle à horizon infini s'améliore, réduisant l'écart de performance entre le FHJPA et l'IHJPA.
• Compromis (Trade-offs) : Les résultats indiquent un compromis entre la SEE moyenne et le nombre total de bits sécurisés transmis. L'algorithme FHJPA, en optimisant l'efficacité, peut réduire la puissance de transmission pour conserver l'énergie, ce qui entraîne moins de bits sécurisés totaux par rapport au GA, qui transmet de manière agressive lorsque l'énergie est abondante.
• Complexité Computationnelle : L'algorithme FHJPA nécessite une phase de planification d'une complexité $O((K-1)N_S^2 N_A)$, alors que le GA n'a pas de phase de planification. Curieusement, l'analyse du temps de calcul montre que l'algorithme FHJPA prend 16,6 % de temps en moins que l'algorithme IHJPA, suggérant que pour les problèmes à horizon fini, l'approche par induction par retour est plus efficace sur le plan computationnel que l'itération de politique pour les horizons infinis dans ce contexte spécifique.

Signification et Revendications
L'article affirme que pour les réseaux sans fil avec des durées de transmission finies connues et des contraintes de récupération d'énergie, la modélisation à horizon fini est supérieure à la modélisation à horizon infini pour maximiser l'efficacité énergétique de la sécurité. Les auteurs soulignent que, bien que les modèles à horizon infini soient courants dans la littérature, ils peuvent produire des résultats sous-optimaux lorsque la durée de vie du réseau est finie et connue.

De plus, l'article met en évidence un aperçu pratique : lorsque l'énergie est abondante, des stratégies gloutnes à faible complexité peuvent approcher des performances optimales, offrant une alternative viable pour les systèmes où les ressources de calcul sont limitées. Enfin, les auteurs concluent que l'optimisation du système ne doit pas se concentrer uniquement sur la maximisation de la SEE ou du nombre total de bits sécurisés de manière isolée, mais doit chercher un équilibre entre ces métriques en fonction des exigences spécifiques du réseau.