Robust SAC-Enabled UAV-RIS Assisted Secure MISO Systems With Untrusted EH Receivers

Résumé Technique : Systèmes MISO Sécurisés Assistés par UAV-RIS Robustes avec Récepteurs EH Non Fiables

Énoncé du Problème
Ce papier aborde le défi de la transmission sécurisée en liaison descendante dans des systèmes multi-utilisateurs MISO (Multiple-Input Single-Output) assistés par une Surface Intelligente Reconfigurable (RIS) montée sur un Véhicule Aérien Non Piloté (UAV). Le scénario spécifique implique un UAV en vol stationnaire équipé d'une RIS assistant une Station de Base (BS) à antennes multiples dans la desserte de Récepteurs d'Information et de Récolte d'Énergie (IHR) légitimes, tout en coexistant avec des Récepteurs d'Énergie Non Fiables (UEHR). Ces UEHR agissent comme des écouteurs potentiels et récoltent de l'énergie simultanément (SWIPT).

Le système opère sous des contraintes pratiques significatives :

1. Information d'État du Canal (CSI) Imparfaite : La BS ne possède que des estimations imparfaites des canaux UEHR, modélisées via un ensemble d'incertitude borné par une norme, nécessitant une formulation de sécurité au pire cas.
2. Déphasages RIS Discrets : Le matériel RIS pratique est limité à des déphasages à résolution finie plutôt qu'à des valeurs continues idéales.
3. Optimisation Couplée : Le problème requiert l'optimisation conjointe de trois variables fortement couplées : la position horizontale de l'UAV, l'allocation de puissance de transmission à la BS (utilisant un précodage à Annulation de Zéros), et les déphasages discrets de la RIS.
4. Objectif : Le but est de maximiser l'Efficacité Énergétique de Sécurité au Pire Cas (WCSEE), définie comme le rapport entre le taux de confidentialité minimum parmi les utilisateurs légitimes et la consommation totale de puissance, sous réserve des exigences de récolte d'énergie pour les UEHR.

Le problème d'optimisation résultant est hautement non convexe en raison de l'objectif fractionnaire, du couplage entre les relations géométriques des canaux et les variables de contrôle, de la nature discrète des phases RIS, et des contraintes de robustesse imposées par l'incertitude CSI.

Méthodologie
Pour surmonter l'ingérabilité du problème de maximisation du WCSEE, les auteurs proposent deux approches complémentaires :

1. Référence Basée sur un Modèle (BCD-SCA) :

   • Un cadre de Descente de Coordonnées par Blocs (BCD) est développé, alternant entre l'optimisation de l'allocation de puissance, des déphasages RIS et de la position de l'UAV.
   • L'Approximation Convexe Successive (SCA) est employée pour gérer les non-convexités. Pour l'allocation de puissance, la transformation de Charnes–Cooper convertit le programme fractionnaire en une forme convexe. Pour les phases RIS et la position de l'UAV, des développements de Taylor du premier ordre et des inégalités de moyenne arithmético-géométrique (AGM) sont utilisés pour construire des contraintes substitutives convexes.
   • Cette approche suppose des conditions idéalisées (CSI parfaite et phases continues) pour servir de référence structurée.

2. Solution Basée sur l'Apprentissage (Soft Actor-Critic - SAC) :

   • Pour résoudre le problème général du WCSEE avec des phases discrètes et une incertitude CSI sans résolution itérative pour chaque réalisation de canal, un cadre d'Apprentissage par Renforcement Profond (DRL) personnalisé basé sur Soft Actor-Critic (SAC) est proposé.
   • Formulation MDP : Le problème est modélisé comme un Processus de Décision Markovien où l'état inclut les estimations de canal et la position de l'UAV, l'action contrôle conjointement la puissance, les phases et la position, et la récompense est le WCSEE (nulle si les contraintes de récolte d'énergie sont violées).
   • Architecture : L'agent SAC utilise un réseau acteur (politique gaussienne) et des réseaux critiques jumeaux pour atténuer le biais de surestimation. La régularisation par entropie est utilisée pour encourager l'exploration et assurer une convergence stable.
   • Gestion des Contraintes : Les phases RIS discrètes sont gérées en mappant les sorties continues du SAC vers l'ensemble discret, et les contraintes dures (comme la récolte d'énergie) sont imposées via le mécanisme de façonnage de la récompense.

Contributions Clés

• Formulation du Système : Le papier formule un nouveau système sécurisé SWIPT assisté par UAV-RIS qui considère conjointement la position de l'UAV, la configuration RIS et l'allocation de puissance sous CSI imparfaite et récepteurs non fiables, visant à maximiser le WCSEE.
• Cadre d'Optimisation : Il développe un algorithme basé sur BCD-SCA qui résout efficacement une formulation d'efficacité énergétique de sécurité (SEE) traitable, fournissant une référence à convergence rapide.
• Innovation DRL : Il propose une approche basée sur SAC adaptée au problème général du WCSEE. Cette méthode capture efficacement le couplage de haute dimension entre les variables et évite l'optimisation itérative répétée requise par les méthodes conventionnelles, déplaçant la charge de calcul vers l'entraînement hors ligne.
• Validation des Performances : L'étude fournit une comparaison complète contre l'optimisation conventionnelle (SCA) et d'autres références DRL (DDPG, TD3).

Résultats
Les résultats de simulation démontrent la supériorité de l'approche SAC proposée :

• Gain de Performance : La méthode SAC réalise jusqu'à une amélioration de 28 % de l'SEE par rapport à la référence basée sur SCA et environ 16 % d'amélioration par rapport au Gradient de Politique Déterministe Profond (DDPG). Elle surpasse également le TD3 (Twin Delayed DDPG).
• Robustesse : L'approche SAC maintient des performances stables et une robustesse à travers diverses configurations système, y compris différents nombres d'éléments RIS et niveaux de puissance de transmission. Elle démontre une forte résilience face à l'incertitude CSI (rayons d'incertitude $\nu$ variables).
• Convergence : SAC présente une convergence plus rapide et des récompenses moyennes plus élevées que DDPG et TD3, même avec de petites tailles de mini-lots.
• Évolutivité : Contrairement à SCA, qui devient intensif en calcul avec des variables couplées de haute dimension, la méthode SAC offre un déploiement en ligne à faible complexité après un entraînement hors ligne.

Signification
Le papier affirme que sa signification principale réside dans le comblement du fossé entre l'optimisation théorique et le déploiement pratique dans les systèmes sécurisés UAV-RIS. Alors que les travaux existants traitent souvent le SWIPT, la sécurité ou le déploiement UAV de manière isolée ou supposent des modèles idéalisés, ce cadre unifie ces éléments sous des contraintes réalistes (CSI imparfaite, phases discrètes). En démontrant qu'une approche DRL sans modèle (SAC) peut surpasser une optimisation rigoureuse basée sur un modèle (SCA) dans des environnements complexes, couplés et incertains, le papier suggère un changement de paradigme vers un contrôle basé sur l'apprentissage pour les réseaux sans fil sécurisés de nouvelle génération. Les résultats indiquent que SAC est particulièrement bien adapté pour gérer la non-convexité et la haute dimensionnalité inhérentes à l'allocation conjointe de ressources UAV-RIS, offrant une solution évolutive pour les futurs réseaux au-delà de la 5G.