Robust SAC-Enabled UAV-RIS Assisted Secure MISO Systems With Untrusted EH Receivers

Resumen Técnico: Sistemas MISO Seguros Asistidos por UAV-RIS con EH No Confiables Habilitados por SAC Robusto

Enunciado del Problema
Este artículo aborda el desafío de la transmisión segura en enlace descendente en sistemas MISO (Multiple-Input Single-Output) multiusuario habilitados por Superficies Inteligentes Reconfigurables (RIS) asistidas por Vehículos Aéreos No Tripulados (UAV). El escenario específico implica un RIS montado en un UAV en hover que asiste a una Estación Base (BS) con múltiples antenas para servir a Receptores Legítimos de Recolección de Información (IHR), mientras coexiste con Receptores No Confiables de Recolección de Energía (UEHR). Estos UEHR actúan como posibles espías y recolectan energía simultáneamente (SWIPT).

El sistema opera bajo restricciones prácticas significativas:

1. Información de Estado del Canal (CSI) Imperfecta: La BS posee solo estimaciones imperfectas de los canales de los UEHR, modeladas mediante un conjunto de incertidumbre acotado por norma, lo que requiere una formulación de seguridad de caso peor.
2. Desplazamientos de Fase Discretos del RIS: El hardware RIS práctico está limitado a desplazamientos de fase de resolución finita en lugar de valores continuos ideales.
3. Optimización Acoplada: El problema requiere la optimización conjunta de tres variables altamente acopladas: la ubicación horizontal del UAV, la asignación de potencia de transmisión en la BS (utilizando precodificación de Anulación de Cero), y los desplazamientos de fase discretos del RIS.
4. Objetivo: El objetivo es maximizar la Eficiencia Energética de Secreto de Caso Peor (WCSEE), definida como la relación entre la tasa de secreto mínima entre los usuarios legítimos y el consumo total de energía, sujeto a los requisitos de recolección de energía para los UEHR.

El problema de optimización resultante es altamente no convexo debido al objetivo fraccional, el acoplamiento entre las relaciones geométricas del canal y las variables de control, la naturaleza discreta de las fases del RIS y las restricciones de robustez impuestas por la incertidumbre del CSI.

Metodología
Para abordar la intratabilidad del problema de maximización de WCSEE, los autores proponen dos enfoques complementarios:

1. Referencia Basada en Modelos (BCD-SCA):

   • Se desarrolla un marco de Descenso de Coordenadas por Bloques (BCD), que alterna entre la optimización de la asignación de potencia, los desplazamientos de fase del RIS y la ubicación del UAV.
   • Se emplea la Aproximación Convexa Sucesiva (SCA) para manejar las no convexidades. Para la asignación de potencia, la transformación de Charnes–Cooper convierte el programa fraccional en una forma convexa. Para las fases del RIS y la ubicación del UAV, se utilizan expansiones de Taylor de primer orden e desigualdades entre la media aritmética y geométrica (AGM) para construir restricciones sustitutas convexas.
   • Este enfoque asume condiciones idealizadas (CSI perfecto y fases continuas) para servir como una referencia estructurada.

2. Solución Basada en Aprendizaje (Actor-Critic Suave - SAC):

   • Para abordar el problema general de WCSEE con fases discretas e incertidumbre del CSI sin resolver iterativamente para cada realización del canal, se propone un marco personalizado de Aprendizaje por Refuerzo Profundo (DRL) basado en Actor-Critic Suave (SAC).
   • Formulación MDP: El problema se modela como un Proceso de Decisión de Markov donde el estado incluye las estimaciones del canal y la posición del UAV, la acción controla conjuntamente la potencia, las fases y la ubicación, y la recompensa es la WCSEE (cero si se violan las restricciones de recolección de energía).
   • Arquitectura: El agente SAC utiliza una red actor (política gaussiana) y redes críticas gemelas para mitigar el sesgo de sobreestimación. Se utiliza la regularización de entropía para fomentar la exploración y garantizar una convergencia estable.
   • Manejo de Restricciones: Las fases discretas del RIS se gestionan mapeando las salidas continuas de SAC al conjunto discreto, y las restricciones duras (como la recolección de energía) se imponen a través del mecanismo de conformación de recompensas.

Contribuciones Clave

• Formulación del Sistema: El artículo formula un novedoso sistema seguro SWIPT asistido por UAV-RIS que considera conjuntamente la ubicación del UAV, la configuración del RIS y la asignación de potencia bajo CSI imperfecto y receptores no confiables, con el objetivo de maximizar la WCSEE.
• Marco de Optimización: Desarrolla un algoritmo basado en BCD-SCA que resuelve eficientemente una formulación tratable de eficiencia energética de secreto (SEE), proporcionando una referencia de convergencia rápida.
• Innovación en DRL: Propone un enfoque basado en SAC adaptado para el problema general de WCSEE. Este método captura efectivamente el acoplamiento de alta dimensión entre variables y evita la optimización iterativa repetida requerida por los métodos convencionales, trasladando la carga computacional al entrenamiento fuera de línea.
• Validación del Rendimiento: El estudio proporciona una comparación exhaustiva frente a la optimización convencional (SCA) y otros puntos de referencia de DRL (DDPG, TD3).

Resultados
Los resultados de la simulación demuestran la superioridad del enfoque SAC propuesto:

• Ganancia de Rendimiento: El método SAC logra una mejora de hasta un 28% en SEE en comparación con la referencia basada en SCA y aproximadamente un 16% de mejora sobre el Gradiente de Política Determinista Profundo (DDPG). También supera al DDPG Duplicado y Retrasado (TD3).
• Robustez: El enfoque SAC mantiene un rendimiento estable y robusto a través de diversas configuraciones del sistema, incluidos diferentes números de elementos RIS y niveles de potencia de transmisión. Demuestra una fuerte resiliencia ante la incertidumbre del CSI (radios de incertidumbre variables $\nu$).
• Convergencia: SAC exhibe una convergencia más rápida y recompensas promedio más altas en comparación con DDPG y TD3, incluso con tamaños de mini-lotes pequeños.
• Escalabilidad: A diferencia de SCA, que se vuelve computacionalmente intensivo con variables acopladas de alta dimensión, el método SAC ofrece un despliegue en línea de baja complejidad después del entrenamiento fuera de línea.

Significado
El artículo afirma que su principal significado radica en cerrar la brecha entre la optimización teórica y el despliegue práctico en sistemas seguros UAV-RIS. Mientras que los trabajos existentes a menudo tratan SWIPT, seguridad o despliegue de UAV de forma aislada o asumen modelos idealizados, este marco unifica estos elementos bajo restricciones realistas (CSI imperfecto, fases discretas). Al demostrar que un enfoque de DRL libre de modelos (SAC) puede superar a la optimización rigurosa basada en modelos (SCA) en entornos complejos, acoplados e inciertos, el artículo sugiere un cambio de paradigma hacia el control basado en aprendizaje para redes inalámbricas seguras de próxima generación. Los resultados indican que SAC es particularmente adecuado para manejar la no convexidad y la alta dimensionalidad inherentes a la asignación conjunta de recursos UAV-RIS, ofreciendo una solución escalable para futuras redes más allá de 5G.