RL based Beamforming Optimization for 3D Pinching Antenna assisted ISAC Systems

Resumen Técnico: Optimización de Beamforming basada en RL para Sistemas ISAC asistidos por Antenas de Pinzamiento 3D

Planteamiento del Problema
Los sistemas de Integración de Sensores y Comunicaciones (ISAC, por sus siglas en inglés) buscan unificar el uso del espectro y del hardware para mejorar la eficiencia espectral y la conciencia situacional. Si bien las antenas de pinzamiento (PAs) —antenas de fuga de bajo costo y basadas en guías de onda dieléctricas reconfigurables— ofrecen un potencial significativo para ISAC debido a su movilidad y capacidad para formar haces de línea de vista (LoS) bajo demanda, la investigación existente ha limitado mayoritariamente el despliegue de las PA a configuraciones 1D (guía de onda única) o 2D (guías de onda paralelas en un plano). Estos esquemas de menor dimensionalidad limitan la cobertura angular y la diversidad de elevación, restringiendo la capacidad del sistema para dar servicio de manera efectiva a usuarios y objetivos elevados o en el aire.

Además, la optimización de un sistema ISAC asistido por PA en 3D presenta un desafío complejo. El problema implica la optimización conjunta de variables continuas: posicionamiento de la antena en 3D, asignación de tiempo de Acceso Múltiple por División de Tiempo (TDMA) y distribución de potencia de transmisión. Esto crea un problema de optimización de alta dimensión, no convexo y no lineal (debido a las expresiones de SNR fraccionales y términos de fase exponenciales), que es difícil de resolver mediante la optimización convencional diseñada a mano o métodos estándar de Aprendizaje por Refuerzo (RL).

Metodología
Para abordar estos desafíos, los autores proponen un nuevo marco que combina un esquema de despliegue 3D con un algoritmo de Aprendizaje por Refuerzo basado en Redes Neuronales de Grafos Heterogéneos (HGRL).

1. Modelo del Sistema: Los autores modelan un sistema ISAC de enlace descendente donde una Estación Base (BS) utiliza tres guías de onda ortogonales (alineadas con los ejes x, y, z) equipadas con antenas de pinzamiento. El sistema da servicio a $K$ usuarios y detecta $L$ objetivos ubicados en el plano $x-y$. El objetivo de optimización es maximizar la tasa de comunicación sumatoria sujeta a restricciones en las tasas de detección de sensores (SNR), el presupuesto total de energía y el espaciamiento mínimo de las antenas.
2. Formulación del MDP: El problema de optimización se formula como un Proceso de Decisión de Markov (MDP).
   • Espacio de Estados: Representa la topología del sistema como un grafo heterogéneo variante en el tiempo que contiene nodos para antenas, usuarios y objetivos, junto con aristas que representan las relaciones de comunicación, detección e interferencia.
   • Espacio de Acciones: Un vector continuo que comprende desplazamientos de la antena, pesos de TDMA y asignación de potencia.
   • Función de Recompensa: Diseñada para maximizar la tasa de comunicación sumatoria mientras se penalizan las violaciones de los umbrales de SNR de detección y las restricciones físicas (por ejemplo, el espaciamiento de las antenas).
3. Algoritmo HGRL: El núcleo de la solución es un marco HGRL que utiliza el algoritmo de Actor-Crítico de Ventaja (A2C).
   • Representación de Grafo Heterogéneo: A diferencia de los enfoques de grafos homogéneos, el método propuesto codifica explícitamente tipos de nodos distintos (antena, usuario, objetivo) y tipos de relación distintos (comunica, detecta, interferencia) utilizando un codificador de GNN Heterogénea (HGNN). Esto permite un modelado preciso de las interacciones específicas de ISAC.
   • Redes de Política y de Valor: Las incrustaciones (embeddings) del grafo codificado se introducen en una red de actor (para la selección de acciones) y una red de crítico (para la estimación de valor) para aprender conjuntamente la política óptima para el beamforming y la asignación de recursos.

Contribuciones Clave

• Esquema de Despliegue 3D: El artículo propone y analiza una configuración de antena de pinzamiento 3D utilizando tres guías de onda ortogonales. Esto extiende los estudios de ISAC más allá de los diseños 1D/2D, ofreciendo direccionamiento de haz en todo el espacio y grados de libertad espaciales adicionales para desacoplar los haces de comunicación y detección.
• Marco HGRL: Los autores desarrollan el primer marco de RL basado en GNN heterogéneas específicamente para ISAC asistido por antenas de pinzamiento 3D. Este enfoque permite una optimización escalable sobre estados estructurados en grafos y espacios de acción continuos mixtos, abordando las limitaciones del RL convencional al manejar relaciones topológicas complejas.
• Formulación de Optimización Conjunta: El estudio formula un problema de optimización conjunta integral para el posicionamiento de la antena, la asignación de tiempo y el control de potencia, capturando un control de recursos de grano fino bajo restricciones realistas.

Resultados de la Simulación
Se realizaron experimentos numéricos en un entorno simulado con 6 usuarios y 1 objetivo, comparando estrategias de despliegue 1D, 2D y 3D bajo diferentes restricciones de potencia ($p=0.1$W y $p=0.02$W).

• Rendimiento del Algoritmo: El algoritmo HGRL propuesto demostró un rendimiento superior en comparación con las líneas base (A2C estándar, GRL homogéneo y configuración aleatoria). Aunque el HGRL exhibió una convergencia ligeramente más lenta debido a su razonamiento jerárquico complejo, alcanzó la recompensa final y la estabilidad más altas, validando la efectividad del modelado relacional heterogéneo.
• Comparación de Despliegue: El despliegue 3D superó consistentemente a sus contrapartes 1D y 2D en términos de tasa de comunicación sumatoria.
  • Bajo alta potencia ($0.1$W), el despliegue 3D logró una tasa promedio de 7.13 bps/Hz, en comparación con 6.37 bps/Hz (2D) y 6.21 bps/Hz (1D).
  • Bajo restricciones de potencia estrictas ($0.02$W), la ventaja del despliegue 3D se hizo más pronunciada. El esquema 3D logró 4.70 bps/Hz, mientras que 1D y 2D lograron 3.80 y 4.50 bps/Hz, respectivamente.
• Eficiencia de Recursos: Los resultados indican que el despliegue 3D permite que el sistema opere más cerca del umbral de restricción de SNR de detección (por ejemplo, 5.41 dB frente a los 5 dB requeridos), reduciendo así el consumo innecesario de energía para la detección y reasignando más potencia a la comunicación. En contraste, los despliegues 1D y 2D resultaron en SNRs de detección significativamente más altas, lo que indica un uso ineficiente de la potencia que limitó el rendimiento de la comunicación.

Significancia
El artículo afirma que la configuración de antena de pinzamiento 3D propuesta, optimizada mediante HGRL, ofrece un equilibrio superior entre el rendimiento de detección y comunicación, particularmente en escenarios limitados por potencia. Al aprovechar la diversidad espacial de las guías de onda triaxiales, el sistema logra un direccionamiento de haz flexible y una separación de haces eficiente. El estudio concluye que la estructura 3D maximiza las tasas de comunicación mientras mantiene las capacidades de detección cerca del umbral requerido, destacando su potencial para aplicaciones ISAC de próxima generación con recursos limitados.