Quantized IRS Phase Control under Limited Observation with Short-History State Stacking

Resumen Técnico: Control de Fase de IRS Cuantizado bajo Observación Limitada con Apilamiento de Historial Corto

Formulación del Problema
Este artículo aborda el control de Superficies Inteligentes Reflectantes (IRS) de resolución finita en entornos inalámbricos móviles donde el controlador opera bajo una observación limitada. En el escenario considerado, los usuarios se desplazan a lo largo de trayectorias planas, pero el controlador no tiene acceso a una descomposición instantánea completa de los canales directos y en cascada antes de cada actualización de fase. En su lugar, el controlador recibe un vector de observación compacto que comprende:

1. La geometría actual del usuario (posiciones).
2. El estado de actividad del usuario (máscara de usuarios activos).
3. La configuración de la IRS aplicada anteriormente.
4. Retroalimentación agregada del enlace (Eficiencia Espectral media, SINR media y magnitud efectiva del canal).

El desafío central es que una sola observación en el tiempo $t$ puede aliasear distintos estados temporales subyacentes (por ejemplo, diferentes direcciones de movimiento o condiciones de enlace en el futuro cercano). El artículo investiga si proporcionar explícitamente un apilamiento de estado de historial corto (una secuencia de observaciones recientes) para alimentar controladores de Aprendizaje por Refuerzo Profundo (DRL) de alimentación directa (feed-forward) puede mejorar el rendimiento en este entorno de observación parcial, sin alterar la arquitectura subyacente del controlador (como añadir capas recurrentes) o la interfaz de acción cuantizada.

Metodología
El estudio emplea un marco comparativo controlado que involucra seis métodos evaluados bajo un modelo de retroalimentación de síntesis de trayectoria determinista y una extensión estocástica auxiliar de canal Rician.

1. Modelo de Sistema: El entorno consiste en una Estación Base (BS) multi-antena, una IRS pasiva de resolución finita y usuarios móviles. El espacio de acción de la IRS es multi-discreto, donde cada uno de los $L$ elementos selecciona una fase de un alfabeto cuantizado de tamaño $M_\phi$.
2. Familias de Controladores: El estudio compara cuatro variantes de Redes Q-profundas (DQN) frente a dos líneas base no de aprendizaje:
   • Líneas Base: Aleatorio Fijo (no adaptativo) y un Heurístico Geométrico (construye las fases directamente desde la geometría actual de la trayectoria).
   • Controladores de Aprendizaje:
     • DDQN y D3QN: Redes Q-Doble y Doble Q-Networks Dueling estándar utilizando una observación de paso único ($H=1$).
     • SEQ-DDQN y SEQ-D3QN: Las mismas arquitecturas de red pero utilizando un apilamiento de estado de historial corto de $H=4$ observaciones consecutivas como entrada.
3. Representación de Entrada: Las variantes de entrada apilada reemplazan el vector de observación de paso único $s_t$ por un vector concatenado $\tilde{s}^{(H)}_t = [s_t; s_{t-1}; \dots; s_{t-H+1}]$. Esto aumenta la dimensión de entrada de forma lineal pero mantiene la estructura de red de alimentación directa.
4. Protocolo de Entrenamiento: Todos los controladores de aprendizaje comparten un protocolo de entrenamiento unificado que involucra la experiencia de repetición (experience replay), objetivos de doble Q y sincronización de red de objetivo (target network) rígida. La función de recompensa combina la eficiencia espectral (SE) con una penalización por el cambio de reconfiguración de fase.

Contribuciones Clave
El artículo realiza las siguientes contribuciones específicas:

• Formulación Basada en Trayectorias: Establece una formulación planar para el control de IRS de resolución finita con usuarios móviles, definiendo una interfaz de observación de controlador compacta que excluye la CSI instantánea pero incluye la geometría y la retroalimentación agregada.
• Aislamiento de los Efectos de la Entrada Temporal: Al instaurar el apilamiento de historial corto tanto en DDQN como en D3QN manteniendo fija la interfaz de acción y la familia de la red, el estudio aísla la ganancia de rendimiento atribuible únicamente a la representación de la entrada temporal explícita, distinta de los cambios arquitectónicos recurrentes o de atención.
• Comparación Controlada de Seis Métodos: Proporciona una comparación rigurosa entre controladores de valor no adaptativos, basados en geometría y basados en retroalimentación, distinguiendo las ganancias provenientes de la entrada temporal frente a las capacidades inherentes del aprendizaje de valor frente a la construcción geométrica.
• Caracterización de Compromisos (Trade-offs): El artículo analiza el equilibrio entre el lapso de observación, la eficiencia espectral, el comportamiento de la recompensa, la dimensión de entrada y los costos de almacenamiento de la memoria de repetición a través de diferentes longitudes de secuencia y perfiles de canal.

Resultos
En la configuración de referencia (4 usuarios, rejilla de IRS de 5x5, 4 niveles de fase):

• Ganancias de Rendimiento: El apilamiento de historial corto ($H=4$) mejoró la Eficiencia Espectral (SE) de la ventana de seguimiento aproximadamente un 6.9% para el par DDQN/SEQ-DDQN y un 1.7% para el par D3QN/SEQ-D3QN en comparación con sus contrapartes de paso único.
• Comparación con la Línea Base: El Heurístico Geométrico logró la SE final y de ventana de seguimiento más alta entre todos los métodos en el entorno determinista. Sin embargo, los controladores de aprendizaje lograron mayores recompensas regularizadas debido a menores penalizaciones por cambio de fase.
• Sensibilidad a la Longitud de la Secuencia: La relación entre la longitud del historial y el rendimiento fue no monótona. Si bien $H=4$ proporcionó ganancias, aumentar el historial a $H=8$ o $H=16$ no mejoró consistentemente la SE y aumentó la dimensión de entrada y los costos de almacenamiento de forma lineal.
• Robustez: En la extensión de canal Rician auxiliar (5 flujos de desvanecimiento distintos), ambas variantes de entrada apilada produjeron diferencias de SE positivas en cuatro de los cinco flujos, aunque la magnitud de la mejora varió según el número de usuarios y el tamaño de la IRS.

Significancia y Reivindicaciones
El artículo sostiene que el apilamiento de historial de estado corto sirve como una base compacta y efectiva para mejorar los controladores de DRL de alimentación directa en el control de IRS con observación limitada. Los resultados demuestran que:

1. El apilamiento explícito de observaciones recientes puede fortalecer la representación de la entrada temporal sin la complejidad de las redes neuronales recurrentes (RNN) o los mecanismos de atención.
2. El beneficio de rendimiento es medible pero dependiente de la configuración; no es una mejora universal en todos los conteos de usuarios, tamaños de IRS o longitudes de secuencia.
3. La configuración propuesta de $H=4$ representa un "punto de operación compacto" que equilibra las ganancias de rendimiento frente a los costos de dimensionalidad y almacenamiento.

Los autores enfatizan que el Heurístico Geométrico sirve como un referente estructurado y consciente de la posición en lugar de un límite superior teórico, y que las ganancias observadas resaltan el valor del contexto temporal en el control basado en retroalimentación cuando la CSI instantánea no está disponible. El trabajo futuro sugerido incluye aislar componentes específicos del historial y comparar el apilamiento explícito frente a codificadores temporales aprendidos bajo modelos de canal más ricos.