Resumen Técnico: Solución de tres etapas basada en Aprendizaje Profundo para la optimización de Beamforming en ISAC

1. Declaración del Problema

El artículo aborda el desafío de optimizar el beamforming (conformación de haces) en un sistema de Integración de Sensores y Comunicaciones (ISAC) de Full-Duplex (FD). En este escenario, una Estación Base (BS) equipada con Arreglos Lineales Uniformes (ULA) se comunica simultáneamente con múltiples usuarios de una sola antena y realiza detección de radar en múltiples objetivos utilizando los mismos recursos de tiempo-frecuencia.

El objetivo central es maximizar la tasa de comunicación sumatoria de todos los usuarios cumpliendo con dos restricciones críticas:

1. Restricción de Potencia de Transmisión: El presupuesto total de potencia no debe exceder un límite máximo ($P_{max}$).
2. Restricción de Tasa de Detección (Sensing): Cada objetivo debe alcanzar una tasa de detección mínima ($\Gamma_{sen}^{req}$), que sirve como un indicador de la probabilidad de detección del objetivo.

Los autores identifican las limitaciones de los enfoques de Aprendizaje Profundo (DL) existentes para el beamforming. El mapeo directo de la Información de Estado del Canal (CSI) a los vectores de beamforming sufre de:

• Alta Dimensionalidad: El espacio de variables de optimización crece rápidamente con el número de antenas y usuarios, lo que aumenta la complejidad computacional y la dificultad de entrenamiento.
• Falta de Interpretabilidad: Optimizar directamente los vectores dificulta la comprensión o el control del comportamiento subyacente del beamforming (por ejemplo, la direccionalidad y los patrones de interferencia).
• Complejidad: Los métodos tradicionales de optimización convexa se vuelven computacionalmente prohibitivos en escenarios de alta dimensión y no convexos.

2. Metodología: El Marco de Trabajo de Tres Etapas

Para superar estas limitaciones, los autores proponen una solución de tres etapas que descompone el problema de optimización de beamforming en tres submódulos distintos. Este marco transforma el problema de una optimización directa de vectores a un proceso más estructurado que involucra la extracción de características, la optimización del patrón de haz (beampattern) y la reconstrucción de vectores.

Módulo 1: Extracción de Características de CSI basada en Aprendizaje No Supervisado

• Objetivo: Comprimir los datos de CSI de alta dimensión y variable en características latentes de tamaño fijo preservando la información esencial.
• Técnica: Se emplea un Autoencoder (AE).
  • Entrada: El conjunto de datos de CSI incluye canales de enlace descendente ($h_k$), canales de enlace ascendente ($g_{l,t}$), canales de radar ($g_{l,r}$) y canales de autointerferencia residual ($H_{SI}$). Estas matrices complejas se vectorizan y se separan en partes reales e imaginarias para formar un vector de entrada de valores reales.
  • Proceso: El codificador mapea el CSI de alta dimensión a un vector de características latentes de baja dimensión ($f$). El decodificador intenta reconstruir el CSI original a partir de $f$.
  • Entrenamiento: La red se entrena de forma no supervisada minimizando el Error Cuadrático Medio (MSE) entre el CSI original y el reconstruido.
  • Uso: Durante la fase de prueba/optimización, solo se utiliza el codificador para extraer características de las nuevas entradas de CSI.

Módulo 2: Optimización de Beampattern basada en Aprendizaje por Refuerzo (RL)

• Objetivo: Buscar el beampattern óptimo (distribución de potencia sobre ángulos) basado en las características extraídas, en lugar de buscar directamente los vectores de beamforming.
• Técnica: Se utiliza un algoritmo de Actor-Crítico de Ventaja (A2C).
  • Estado ($s_t$): Compuesto por las características de CSI extraídas ($f_t$) y la tasa de comunicación sumatoria del intervalo de tiempo anterior ($R_{com}^{t-1}$).
  • Acción ($a_t$): En lugar de producir vectores de beamforming complejos, el agente produce muestras de beampattern. El espacio de acciones consiste en $A$ valores de ganancia discretos muestreados a través del dominio angular (-90° a 90°) para tres beampatterns específicos:
    1. Beampattern de comunicación ($p_w$)
    2. Beampattern de detección/sensing ($p_v$)
    3. Beampattern de recepción ($p_u$)
  • Recompensa ($r$): Una función por partes que recompensa la suma de las tasas de comunicación si se cumplen tanto la restricción de comunicación como la de detección. Asigna 0 si se cumple la detección pero no la comunicación, y -1 si se viola cualquiera de las dos restricciones.
  • Ventaja: La optimización en el dominio del beampattern reduce el tamaño del espacio de acciones (fijo en $A$) independientemente del número de antenas o usuarios, mejorando la estabilidad del entrenamiento y la generalización.

Módulo la 3: Reconstrucción de Beamforming basada en Aprendizaje Supervisado

• Objetivo: Reconstruir los vectores de beamforming de transmisión y recepción reales a partir de los beampatterns optimizados generados por el agente de RL.
• Técnica: Una Red Neuronal Profunda (DNN) supervisada aproxima la función inversa $G^{-1}$.
  • Proceso: Dado que la inversa analítica del mapeo beampattern-a-vector es intratable (debido a la compleja superficie de respuesta), se entrena una DNN para aprender este mapeo.
  • Conjunto de Datos: Generado creando aleatoriamente vectores de beamforming, normalizándolos para cumplir con las restricciones de potencia, calculando sus beampatterns correspondientes y emparejándolos como (Entrada: Beampattern, Salida: Vector de Beamforming).
  • Uso: En la etapa de prueba, la red de reconstrucción preentrenada toma el beampattern de salida del agente de RL y genera instantáneamente los vectores de beamforming correspondientes para su implementación.

3. Contribuciones Clave

El artículo afirma las siguientes contribuciones:

1. Formulación del Problema: Se formula un problema de optimización conjunta para un sistema ISAC de full-duplex para maximizar la tasa de comunicación sumatoria bajo restricciones de tasa de detección y potencia. El problema se transforma de la optimización de vectores de beamforming a la optimización de beampattern mediante vectores de respuesta de arreglo.
2. Marco de Trabajo de Tres Etapas: El diseño de un nuevo marco que descompone el problema en:
   • Extracción de características de CSI no supervisada (usando AE).
   • Optimización de beampattern basada en RL (usando A2C).
   • Reconstrucción de beamforming supervisada (usando DNN).
3. Desempeño e Interpretabilidad: La solución propuesta mejora la generalización mediante la extracción de características, mejora la estabilidad del entrenamiento mediante la optimización en el dominio del beampattern y ofrece una mejor interpretabilidad en comparación con la optimización directa de vectores.

4. Resultados Numéricos

Las simulaciones se realizaron en un escenario con $N_t = N_r = 4$ antenas, $K=2$ usuarios y $L=1$ objetivo. Los resultados destacan:

• Tamaño de la Característica: Un tamaño de característica latente de 16 ofreció el mejor equilibrio entre compresión y desempeño. Los tamaños más pequeños (p. ej., 4) causaron pérdida de información, mientras que los más grandes (p. ej., 64) provocaron sobreajuste o una convergencia más lenta.
• Resolución del Beampattern: Un tamaño de muestra de 720 puntos proporcionó el mayor desempeño, aunque 360 ofreció un buen equilibrio entre la velocidad de convergencia y la recompensa.
• Estudio de Ablación:
  • Caso 0 (Línea Base): RL directo de CSI a vectores de beamforming. Convergió alrededor de 170 episodios con una recompensa de ~800.
  • Caso 1 (Solo Extracción de Características): Convergió más rápido (~130 episodios) con un desempeño comparable, demostrando la eficiencia de la compresión de características.
  • Caso 2 (Solo Optimización de Beampattern): Aprendió más lento pero eventualmente superó a la línea base (recompensa >850), validando que los beampatterns son más intuitivos para que los agentes de RL los optimicen.
  • Caso 3 (Tres Etapas Completas): Logró el mejor desempeño (recompensa >900), combinando la eficiencia de la extracción de características con los beneficios estructurales de la optimización de beampattern.

5. Significado y Afirmaciones

El artículo concluye que la solución de tres etapas propuesta supera a los algoritmos de RL de línea base que optimizan directamente los vectores de beamforming. El significado radica en el cambio de la optimización de vectores de alta dimensión y no interpretables hacia la optimización de beampatterns estructurados e intuitivos. Al desacoplar la optimización del beampattern de la generación de los vectores de beamforming, el marco logra:

• Reducción de Complejidad: Menor dimensionalidad en el espacio de acciones del RL.
• Mejor Estabilidad: Dinámicas de entrenamiento más estables.
• Interpretabilidad: La representación intermedia del beampattern permite una mejor comprensión del comportamiento de filtrado espacial del sistema.

Los autores afirman que este enfoque es particularmente ventajoso a medida que aumenta el número de antenas y usuarios, donde la optimización convexa tradicional se vuelve demasiado compleja y el mapeo directo de DL se vuelve difícil de entrenar e interpretar.