Attention-Enhanced Learning for Sensing-Assisted Long-Term Beam Tracking in mmWave Communications

Resumen Técnico: Aprendizaje Mejorado por Atención para el Seguimiento de Haz a Largo Plazo Asistido por Detección en Comunicaciones mmWave

Planteamiento del Problema
En las comunicaciones de ondas milimétricas (mmWave), el entrenamiento de haces incurre en un sobrecoste significativo en cuanto a señalización, latencia y consumo de energía debido a los canales altamente variables en el tiempo y la sensibilidad a los bloqueos y la movilidad. Las soluciones asistidas por detección (ISAC) han surgido como una solución utilizando modalidades como GNSS, LiDAR, radar y visión, pero los enfoques existentes enfrentan dos limitaciones primarias:

1. Complejidad: La fusión efectiva de características de múltiples modalidades de detección a menudo requiere modelos de aprendizaje automático (ML) de alta complejidad (por ejemplo, múltiples arquitecturas Transformer), lo que dificulta su implementación práctica.
2. Alcance Temporal: La mayoría de los trabajos existentes se centran en predecir solo el haz actual basándose en datos presentes o pasados. Esto requiere inferencias frecuentes en cada paso de tiempo, manteniendo un sobrecoste elevado. Si bien la predicción de haces a largo plazo (predecir múltiples ranuras futuras) puede mitigar esto, sigue siendo un área ampliamente inexplorada. Los métodos de predicción a largo plazo existentes suelen depender de LiDAR costosos o requieren modelos grandes para procesar imágenes sin procesar.

Metodología
Los autores proponen un marco de ML eficiente, de baja complejidad y mejorado por atención para el seguimiento de haces a largo plazo utilizando datos de visión. El sistema considera un escenario de enlace descendente (downlink) mmWave donde una Estación Base (BS) equipada con un Arreglo Lineal Uniforme (ULA) y una cámara RGB sirve a un Equipo de Usuario (UE) móvil.

• Formulación del Problema: El problema del seguimiento de haces se formula como una tarea de clasificación secuencia-a-secuencia. Dado un libro de códigos de formador de haces $\mathcal{V}$ predefinido, el objetivo es predecir los índices de los haces óptimos para el intervalo de tiempo actual $t$ y $J$ intervalos futuros ($t+1, \dots, t+J$) basados en una secuencia de imágenes RGB pasadas y actuales ($L$ pasos de tiempo). El objetivo es maximizar la eficiencia espectral (o la potencia de la señal recibida en escenarios de baja SNR) sin requerir Información de Estado del Canal (CSI).
• Arquitectura del Modelo: El modelo propuesto consta de tres componentes:
  1. Preprocesamiento de Imagen Eficiente y CNN: En lugar de utilizar redes preentrenadas pesadas como ResNet o redes de detección de objetos (por ejemplo, YOLOv4), los autores emplean una red Neuronal Convolucional (CNN) dedicada de cinco capas. Esta red utiliza módulos estándar de PyTorch (Conv2d, BatchNorm2d, ReLU, MaxPool2d) para extraer características espaciales compactas de la secuencia de imágenes de entrada. La interferencia del fondo se suprime mediante la sustracción de fotogramas adyacentes y máscaras de movimiento.
  2. Modelado Temporal (GRU): Los vectores de características extraídos se introducen en redes de Unidades Recurrentes de Compuerta (GRU). Las GRU capturan dependencias temporales paso a paso, actualizando los estados ocultos para producir un vector de contexto que resume la secuencia de entrada.
  3. Atención Temporal (MHA): Se integra un módulo de Atención Multicabezal (MHA) residual después de la GRU. Este mecanismo permite que el modelo atienda a todas las posiciones de la secuencia simultáneamente, capturando dependencias temporales globales que las GRU podrían omitir (las cuales se centran más en dependencias locales). Esto mejora la capacidad del modelo para predecir haces para intervalos de tiempo futuros distantes.
• Estrategia de Entrenamiento: El modelo se entrena utilizando una función de pérdida focal (focal loss) para abordar el desequilibrio de clases en la distribución de los índices de los haces (donde los haces óptimos están distribuidos de forma no uniforme). El entrenamiento minimiza la suma de las pérdidas focales sobre los $J+1$ intervalos de tiempo.

Contribuciones Clave

1. Marco de Predicción a Largo Plazo: El artículo introduce un marco de aprendizaje que resuelve directamente el problema del seguimiento de haces a largo plazo, prediciendo los haces óptimos para el intervalo actual y seis intervalos futuros simultáneamente, en lugar de descomponer el problema en predicciones de un solo paso.
2. Arquitectura de Baja Complejidad: Al reemplazar las redes preentrenadas pesadas con una CNN personalizada y ligera, e integrar GRUs con MHA, los autores logran un modelo con aproximadamente $1.8 \times 10^6$ parámetros entrenables.
3. Mecanismo de Atención para Dependencias Temporales: La integración del módulo MHA aborda específicamente la mejora de la precisión de la predicción para los intervalos de tiempo futuros, mitigando la degradación del rendimiento a medida que el horizonte de predicción se extiende.

Resultados Numéricos
El método propuesto fue evaluado utilizando el conjunto de datos DeepSense 6G (Escenario 9), con $L=8$ imágenes pasadas y $J=6$ intervalos futuros.

• Precisión: El modelo propuesto con MHA logró una precisión de predicción de haz Top-5 superior al 90% tanto para el intervalo actual como para los futuros. Específicamente, alcanzó un 93.35% de precisión Top-5 en comparación con el 92.31% sin MHA.
• Comparación con el Estado del Arte: El modelo alcanzó el 97% del rendimiento del esquema óptimo (y el esquema en [19]) en términos de Precisión Basada en Distancia Promedio (ADBA), pero con solo el 3% de la complejidad computacional (conteo de parámetros).
• Impacto de la Atención: El módulo MHA proporcionó mejoras significativas para los intervalos futuros distantes (por ejemplo, $t_5$). En comparación con la arquitectura sin MHA, el modelo mejorado por atención aumentó la precisión Top-1 en 6.34 puntos porcentuales y la precisión Top-3 en 6.59 puntos porcentuales en $t_5$.
• Eficiencia: El diseño reduce significativamente el sobrecoste asociado con la detección y el procesamiento para el entrenamiento de haces.

Significancia y Reivindicaciones
El artículo afirma que el diseño propuesto mejorado por atención ofrece una solución práctica para el seguimiento de haces a largo plazo en comunicaciones mmWave. Al aprovechar los datos de visión y un modelo de ML de baja complejidad, reduce significativamente la señalización, la latencia y el consumo de energía asociados con el entrenamiento frecuente de haces. Los autores aseguran que su diseño logra una precisión comparable a los métodos del estado del arte mientras reduce drásticamente los requisitos computacionales, lo que lo hace adecuado para la implementación práctica.

Los autores señalan modestamente que el diseño actual está limitado por las restricciones del conjunto de datos y los requisitos de baja complejidad, lo que puede afectar la generalización bajo cambios de dominio y la robustez en escenarios de múltiples usuarios. Estos aspectos se identifican como sujetos para estudios futuros en lugar de logros actuales.