Benchmarking Wireless Representations: High-Dimensional vs. Compressed Embeddings for Efficiency and Robustness

Resumen Técnico: Evaluación Comparativa de Representaciones Inalámbricas

Enunciado del Problema
Los avances recientes en modelos fundamentales (MF) para comunicaciones inalámbricas, como el Modelo Inalámbrico Grande (LWM), han demostrado el potencial de las incrustaciones aprendidas de alta dimensión para servir como extractores de características universales. Estos modelos, preentrenados con datos sintéticos mediante modelado de canal enmascarado, buscan reducir la dependencia de conjuntos de datos etiquetados extensos y mejorar la robustez frente a datos fuera de distribución. Sin embargo, las compensaciones prácticas de desplegar estas incrustaciones de alta dimensión en sistemas del mundo real permanecen poco exploradas. Específicamente, existe una falta de análisis sistemático sobre la relación costo-beneficio de las representaciones aprendidas de alta dimensión en comparación con alternativas compactas de baja dimensión y líneas base de datos crudos. Las preocupaciones clave incluyen la sobrecarga computacional, la latencia de transmisión y la robustez al ruido asociadas con la expansión de la dimensionalidad del canal.

Metodología
Este trabajo establece una evaluación comparativa sistemática que compara tres tipos distintos de representaciones de canal inalámbrico en diversas tareas aguas abajo:

1. Incrustaciones Aprendidas de Alta Dimensión: Derivadas del LWM, una arquitectura basada en transformadores preentrenada sobre Información de Estado del Canal (CSI). Esto incluye tanto incrustaciones de "canal" detalladas (a nivel de parche) como una incrustación "CLS" global.
2. Representaciones Latentes Comprimidas: Generadas por autoencoders (AE) compactos entrenados para reconstruir CSI ruidoso. Se probaron dos ratios de compresión (1:16 y 1:32), produciendo vectores latentes de baja dimensión.
3. Línea Base de Datos Crudos: La matriz CSI compleja original, aplanada para su procesamiento.

La evaluación se realizó en tres tareas aguas abajo diseñadas para probar capacidades complementarias:

• Clasificación LoS/NLoS: Una tarea de clasificación binaria para evaluar la preservación de las características de propagación física.
• Selección de Haz: Una tarea de clasificación multiclase que evalúa la capacidad de capturar relaciones geométricas espaciales para la formación de haces.
• Asignación de Potencia: Una tarea de regresión novedosa en un entorno MIMO de múltiples usuarios (MU-MIMO), que busca maximizar la eficiencia espectral bajo restricciones de potencia. Esta tarea utilizó una estrategia de entrenamiento híbrida que involucra un calentamiento supervisado (usando etiquetas de Descenso de Gradiente Proyectado) seguido de aprendizaje no supervisado para maximizar la tasa suma.

El rendimiento se midió utilizando Eficiencia de Datos (rendimiento vs. tamaño de la muestra de entrenamiento), Robustez al Ruido (rendimiento vs. Relación Señal-Ruido) y Complejidad Computacional (parámetros, FLOPs y tiempo de inferencia).

Contribuciones Clave

• Evaluación Comparativa Sistemática: El artículo proporciona una comparación exhaustiva de las incrustaciones de modelos fundamentales frente a representaciones de autoencoder compactas y datos crudos, yendo más allá de evaluaciones de una sola tarea hacia un marco de múltiples tareas.
• Introducción de la Asignación de Potencia: Los autores introducen la asignación de potencia en un sistema MU-MIMO como una nueva tarea aguas abajo para evaluar representaciones en un contexto de gestión de recursos a nivel de sistema, una tarea que no se había utilizado previamente para evaluar estas representaciones específicas.
• Caracterización de la Sobrecarga de Recursos: El estudio cuantifica explícitamente la latencia, la cantidad de parámetros y los costos de transmisión asociados con las incrustaciones de alta dimensión, destacando las implicaciones prácticas de utilizar modelos fundamentales en sistemas inalámbricos.

Resultados Experimentales

• Eficiencia de Datos: En la tarea de clasificación LoS/NLoS, las incrustaciones de LWM de alta dimensión (específicamente las incrustaciones de canal) demostraron un rendimiento superior en regímenes de pocos ejemplos, saturándose antes que la línea base de CSI cruda. Sin embargo, con datos suficientes, todas las representaciones convergieron a niveles de rendimiento similares.
• Robustez al Ruido: Las representaciones comprimidas de autoencoder demostraron consistentemente una mayor robustez al ruido en comparación con las incrustaciones de LWM. En regímenes de baja SNR, las incrustaciones de LWM sufrieron una degradación del rendimiento más pronunciada, a menudo obteniendo un rendimiento inferior tanto al autoencoder como a la línea base cruda en tareas de selección de haz.
• Rendimiento Específico por Tarea:
  • Selección de Haz: Las representaciones aprendidas no ofrecieron ninguna ventaja clara sobre la línea base cruda o los autoencoders. La incrustación global CLS obtuvo un rendimiento peor que otras representaciones tanto en regímenes de baja como de alta cantidad de datos.
  • Asignación de Potencia: El enfoque basado en autoencoder mostró mayor eficiencia de datos y estabilidad en el entrenamiento, superando tanto a la línea base como al LWM mientras alcanzaba una eficiencia espectral casi óptima.
• Complejidad Computacional: El LWM incurrió en una sobrecarga significativa. A pesar de tener menos FLOPs para la generación de incrustaciones que algunos autoencoders, su arquitectura de transformador resultó en tiempos de inferencia más largos (aprox. 10.98 ms vs. 0.73 ms para los AE) y una huella de memoria más grande. Además, la alta dimensionalidad de las incrustaciones de LWM aumenta los requisitos de memoria para los modelos aguas abajo y el ancho de banda de transmisión.

Significado y Afirmaciones
El artículo concluye que, si bien las incrustaciones de alta dimensión de los modelos fundamentales ofrecen ventajas distintas en regímenes de pocos datos para tareas específicas como la clasificación LoS/NLoS, introducen una latencia sustancial y una sobrecarga de parámetros que pueden obstaculizar el despliegue práctico. En contraste, las representaciones latentes compactas aprendidas mediante autoencoders proporcionan una solución más equilibrada, demostrando una mayor robustez al ruido, un rendimiento estable en diversas tareas y una reducción significativa de los costos computacionales y de transmisión.

Los autores afirman que el diseño de la representación es central para determinar la eficiencia y la robustez de los sistemas inalámbricos basados en aprendizaje. Argumentan que la "riqueza" de las incrustaciones de alta dimensión debe sopesarse cuidadosamente frente a las restricciones de recursos de los despliegues del mundo real. Los hallazgos sugieren que para muchas aplicaciones prácticas, particularmente aquellas que requieren robustez al ruido y baja latencia, las representaciones basadas en autoencoders compactos pueden ser una alternativa más viable a los modelos fundamentales a gran escala.