A Unified Adaptive Feature Composition Framework for Multi-Task Generalization in Wireless Foundation Models

Planteamiento del Problema

Los Modelos Fundacionales de Comunicaciones Inalámbricas (WFMs, por sus siglas en inglés) han demostrado potencial para aprender representaciones universales de canales, sin embargo, su adaptación a diversas tareas de seguimiento enfrenta cuellos de botella significativos bajo los paradigmas actuales. Los enfoques existentes generalmente se dividen en dos categorías, ambas con limitaciones:

1. Ajuste Fino Completo (Full Fine-tuning): Aunque es flexible, introduce una sobrecarga computacional y de almacenamiento sustancial, complicando el despliegue y mantenimiento para tareas heterogéneas.
2. Extracción de Características Congelada: Este paradigma depende típicamente de una única representación fija (usualmente la salida de la última capa). Sin embargo, esto crea un cuello de botella en el rendimiento porque las diferentes tareas inalámbricas requieren distintos niveles de abstracción. Por ejemplo, la estimación de canal requiere estructuras de tiempo-frecuencia y de trayectoria múltiple de grano fino (características de bajo nivel), mientras que la gestión de haces y la localización requieren patrones espaciales y geométricos globales (características de alto nivel).

El artículo argumenta que confiar únicamente en la última capa conduce al suavizado excesivo de características (feature over-smoothing), donde las representaciones profundas pierden los detalles de grano fino necesarios para tareas específicas. Además, las técnicas de fusión multicapa existentes de Procesamiento de Lenguaje Natural (NLP) y Visión Computacional suelen ser demasiado pesadas (introduciendo parámetros excesivos) o están estrechamente acopladas a una sola tarea, fallando en proporcionar una interfaz unificada y ligera para los WFMs.

Metodología

Para abordar estos problemas, los autores proponen un Marco de Composición de Características Adaptativo Unificado centrado en un módulo ligero llamado Adaptador de Enrutamiento para la Composición de Características (RAFC).

1. Concepto Central: Agregación Adaptativa Multinivel
En lugar de extraer solo la salida de la última capa, el marco trata los estados ocultos de diferentes profundidades del Transformer como un depósito reutilizable de características multinivel. El módulo RAFC agrega dinámicamente estas representaciones jerárquicas basándose en los requisitos específicos de la tarea de seguimiento.

2. Arquitectura RAFC
El módulo RAFC opera como un complemento (plug-in) agnóstico al modelo con tres pasos secuenciales:

• Descripción Compacta de Capas: Para evitar el costo computacional cuadrático de procesar secuencias de tokens completas, las secuencias de tokens de las capas seleccionadas se comprimen primero mediante un promedio por token (mean pooling). Esto genera descriptores de capa globales compactos.
• Asignación de Pesos Aprendibles: Estos descriptores se concatenan y se alimentan a un Perceptrón Multicapa (MLP) de cuello de botella ligero. El MLP proyecta las características hacia abajo, aplica una activación ReLU y las expande nuevamente para generar un conjunto de pesos de enrutamiento ($\alpha$). Una normalización softmax asegura que estos pesos sumen 1.
• Sumatoria Ponderada: Los tensores de características jerárquicas originales se fusionan mediante una sumatoria ponderada adaptativa a la muestra utilizando los pesos generados. Esto produce una representación compuesta $z^{(q)}$ que equilibra las estructuras locales y la semántica global.

3. Estrategia de Selección de Capas
El marco no utiliza todas las capas para evitar la redundancia y la sobrecarga. En su lugar, selecciona un conjunto representativo de capas $S = \{2, \lfloor N/2 \rfloor + 1, N\}$ para capturar características de bajo, medio y alto nivel.

• ¿Por qué la Capa 2? Los autores demuestran empíricamente que la Capa 1 es altamente sensible al ruido de observación (alta relación de perturbación). La Capa 2, sin embargo, suprime eficazmente el ruido de bajo nivel mientras retiene variaciones físicas de grano fino, convirtiéndose en la interfaz de bajo nivel óptima.
• ¿Por qué no todas las capas? El muestreo uniforme proporciona un equilibrio práctico entre la diversidad de la representación y la eficiencia de despliegue.

4. Paradigma de Entrenamiento
El backbone del WFM preentrenado permanece estrictamente congelado. Solo se optimizan los parámetros del módulo RAFC específico de la tarea y la cabeza de la tarea de seguimiento. Esto asegura que el marco introduzca parámetros adicionales insignificantes (aprox. 0.045M) preservando las ventajas de baja latencia del modelo fundacional.

Contribuciones Clave

• Marco Unificado: Un marco de composición de características agnóstico al modelo que cambia el paradigma de adaptación de la extracción de una sola capa a la agregación dinámica de múltiples capas, mitigando el problema del suavizado excesivo en los WFMs profundos.
• Diseño Ligero: El módulo RAFC está compuesto estrictamente por capas de compresión por token y MLPs pequeños, introduciendo una sobrecarga de computación y almacenamiento insignificante (<50K parámetros adicionales).
• Interpretabilidad: Los pesos de enrutamiento aprendidos proporcionan interpretabilidad física, revelando que las diferentes tareas priorizan inherentemente distintos niveles de representación física (por ejemplo, detalles de grano fino para reconstrucción frente a abstracciones globales para percepción espacial).

Resultados Experimentales

El marco fue evaluado en cuatro tareas de seguimiento representativas: Estimación de Canal, Predicción de Canal, Predicción de Haz y Localización Urbana, utilizando un WFM basado en Transformer preentrenado (8 capas, 6.62M de parámetros).

• Ganancias de Rendimiento:
  • Estimación de Canal: Redujo el Error Cuadrático Medio Normalizado (NMSE) en un 38% en comparación con la línea base de solo la última capa.
  • Predicción de Canal: Redujo el NMSE en un 80%.
  • Predicción de Haz: Logró un incremento del 3% en la precisión Top-1.
  • Localización Urbana: Redujo el error absoluto en un 34%.
• Eficiencia: El método añade solo ~0.7% al tamaño total de parámetros e incurre en un aumento de latencia insignificante (0.0002 ms a 0.0011 ms).
• Transferibilidad: El marco se aplicó con éxito a un backbone diferente, LWMv1.1, obteniendo ganancias de rendimiento consistentes, lo que demuestra su desacoplamiento de arquitecturas de modelos fundacionales específicas.
• Estudios de Ablación:
  • Seleccionar capas específicas (2, 5, 8) superó al uso de solo capas profundas, solo capas superficiales o todas las capas en términos de la relación rendimiento-sobrecarga.
  • Se encontró que el promedio por token (mean pooling) era la estrategia de agregación óptima, ofreciendo un rendimiento cercano al máximo con un mínimo de FLOPs en comparación con el enrutamiento basado en atención o de tokens completos.

Significancia y Reivindicaciones

El artículo afirma que el RAFC ofrece una interfaz de baja complejidad, escalable y explicable para adaptar los WFMs a diversos escenarios de seguimiento.

• Preferencias Específicas de la Tarea: El análisis de los pesos aprendidos revela que las tareas de reconstrucción de señal (estimación/predicción) exhiben una trayectoria de aprendizaje de "grueso a fino", dependiendo eventualmente de las características de bajo nivel para recuperar variaciones físicas de grano fino. En contraste, las tareas de percepción espacial (predicción de haz/localización) favorecen una abstracción equilibrada o de medio a alto nivel para capturar estructuras geométricas globales.
• Adaptabilidad Dinámica: El mecanismo de enrutamiento no es estático; se adapta a las condiciones de entrada. Por ejemplo, en escenarios de No-Línea-de-Vista (NLoS), el enrutador desplaza el peso hacia las capas más profundas para utilizar estructuras macroscópicas abstractas, mientras que las altas velocidades de la terminal activan un desplazamiento hacia las capas superficiales para capturar fluctuaciones de señal instantáneas.
• Despliegue Práctico: Al evitar la necesidad de un ajuste fino completo o mecanismos de atención cruzada pesados, el marco aborda los estrictos requisitos de ligereza y baja latencia de los sistemas inalámbricos, permitiendo el reúso eficiente de los WFMs preentrenados en tareas heterogéneas sin comprometer el rendimiento.