JEPA-MSAC: A Joint-Embedding Predictive Architecture for Multimodal Sensing-Assisted Communications

Resumen Técnico: JEPA-MSAC

1. Planteamiento del Problema

Los sistemas inalámbricos futuros (6G) requieren representaciones predictivas y transferibles que puedan soportar múltiples tareas de la capa física (PHY) en entornos dinámicos. Sin embargo, los enfoques actuales presentan limitaciones significativas:

• Alto costo de adaptación: La mayoría de los métodos basados en aprendizaje supervisado están diseñados para una sola tarea específica, lo que obliga a entrenar modelos separados para cada objetivo (localización, predicción de haces, etc.), incrementando la complejidad computacional.
• Falta de modelado dinámico: Las técnicas de fusión multimodal existentes suelen combinar datos para optimizar una tarea individual, fallando en capturar la dinámica compartida de la escena subyacente.
• Limitaciones de los modelos grandes (LAMs): Aunque los modelos grandes mejoran la generalización, a menudo no modelan explícitamente cómo evoluciona el entorno físico a lo largo del tiempo, basándose más en la adaptación de tareas que en la predicción de estados latentes.

El desafío central es desarrollar un marco unificado que aprenda un estado latente predictivo de la dinámica del entorno (movimiento, geometría, obstrucciones) utilizando datos multimodales (sensores y comunicaciones) para inferir futuras variables de comunicación con bajo costo de adaptación.

2. Metodología Propuesta: JEPA-MSAC

Los autores proponen JEPA-MSAC (Joint-Embedding Predictive Architecture for Multimodal Sensing-Assisted Communications), un marco de aprendizaje de representaciones predictivas multimodales auto-supervisado.

Arquitectura y Flujo de Trabajo:

1. Preprocesamiento y Tokenización Multimodal:

   • Se integran datos de sensores fuera de banda (OOB) y mediciones de radiofrecuencia (RF) dentro de banda.
   • Entradas: Imágenes (cámara), Radar (FMCW), LiDAR (nube de puntos 3D), GPS y escaneos de potencia de señal (RSRP).
   • Se aplican preprocesamientos específicos (proyección de profundidad para LiDAR, mapeo rango-ángulo para Radar, proyección equirectangular para GPS) y se convierten en "tokens" mediante tokenizadores específicos (CNNs para imágenes/radar/LiDAR, proyecciones lineales para GPS/RF).
   • Todos los tokens se mapean a un espacio de incrustación unificado de dimensión $D$.

2. Codificación Posicional Factorizada:

   • Para manejar la naturaleza compleja de la secuencia (múltiples modalidades, pasos de tiempo y parches espaciales), se utiliza un esquema de codificación posicional descompuesto en: temporal ($E_t$), de modalidad ($E_m$) e intra-frame ($E_p$).

3. Pre-entrenamiento con JEPA (Temporal Block-Masked):

   • Se utiliza una arquitectura de Joint-Embedding Predictive Architecture (JEPA). A diferencia de los métodos de reconstrucción de datos brutos, JEPA predice el contenido latente faltante.
   • Máscara Temporal por Bloques: Se seleccionan segmentos temporales contiguos de cada modalidad y se enmascaran. El modelo debe predecir la representación latente de estas partes ocultas basándose en el contexto visible.
   • Componentes: Un codificador de contexto (online), un codificador objetivo (actualizado por media móvil exponencial - EMA) y un predictor.
   • Objetivo: Minimizar la pérdida entre la predicción latente y la representación latente objetivo, fomentando el aprendizaje de la dinámica temporal y las dependencias cruzadas entre modalidades.

4. Adaptación Eficiente (Backbone Congelado):

   • Tras el pre-entrenamiento, el backbone (transformador) se congela.
   • Se entrenan cabezas de tarea ligeras (MLPs, GRUs) sobre el estado latente predictivo generado para tres tareas PHY:
     • Localización: Predicción de la trayectoria futura 2D. Utiliza una estimación gruesa (velocidad constante o MLP) más una corrección residual.
     • Predicción de Haces (Beam Prediction): Clasificación del mejor haz futuro. Se utiliza una fusión en cascada donde la posición predicha por la cabeza de localización se inyecta como información auxiliar para mejorar la precisión.
     • Predicción de RSSI: Predicción de la intensidad de la señal recibida. Se modela como una regresión del perfil de potencia por haz.

3. Contribuciones Clave

• Estado Latente Predictivo Orientado a Comunicaciones: Introducción de un marco que aprende una representación latente compartida y predictiva de la dinámica de la escena, en lugar de reconstruir datos brutos o fusionar para una sola tarea.
• Arquitectura de Backbone Congelado y Cabezas Eficientes: Un diseño donde un solo backbone pre-entrenado se reutiliza para múltiples tareas PHY, reduciendo drásticamente el costo computacional y de adaptación en comparación con modelos específicos por tarea.
• Diseño en Cascada Guiado por Geometría: Una innovación donde las predicciones de localización se utilizan como entrada auxiliar para las cabezas de predicción de haces y RSSI, mejorando la precisión al explotar la relación física entre la posición del usuario y la calidad del enlace.
• Validación Exhaustiva: Demostración de que el estado latente aprendido soporta predicciones multi-tarea precisas y estables, con estudios de ablación que revelan el comportamiento de escalado y el impacto de configuraciones de pre-entrenamiento (como la tasa de enmascaramiento).

4. Resultados Experimentales

Los experimentos se realizaron utilizando el conjunto de datos DeepSense 6G (escenario urbano V2I con mmWave).

• Rendimiento en Tareas:
  • Localización: JEPA-MSAC superó a los baselines (AR, GRU, Transformer, Kalman) manteniendo una precisión a nivel de centímetros y un crecimiento de error más lento a medida que aumenta el horizonte de predicción.
  • Predicción de Haces: Logró la mayor precisión Top-1 y Top-3 entre los modelos genéricos y superó a modelos especializados como M2BeamLLM en términos de pérdida de potencia (L1-RSRP difference). El modelo tiende a seleccionar haces cercanos al óptimo incluso si falla en el exacto, minimizando la pérdida de potencia.
  • Predicción de RSSI: Mostró un rendimiento competitivo y estable, superando o igualando a los métodos baselines.
• Calidad del Espacio Latente:
  • Las métricas de calidad de representación (RRankMe y RLDA) mostraron que una dimensión de incrustación intermedia ($D=128$) ofrece el mejor equilibrio entre calidad del espacio latente y transferibilidad a tareas.
• Comparación de Paradigmas:
  • JEPA-MSAC superó al aprendizaje supervisado multi-tarea y al aprendizaje auto-supervisado basado en reconstrucción. La ventaja principal se atribuye a la capacidad de aprender la dinámica temporal predictiva en lugar de simplemente reconstruir señales o optimizar tareas de forma aislada.
• Eficiencia:
  • El enfoque propuesto es significativamente más eficiente en inferencia (predicción en un solo paso) y en entrenamiento (sin decodificadores pesados) en comparación con los baselines de reconstrucción y los modelos LLM grandes.

5. Significado e Impacto

Este trabajo representa un avance hacia la creación de modelos fundacionales nativos para redes inalámbricas.

• Unificación: Demuestra que es posible aprender una representación unificada de la dinámica del entorno físico que sirva como base para diversas tareas de comunicación, eliminando la necesidad de arquitecturas aisladas.
• Escalabilidad: La estrategia de "backbone congelado + cabezas ligeras" permite adaptar el sistema a nuevas tareas o entornos con un costo de entrenamiento mínimo.
• Futuro: Abre la puerta a la implementación de "Mundos Físicos" (World Models) en comunicaciones, donde el sistema no solo reacciona al canal, sino que predice su evolución basada en la geometría y el movimiento, habilitando control de comunicación proactivo y decisiones más inteligentes en redes 6G.

En conclusión, JEPA-MSAC valida que el aprendizaje de estados latentes predictivos es un enfoque superior para la integración de sensores y comunicaciones, ofreciendo robustez, eficiencia y alta precisión en entornos dinámicos complejos.