JEPA-MSAC: A Joint-Embedding Predictive Architecture for Multimodal Sensing-Assisted Communications

1. Problema e Motivação

Os sistemas de comunicação sem fio de próxima geração (6G) exigem representações preditivas e transferíveis que suportem múltiplas tarefas na camada física (PHY) em ambientes dinâmicos.

• Limitações Atuais: A maioria dos métodos existentes baseados em aprendizado supervisionado é projetada para uma única tarefa específica. Isso resulta em altos custos de adaptação quando novas tarefas surgem e falha em capturar a dinâmica compartilhada da cena por trás das observações.
• Desafio da Fusão Multimodal: Embora a comunicação assistida por sensoriamento (usando câmeras, radar, LiDAR, etc.) seja promissora, as abordagens atuais frequentemente combinam dados multimodais apenas para otimizar um objetivo específico, sem modelar explicitamente como o ambiente físico evolui ao longo do tempo.
• Necessidade: Há uma necessidade de um modelo que aprenda um "estado latente preditivo" da dinâmica do ambiente, permitindo inferir quantidades futuras (localização, feixe, potência do sinal) a partir da evolução do estado latente, em vez de apenas mapear observações diretas para rótulos.

2. Metodologia: JEPA-MSAC

O artigo propõe a JEPA-MSAC (Joint-Embedding Predictive Architecture for Multimodal Sensing-Assisted Communications), uma arquitetura de aprendizado de representação preditiva auto-supervisionada.

A. Arquitetura Geral

O framework segue um processo de duas etapas:

1. Pré-treinamento Auto-supervisionado: Um backbone compartilhado é pré-treinado para aprender um espaço latente preditivo a partir de dados multimodais brutos.
2. Adaptação Eficiente: O backbone é congelado e reutilizado como um gerador de características futuras, sobre o qual cabeças de tarefas leves (lightweight task heads) são treinadas para tarefas específicas.

B. Processamento de Dados e Tokenização

O sistema ingere dados multimodais sincronizados (Imagem, Radar, LiDAR, GPS e RF):

• Pré-processamento: As imagens são normalizadas; os dados de radar são convertidos em mapas de alcance-ângulo; os pontos LiDAR são projetados em imagens de profundidade 2D; e as coordenadas GPS são transformadas em um sistema de coordenadas cartesianas local.
• Tokenização: Diferentes modalidades são mapeadas para um espaço de tokens unificado de dimensão $D$.
  • Modalidades espaciais de alta dimensão (Visão, Radar, LiDAR) usam múltiplos tokens para preservar a estrutura.
  • Modalidades de estado de baixa dimensão (GPS, RF) usam um único token por quadro.
• Embedding Posicional Fatorado: Para lidar com a complexidade temporal e multimodal, o modelo utiliza embeddings posicionais decompostos: temporal ($E_t$), de modalidade ($E_m$) e intra-quadro ($E_p$).

C. Pré-treinamento com JEPA Temporal Bloqueado

O núcleo do método é o uso da arquitetura JEPA (Joint-Embedding Predictive Architecture) com mascaramento de blocos temporais:

• Objetivo: Em vez de reconstruir os sinais brutos (o que é computacionalmente caro e foca em detalhes de baixo nível), o modelo prevê o conteúdo latente de segmentos temporais mascarados com base no contexto visível.
• Mecanismo:
  • Um Encoder de Contexto processa os tokens visíveis.
  • Um Preditor tenta reconstruir os tokens mascarados no espaço latente.
  • Um Encoder Alvo (atualizado via Exponential Moving Average - EMA) gera os alvos latentes a partir dos dados completos.
• Vantagem: Isso força o modelo a aprender a dinâmica temporal coerente e as dependências cruzadas entre modalidades, capturando a evolução geométrica e de bloqueio do ambiente.

D. Cabeças de Tarefas Específicas (Fine-tuning Leve)

Após o pré-treinamento, o backbone é congelado. Três cabeças leves são treinadas sobre o estado latente preditivo ($S_{Pred}$):

1. Localização/Tracking: Prevê a trajetória futura 2D. Utiliza uma abordagem de "estimativa grosseira + resíduo" (extrapolação de velocidade constante ou MLP bootstrap) corrigida por uma rede residual.
2. Predição de Feixe (Beam Prediction): Prevê o índice do feixe ótimo. Utiliza uma cabeça de classificação que concatena o estado latente com a trajetória prevista (fusão guiada por geometria).
3. Predição de RSSI: Prevê a força do sinal recebida. Também usa uma abordagem de resíduo, prevendo o perfil de potência sobre o código de feixes e calculando a média.

3. Principais Contribuições

1. Estado Latente Preditivo Orientado à Comunicação: Introdução do JEPA-MSAC, que aprende uma representação latente compartilhada via JEPA com mascaramento temporal, focando na dinâmica da cena em vez de reconstrução de dados brutos.
2. Backbone Congelado e Cabeças Leves: Um framework de adaptação eficiente onde um único backbone pré-treinado suporta múltiplas tarefas (localização, feixe, RSSI) com cabeças de tarefas mínimas, reduzindo drasticamente o custo computacional de adaptação.
3. Cascata Guiada por Localização: Um design inovador onde as previsões de localização são injetadas como informação auxiliar nas cabeças de predição de feixe e RSSI, melhorando a precisão ao alinhar a geometria com a comunicação.
4. Validação Abrangente: Demonstração experimental de que o estado latente aprendido suporta previsões multi-tarefa precisas e estáveis com baixo custo de adaptação.

4. Resultados Experimentais

Os experimentos foram realizados no cenário DeepSense 6G (ambiente urbano, mmWave 60 GHz, V2I).

• Desempenho em Tarefas:
  • Localização: O JEPA-MSAC superou baselines (AR, GRU, Transformer, Kalman) em erro de deslocamento médio (ADE) e final (FDE), mantendo precisão em nível de centímetros mesmo em horizontes de previsão longos.
  • Predição de Feixe: Superou modelos genéricos e foi competitivo com modelos especializados (M2BeamLLM). Crucialmente, apresentou a menor diferença de potência RSRP ($\Delta P$), indicando que mesmo quando não escolhe o feixe perfeito, escolhe feixes adjacentes que mantêm a potência do sinal alta.
  • RSSI: Desempenho estável e competitivo, superando ou igualando baselines supervisionados.
• Qualidade do Espaço Latente: Métricas como Effective Rank e LDA Rank mostraram que uma dimensão de embedding intermediária (ex: 128) oferece o melhor equilíbrio entre riqueza do espaço latente e transferibilidade de tarefas.
• Estudos de Ablação:
  • O pré-treinamento não supervisionado superou significativamente o treinamento supervisionado direto (E2E) e modelos não treinados.
  • O mascaramento temporal (blocos contíguos) foi mais eficaz que mascaramento aleatório para aprender dinâmicas preditivas.
  • A fusão guiada por localização melhorou significativamente a predição de feixes.
• Eficiência: O modelo proposto é altamente eficiente em inferência (previsão em one-shot) e treinamento, evitando a complexidade de decodificadores pesados necessários para reconstrução de dados brutos.

5. Significado e Conclusão

O trabalho estabelece que a aprendizagem de estados latentes preditivos é uma abordagem unificada superior para tarefas de camada física assistidas por sensoriamento.

• Mudança de Paradigma: Move-se da reconstrução de dados brutos ou da fusão supervisionada para a modelagem da evolução dinâmica do mundo físico em um espaço latente.
• Escalabilidade: A abordagem permite que um único modelo base seja adaptado a múltiplas tarefas com custo computacional mínimo, essencial para sistemas 6G dinâmicos.
• Futuro: O trabalho abre caminho para "Modelos de Fundação de IA Física" (Physical AI Foundation Models) que não apenas preveem variáveis físicas, mas também suportam controle de comunicação proativo e raciocínio causal estruturado.

Em resumo, o JEPA-MSAC demonstra que aprender a dinâmica do ambiente através de uma representação latente preditiva é mais eficaz e eficiente do que tentar aprender tarefas específicas diretamente dos dados brutos ou usar modelos supervisionados isolados.