JEPA-MSAC: A Joint-Embedding Predictive Architecture for Multimodal Sensing-Assisted Communications

1. Il Problema

I futuri sistemi wireless (6G) richiedono rappresentazioni predittive e trasferibili in grado di supportare molteplici compiti del livello fisico (PHY) in ambienti dinamici. Tuttavia, le attuali soluzioni basate sull'apprendimento supervisionato presentano due limiti principali:

• Alto costo di adattamento: I modelli sono spesso progettati per un singolo compito specifico, rendendo difficile l'adattamento a nuovi scenari senza un riaddestramento completo.
• Modellazione limitata delle dinamiche: Le tecniche di fusione multimodale esistenti tendono a combinare input per ottimizzare un singolo obiettivo, fallendo nel catturare le dinamiche condivise della scena sottostante (es. movimento, geometria, ostruzioni) che evolvono nel tempo.
• Dipendenza dai dati grezzi: I metodi di ricostruzione dei dati grezzi (tipici dell'apprendimento auto-supervisionato classico) sono inefficienti per compiti PHY che dipendono più da informazioni geometriche e strutturali che dai dettagli di basso livello.

2. Metodologia: JEPA-MSAC

Gli autori propongono JEPA-MSAC (Joint-Embedding Predictive Architecture for Multimodal Sensing-Assisted Communications), un framework di apprendimento rappresentazionale predittivo auto-supervisionato. L'architettura si basa su tre pilastri fondamentali:

A. Pre-elaborazione e Tokenizzazione Multimodale

Il sistema integra dati eterogenei provenienti da sensori out-of-band (OOB) e misure in-band:

• Input: Immagini (Visione), Radar FMCW, LiDAR, GPS e misure RF (RSRP).
• Tokenizzazione: I dati grezzi vengono convertiti in un spazio di token unificato.
  • Visione: Estrazione di feature tramite EfficientNet.
  • Radar/LiDAR: Mappatura in mappe range-angle o profondità 2D, elaborate da CNN leggere.
  • GPS/RF: Proiezione in token di stato globali.
• Embedding Posizionale Fattorizzato: Per gestire la sequenza temporale, la modalità e la posizione spaziale, viene utilizzata un'encoding posizionale decomposta (temporale, modale e intra-frame) per preservare le relazioni semantiche complesse.

B. Pre-addestramento JEPA con Mascheramento Temporale a Blocchi

Invece di ricostruire i dati grezzi, il modello apprende uno stato latente predittivo:

• Architettura: Utilizza un encoder di contesto, un encoder target (aggiornato tramite Exponential Moving Average - EMA) e un predittore.
• Obiettivo: Dato un contesto visibile (storico), il modello deve predire la rappresentazione latente delle parti mascherate (future).
• Mascheramento Temporale a Blocchi: Vengono mascherati segmenti temporali contigui per ogni modalità. Questo costringe il modello a imparare le dinamiche temporali coerenti e le dipendenze cross-modali, evitando interpolazioni banali.
• Funzione di Loss: Minimizza la distanza tra la previsione latente e lo stato latente target (calcolato dall'encoder target su tutti i dati).

C. Adattamento Efficiente con Backbone Congelato

Dopo il pre-addestramento:

• Il backbone JEPA viene congelato e riutilizzato come generatore di feature future.
• Vengono addestrati solo testine (heads) leggere per i compiti a valle:
  1. Localizzazione: Previsione della traiettoria 2D futura (con correzione residua).
  2. Predizione del Beam: Selezione del miglior beamforming, utilizzando come input ausiliario la traiettoria prevista (design a cascata guidato dalla geometria).
  3. Predizione RSSI: Stima della potenza del segnale ricevuta.

3. Contributi Chiave

1. Stato Latente Predittivo Orientato alle Comunicazioni: Introduzione di un framework che apprende una rappresentazione latente condivisa delle dinamiche della scena, invece di fondere dati per compiti specifici o ricostruire input grezzi.
2. Efficienza Computazionale: L'uso di un backbone congelato e testine leggere riduce drasticamente il costo di adattamento per nuovi compiti PHY rispetto ai modelli end-to-end o supervisionati multi-task.
3. Design a Cascata Guidato dalla Geometria: Un meccanismo innovativo che inietta le coordinate previste dalla testina di localizzazione nelle testine di predizione del beam e dell'RSSI, migliorando la coerenza fisica delle previsioni.
4. Validazione Sperimentale Estesa: Dimostrazione che lo stato latente appreso supporta previsioni multi-task accurate con costi di adattamento minimi, superando le baselines tradizionali.

4. Risultati Sperimentali

Il modello è stato valutato sul dataset DeepSense 6G (Scenario 32, ambiente urbano V2I a 60 GHz).

• Localizzazione: JEPA-MSAC raggiunge errori di spostamento (ADE/FDE) inferiori rispetto a modelli AR, GRU, Transformer e Kalman Filter, mantenendo precisione al livello di centimetri anche su orizzonti temporali lunghi.
• Predizione del Beam:
  • Supera le baselines generiche e si avvicina alle prestazioni di modelli LLM specializzati (M2BeamLLM).
  • Punto di forza: Riduce significativamente la differenza di potenza RSRP ($\Delta P$) rispetto al beam ottimo. Anche quando non seleziona il beam esatto, sceglie beam vicini nello spazio, preservando la potenza del segnale meglio degli altri metodi.
• Predizione RSSI: Performance competitive e stabili, con errori RMSE/MAE minimi.
• Analisi dello Spazio Latente:
  • La qualità della rappresentazione (misurata tramite RankMe e LDA Rank) non è monotona rispetto alla dimensione dell'embedding; una dimensione intermedia (es. 128) offre il miglior compromesso.
  • Il mascheramento temporale a blocchi si è rivelato superiore al mascheramento casuale o a scacchiera per l'apprendimento di dinamiche predittive.
• Efficienza: Il modello proposto richiede meno parametri e FLOPS rispetto ai modelli supervisionati multi-task o ai decoder pesanti basati sulla ricostruzione, offrendo una latenza di inferenza inferiore.

5. Significato e Impatto

Questo lavoro segna un cambio di paradigma nella progettazione del livello fisico per le comunicazioni 6G:

• Dal "Task-Specific" al "World Model": Sposta l'attenzione dalla creazione di interfacce specifiche per ogni compito alla costruzione di un "modello del mondo" predittivo che comprende l'evoluzione temporale dell'ambiente.
• Scalabilità: La capacità di congelare il backbone e adattare solo testine leggere rende il sistema altamente scalabile per l'integrazione di nuovi compiti PHY senza riaddestramento massiccio.
• Robustezza Multimodale: Dimostra come la fusione di dati sensoriali eterogenei (visione, radar, LiDAR) in uno spazio latente unificato possa catturare dinamiche fisiche (come le ostruzioni) che i soli dati RF non riescono a modellare efficacemente.
• Futuro: Apre la strada a "Foundation Models" nativi per le comunicazioni wireless, capaci di supporto decisionale proattivo e ragionamento causale strutturato.