Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning

Sintesi Tecnica: Risoluzione dell'Associazione Multi-Target in ISAC basato su OFDM tramite Apprendimento Multi-Modale assistito dalla Visione

Problematica
I sistemi di Integrazione tra Sensing e Comunicazione (ISAC) basati su Orthogonal Frequency Division Multiplexing (OFDM) stimano tipicamente i parametri dei target identificando i picchi in una Mappa Ritardo-Doppler (DDM) costruita a partire dai segnali pilota riflessi. In scenari con più target, questo approccio affronta due limitazioni fondamentali:

1. Ambiguità dell'Associazione dei Dati: La DDM non rivela intrinsecamente quale target fisico corrisponda a un determinato picco, rendendo difficile associare le stime di ritardo-Doppler a oggetti specifici.
2. Limiti di Risoluzione: Quando più target risiedono all'interno della stessa cella di risoluzione ritardo-Doppler, i metodi convenzionali basati esclusivamente sul wireless non riescono a distinguerli.
   Gli studi ISAC esistenti si affidano principalmente a segnali wireless, il che li rende sensibili agli ambienti di propagazione (ad esempio, fading multi-path, mancanza di Line-of-Sight). Sebbene alcuni lavori utilizzino informazioni visive fuori banda per la previsione del blocco o l'allineamento del fascio, nessun lavoro precedente ha risolto congiuntamente i limiti di associazione multi-target e di risoluzione dell'ISAC utilizzando dati visivi.

Metodologia
Gli autori propongono un framework OFDM-ISAC assistito dalla visione che fonde le modalità wireless e visive all'interno di un'architettura di deep learning unificata. Il sistema opera come segue:

1. Modello di Sistema: Il trasmettitore è dotato di una telecamera di bordo che cattura immagini di viste stradali. Queste immagini vengono codificate utilizzando il Deep Joint Source-Channel Coding (DeepJSCC) e trasmesse attraverso la stessa forma d'onda OFDM utilizzata per il sensing. Il ricevitore ricostruisce l'immagine, esegue il rilevamento degli oggetti e processa i segnali OFDM riflessi per generare una DDM.
2. DeepJSCC per la Trasmissione delle Immagini: Per garantire la robustezza contro i degradamenti del canale, il sistema utilizza un encoder/decoder DeepJSCC ridisegnato. L'encoder utilizza strati convoluzionali, batch normalization, attivazioni ReLU e blocchi residui per estrarre vettori di caratteristiche compatti. Il decoder specchia questa struttura utilizzando convoluzioni trasposte per ricostruire l'immagine.
3. Estrazione delle Caratteristiche Visive: L'immagine ricostruita viene elaborata da un rilevatore YOLOv5 perfezionato. Questo modulo estrae caratteristiche semantiche, specificamente le coordinate dei bounding box (normalizzate alle dimensioni dell'immagine) e le etichette delle classi di veicoli (berlina, SUV, camion).
4. Estrazione delle Caratteristiche Wireless: Il ricevitore stima la risposta in frequenza del canale tramite Least Squares (LS) sui simboli pilota, predice i coefficienti del canale per i simboli dei dati tramite estrapolazione lineare e rimuove la componente del link diretto. Una 2D Inverse Discrete Fourier Transform (IDFT) seguita da una Discrete Fourier Transform (DFT) genera la DM, catturando gli shift di ritardo e Doppler.
5. Rete di Fusione Multi-Modale: Una rete neurale profonda (DNN) fonde input eterogenei:
   • Embedding del Tipo di Veicolo: Categorie di veicoli codificate tramite one-hot encoding e mappate tramite strati fully connected (FC).
   • Embedding del Bounding Box: Coordinate dei pixel mappate in rappresentazioni fisiche tramite strati FC.
   • Estrazione delle Caratteristiche DDM: Una rete basata su CNN denominata DDMNet, dotata di blocchi Squeeze-and-Excitation (SE), estrae le caratteristiche dalla DDM.
   • Informazioni Prior: Le posizioni del trasmettitore e del ricevitore sono incorporate per assistere la stima geometrica.
     Questi embedding vengono concatenati e processati attraverso una rete di fusione per stimare congiuntamente la posizione 3D del target, il ritardo di propagazione e la frequenza Doppler.
6. Design della Funzione di Perdita: Per affrontare l'instabilità dell'addestramento di classificatori ad alta dimensionalità per ritardo e Doppler, gli autori introducono una perdita di divergenza di Kullback–Leibler (KL) rispetto a etichette soft triangolari. Invece di etichette ground-truth one-hot, le etichette soft distribuiscono la massa di probabilità sul bin ground-truth e sui suoi vicini, stabilizzando l'addestramento.

Contributi Chiave

• Framework ISAC Assistito dalla Visione: Il documento propone una nuova architettura che integra la trasmissione di immagini basata su DeepJSCC, il rilevamento YOLOv5 e l'estrazione di caratteristiche DDM. Questa fusione risolve l'ambiguità dell'associazione multi-target e supera l'incapacità di distinguere target vicini intrinseca nell'ISAC a singola modalità.
• Embedding di Caratteristiche Multi-Modali: Il design di una DNN che integra ed embed efficacemente le caratteristiche visive (bounding box, categorie), i priori geometrici e le caratteristiche wireless DDM per produrre stime precise di parametri multipli.
• Nuova Funzione di Perdita: L'adozione della perdita KL con etichette soft triangolari per stabilizzare l'addestramento dei classificatori di ritardo e Doppler ad alta dimensionalità, mitigando i problemi associati ai grandi spazi di output.
• Piattaforma di Valutazione Realistica: La costruzione di un generatore di scene stradali basato su Blender che produce tuple di immagini, CSI (Channel State Information) e stati target ground-truth per una valutazione end-to-end.

Risultati
Il framework è stato valutato su un dataset sintetico di 2.500 immagini di viste stradali (risoluzione 1920×1080) con diversi tipi di veicoli e velocità (5–30 m/s) a una frequenza portante di 28 GHz.

• Metriche di Performance: Il sistema proposto ha raggiunto un errore quadratico medio (RMSE) di 16 cm per la localizzazione, 10,8 ns per il ritardo e 5,5 m/s per la velocità.
• Studio di Ablazione: Rimuovere la modalità visiva (specificamente l'informazione del bounding box) ha causato un fallimento catastrofico nella stima dei parametri, con l'RMSE di localizzazione che è degradato da 0,16 m a 10,69 m (un degrado di circa 60 volte). Rimuovere la DDM ha aumentato significativamente l'RMSE della velocità a 18,30 m/s, mentre rimuovere le informazioni prior ha degradato la localizzazione a 0,54 m.
• Sensibilità dei Parametri: Aumentare il numero di piloti OFDM ha migliorato la risoluzione Doppler (riducendo l'RMSE della velocità) ma ha aumentato la dimensione dell'output, riducendo leggermente l'accuratezza della classificazione. Aumentare le sottoportanti ha migliorato la risoluzione del ritardo (riducendo l'RMSE del ritardo) ma ha similmente aumentato la difficoltà di classificazione.

Significatività
Il documento afferma che il framework di apprendimento multi-modale assistito dalla visione proposto supera efficacemente i due limiti fondamentali dell'ISAC convenzionale: l'ambiguità dell'associazione dei dati e i vincoli di risoluzione negli scenari multi-target. Fondendo informazioni semantiche visive con caratteristiche fisiche del livello wireless, il sistema raggiunge una stima dei parametri ad alta precisione dove gli approcci a singola modalità falliscono. Gli autori evidenziano come la visione fornisca una soluzione pratica per mitigare i limiti di associazione dati e di risoluzione dell'ISAC a singola modalità, con lavori futi pianificati per estendere il framework a scenari notturni utilizzando la visione a luce debole o a infrarossi.