Transformer Architecture with Minimal Inference Latency for Multi-Modal Wireless Networks

1. Il Problema

Le reti wireless di prossima generazione (es. 6G) richiedono l'elaborazione di dati multimodali (come immagini, LiDAR, radar, GPS e RSSI) per eseguire compiti critici come la previsione di beamforming e la gestione degli ostacoli (blockage prediction) in ambienti dinamici. Sebbene i transformer multimodali siano strumenti potenti per queste attività, soffrono di due limitazioni principali che ne impediscono l'uso in scenari real-time:

• Alta latenza di inferenza e grandi footprint di memoria: L'elaborazione di grandi sequenze di token derivanti da molteplici modalità sensoriali genera un carico computazionale eccessivo.
• Complessità quadratica: Il meccanismo di attenzione (self-attention) nei transformer ha una complessità che cresce quadraticamente ($O(N^2)$) rispetto al numero di token $N$. In ambienti con veicoli in movimento, questa latenza può rendere le previsioni obsolete prima ancora che vengano eseguite (es. un ostacolo blocca il collegamento prima che il sistema possa reagire).

Le soluzioni esistenti si concentrano spesso sulla rimozione di token da una singola modalità (es. solo immagini) o utilizzano approcci euristici che non ottimizzano congiuntamente le prestazioni del task e il numero di token, fallendo nel gestire le correlazioni inter-modalità.

2. Metodologia Proposta

Gli autori propongono un nuovo framework di inferenza per transformer multimodali progettato per elaborare solo i token "importanti", riducendo drasticamente la complessità computazionale mantenendo l'accuratezza. Il framework si basa su tre componenti chiave:

A. Tokenizzazione Multimodale Unificata

Per gestire dati eterogenei (immagini, nuvole di punti, radar, GPS, RSSI), vengono progettati tokenizzatori leggeri specifici per ciascuna modalità:

• Immagini e LiDAR: Utilizzano piccoli modelli CNN (basati su blocchi ResNet) per estrarre caratteristiche semantiche e proiettarle in uno spazio di embedding comune.
• Radar: I dati FMCW vengono campionati e proiettati in token.
• GPS e RSSI: Vengono proiettati direttamente in token tramite layer lineari.
  Tutti i token vengono concatenati in una singola sequenza $X$ nello stesso spazio di embedding, riducendo il "gap" tra le modalità.

B. Instradamento a Livello di Token (Token Router)

All'interno di ogni blocco del transformer, viene introdotto un router di token leggero (composto da due layer lineari con attivazione GELU).

• Il router valuta l'importanza di ogni token basandosi sul suo embedding.
• Vengono selezionati solo i Top-K token più importanti per l'elaborazione all'interno del blocco di attenzione.
• I token non selezionati bypassano completamente il blocco di trasformazione (self-attention e MLP), riducendo la complessità da $O(N^2)$ a $O(K^2)$.

C. Ottimizzazione End-to-End del "Keep Ratio"

Per determinare dinamicamente quanti token elaborare ($K$) senza ricorrere a regole fisse, viene introdotto un parametro "keep ratio" ($r_l$) trainabile per ogni layer $l$.

• Poiché l'operazione Top-K non è differenziabile, gli autori utilizzano una tecnica di rilassamento: il parametro $r_l$ viene arrotondato ai due interi più vicini ($K_{up}$ e $K_{down}$).
• Vengono eseguiti due passi in avanti (forward pass) con questi due valori e le uscite vengono combinate linearmente in base alla distanza dal parametro $r_l$. Questo crea un percorso di gradiente differenziabile per ottimizzare $r_l$ insieme ai pesi del modello.
• Viene aggiunta una funzione di perdita (MSE) per vincolare la media dei keep ratio a un target computazionale ($\gamma'$), che rappresenta il budget di FLOPs o la latenza massima ammissibile (es. tempo di coerenza del beam).

3. Contributi Chiave

1. Framework di Ottimizzazione Congiunta: È il primo lavoro che ottimizza congiuntamente le prestazioni della rete wireless e il numero di token del transformer sotto un vincolo di budget computazionale in scenari multimodali.
2. Architettura Multimodale Efficiente: Introduce un approccio che gestisce nativamente l'eterogeneità dei dati (visione, radar, ecc.) proiettandoli in uno spazio comune e selezionando i token rilevanti attraverso le modalità.
3. Meccanismo di Routing Differenziabile: Propone un metodo per apprendere dinamicamente il numero di token da processare per ogni layer, superando le limitazioni delle strategie euristiche o statiche.
4. Validazione su Dati Reali: Oltre ai dataset pubblici, gli autori hanno sviluppato e utilizzato un dataset reale di handover multimodale raccolto in un testbed universitario, dimostrando la fattibilità del sistema in scenari reali.

4. Risultati Sperimentali

Il framework è stato valutato su due dataset pubblici per il beamforming mmWave (DeepSense 6G e CARLA-MATLAB) e su un dataset reale per l'handover proattivo.

• Riduzione della Latenza e Risorse:
  • Sul dataset DeepSense 6G, con un target di elaborazione del 30% dei token ($\gamma'=30\%$), il framework riduce la latenza di inferenza dell'86.2%, l'uso di memoria GPU del 35% e i FLOPs dell'80% rispetto a un baseline che elabora tutti i token, con una perdita di accuratezza trascurabile (0.12%).
  • Sul dataset reale di handover, il metodo riduce la latenza dell'83.2% rispetto al baseline, permettendo di completare l'inferenza entro la finestra temporale di 300 ms.
• Prestazioni in Scenari Dinamici:
  • Nel testbed reale, il baseline (che ha alta latenza) esegue l'handover dopo che il collegamento è stato bloccato, causando un degrado del segnale (RSSI) del 70%.
  • Il modello proposto, grazie alla bassa latenza, riesce a iniziare l'handover in modo proattivo prima del blocco, evitando quasi completamente la perdita di segnale.
• Analisi di Ablazione: Gli esperimenti confermano che sia i tokenizzatori multimodali che il router di token e l'ottimizzazione del keep ratio sono essenziali per le prestazioni; la rimozione di uno di questi componenti degrada significativamente l'accuratezza.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'implementazione pratica dell'intelligenza artificiale nelle reti wireless 6G. Dimostra che è possibile bilanciare l'accuratezza predittiva con i vincoli di tempo reale, rendendo fattibile l'uso di transformer complessi su dispositivi edge con risorse limitate. La capacità di prendere decisioni proattive (come l'handover prima del blocco del segnale) è cruciale per garantire connettività affidabile e ad alta velocità in ambienti mobili ad alta densità. Il framework proposto offre una soluzione scalabile che può essere adattata a diverse risorse hardware semplicemente regolando il target computazionale $\gamma'$.