Riepilogo Tecnico: mRadNet

Enunciato del Problema

I radar a onda continua modulata in frequenza (FMCW) sono sempre più vitali per i Sistemi Avanzati di Assistenza alla Guida (ADAS) grazie alla loro robustezza contro le condizioni meteorologiche avverse come pioggia, nebbia e neve. Tuttavia, l'elaborazione dei dati radar per la Rilevazione degli Oggetti (ROD) presenta sfide specifiche per i sistemi embedded in tempo reale. Sebbene le Reti Neurali Convoluzionali (CNN) estraggano efficacemente le caratteristiche locali dalle immagini a Radio Frequenza (RF) del radar, faticano a catturare le dipendenze globali a causa di campi ricettivi limitati, richiedendo spesso modelli grandi e computazionalmente costosi per ottenere prestazioni accettabili. Al contrario, i modelli basati su Transformer eccellono nella modellazione delle dipendenze globali ma soffrono di elevati costi computazionali dovuti ai meccanismi di auto-attenzione e spesso non riescono a catturare le caratteristiche locali con la stessa efficacia delle CNN senza estese modifiche architetturali. Inoltre, le soluzioni esistenti spesso trascurano i requisiti critici di compattezza ed efficienza del modello negli ambienti automobilistici embedded.

Metodologia

Gli autori propongono mRadNet, un nuovo modello compatto per la rilevazione di oggetti radar progettato con l'efficienza in mente. L'architettura integra i punti di forza delle Reti Neurali Convoluzionali e delle architetture MetaFormer all'interno di un framework in stile U-Net.

1. Architettura Complessiva

mRadNet adotta una struttura encoder-decoder in stile U-Net con connessioni residue per produrre rappresentazioni gerarchiche.

• Encoder: L'input è costituito da immagini RF complesse (portata-azimut) attraverso più frame e chirp. L'encoder elabora questi dati attraverso un "stem" che estrae caratteristiche temporali a breve termine, convertendo le immagini complesse in immagini reali 3D. Successivamente, utilizza una serie di blocchi MetaFormer e Transformer per l'estrazione gerarchica delle caratteristiche.
• Decoder: Il decoder rispecchia l'encoder, applicando blocchi Transformer e MetaFormer per raffinare le caratteristiche. Impiega connessioni residue per concatenare i token dell'encoder con i token del decoder, preservando i dettagli di basso livello.
• Output: La fase finale utilizza l'interpolazione lineare per un campionamento superiore fluido per generare mappe di confidenza, seguite da un livello convoluzionale per produrre mappe di confidenza specifiche per classe.

2. Componenti Architetturali Chiave

• Blocchi MetaFormer con Token Mixers: Invece di affidarsi esclusivamente all'auto-attenzione o alle convoluzioni standard, mRadNet impiega blocchi MetaFormer. Questi blocchi sostituiscono il modulo di auto-attenzione con Token Mixers.
  • Token Mixers Convoluzionali: Gli autori utilizzano Convoluzioni Separabili per Profondità (SepConv) come token mixers. Questo scompone la convoluzione standard in operazioni per profondità e puntuali, catturando efficacemente le caratteristiche locali mantenendo le capacità di miscelazione dei canali senza la ridondanza delle convoluzioni standard accoppiate a livelli lineari.
  • Token Mixers basati su Attenzione: Anche i meccanismi di attenzione sono integrati per catturare le dipendenze globali, permettendo al modello di bilanciare l'estrazione di caratteristiche locali e globali.
• Token Embedding: Un modulo specializzato TokenEmbed elabora i tensori in 6D di input (Batch $\times$ Tempo $\times$ Chirp $\times$ Altezza $\times$ Larghezza $\times$ Canali). Utilizza un livello convoluzionale per unire le dimensioni dei chirp (imitando il comportamento FFT con parametri apprendibili) e una convoluzione 3D per raggruppare i pixel spaziotemporali in token, creando un array di token consapevole della posizione.
• Token Merging: Per ridurre il costo computazionale e facilitare un'architettura più profonda, il modello impiega un modulo TokenMerging nell'encoder. A differenza del pooling standard, questo modulo utilizza un livello di Token Rearrange (simile all'inverso di PixelShuffle) per ristrutturare i vicinati spaziali $2 \times 2$ in singoli token. Questo riduce la risoluzione spaziale di un fattore 4 aumentando al contempo la dimensione del token, preservando la densità delle informazioni prima che un livello lineare riduca la dimensione a una dimensione gestibile. La dimensione temporale rimane intatta durante questo processo.

Contributi Chiave

1. Architettura Innovativa: La proposta di mRadNet, un'architettura in stile U-Net basata su MetaFormer specificamente adattata per i compiti di ROD. Sostituisce i backbones e le testate CNN tradizionali con blocchi MetaFormer contenenti livelli convoluzionali, creando un design coerente che cattura sia le caratteristiche locali che quelle globali.
2. Strategie di Token Efficienti: L'introduzione di strategie ottimizzate di token embedding e token merging. Queste strategie facilitano l'efficacia dei token mixers e migliorano la compattezza del modello, consentendo architetture più profonde con meno parametri.

Risultati Sperimentali

Il modello è stato validato sul dataset CRUW, un dataset su larga scala per la rilevazione di oggetti radar automobilistici.

• Prestazioni: mRadNet ha raggiunto prestazioni all'avanguardia (SOTA) con una Precisione Media Complessiva (AP) del 86,72% e un Ricordo Medio (AR) del 91,18%.
  • Ha superato il precedente modello SOTA (E-RODNet) del 1,26% in AP e del 1,99% in AR.
  • Ha dimostrato miglioramenti significativi nella rilevazione delle automobili, raggiungendo un aumento del 4%+ in AP rispetto ad altri metodi, attribuito a una modellazione temporale potenziata.
  • Sebbene E-RODNet avesse un leggero vantaggio in AP per pedoni e ciclisti (probabilmente dovuto a operazioni convoluzionali più estese per le caratteristiche locali), mRadNet ha raggiunto un AR superiore per queste classi.
• Efficienza: mRadNet ha raggiunto le migliori prestazioni con il minor numero di parametri e i FLOPs più bassi tra tutti i metodi confrontati (CNN, Transformer e MetaFormer).
  • Ha dimostrato il tempo di allenamento più breve e la latenza di inferenza più bassa tra i modelli basati su Transformer e MetaFormer.
  • Il documento nota che i modelli basati su MetaFormer tendono generalmente a essere più piccoli delle controparti CNN e Transformer pur raggiungendo prestazioni migliori.

Significato e Affermazioni

Il documento afferma che mRadNet affronta con successo il compromesso tra accuratezza di rilevazione ed efficienza computazionale nella rilevazione di oggetti radar. Sfruttando l'architettura MetaFormer, il modello stabilisce un limite inferiore solido delle prestazioni che consente ottimizzazioni aggressive del design (riduzione di dimensioni e costi) senza sacrificare l'accuratezza. L'integrazione di convoluzioni separabili e token mixers basati su attenzione all'interno di un framework U-Net si dimostra efficace per catturare le caratteristiche locali e globali necessarie da dati radar sparsi e rumorosi. Il lavoro dimostra che i MetaFormer possono superare sia le CNN che i Transformer nei compiti di ROD mantenendo un design compatto adatto ai sistemi embedded in tempo reale.