RadarFuseNet: Complex-Valued Cross-Attention Fusion of Time-Frequency IQ Radar Features for Robust Classification

1. Il Problema

I radar a onde millimetriche (mmWave) sono diventati una modalità di sensing cruciale per compiti di percezione avanzata, specialmente in scenari dove sensori ottici (telecamere, LiDAR) falliscono, come in presenza di ostacoli, nebbia, fumo o per la distinzione di materiali superficiali. Tuttavia, l'elaborazione dei dati radar presenta sfide significative:

• Perdita di informazione: Molti approcci attuali trasformano i segnali radar in rappresentazioni "simili a immagini" (mappe range-angle o range-Doppler) o nuvole di punti sparse, scartando informazioni critiche come la fase del segnale.
• Limitazioni dei dati IQ: Sebbene l'uso diretto del segnale complesso In-Phase/Quadrature (IQ) sia preferibile per preservare fase e ampiezza, le prestazioni attuali nella classificazione di oggetti occlusi e materiali superficiali lasciano spazio a miglioramenti, specialmente in termini di generalizzazione su distanze di misurazione non viste durante l'addestramento.
• Natura non lineare: I segnali radar mmWave hanno caratteristiche non lineari che rendono difficile l'estrazione di feature rilevanti con metodi tradizionali, richiedendo invece l'uso di Deep Learning.

2. Metodologia: RadarFuseNet

Gli autori propongono RadarFuseNet, una rete neurale che integra due stream di elaborazione complessa con un meccanismo di fusione basato sull'attenzione incrociata (cross-attention).

A. Preprocessing del Segnale

Il radar utilizza una configurazione di antenne L-shaped 20x20, fornendo un campione di 400 canali con 100 punti temporali.

• Input 1 (Dominio Temporale): Il segnale IQ grezzo ($s$) viene rielaborato in una rappresentazione 2D ($x$).
• Input 2 (Dominio Frequenziale): Viene applicata una FFT 3D al segnale grezzo per ottenere lo spettro di range, azimut ed elevazione ($S$), che viene anch'esso rielaborato in una rappresentazione 2D ($X$).
  Sebbene il contenuto informativo teorico sia identico, le due rappresentazioni offrono spazi di feature complementari.

B. Architettura del Modello

L'architettura si basa su due rami distinti di CNN a valori complessi (Complex-Valued CNNs):

1. Estrazione Feature: Due CNN separate elaborano $x$ (IQ) e $X$ (FFT). Tutte le operazioni (convoluzioni, pooling, normalizzazione batch, attivazione ReLU) avvengono nel dominio complesso per preservare l'intero fasore del segnale senza separare le parti reali e immaginarie.
   • Convoluzione Complessa: $k \cdot x = (c \cdot a - d \cdot b) + j(c \cdot b + d \cdot a)$.
   • ReLU Complessa: Restituisce il valore solo se sia la parte reale che quella immaginaria sono $\ge 0$.
2. Fusione tramite Cross-Attention Bidirezionale:
   • Le feature complesse estratte ($f$ e $F$) vengono convertite in vettori reali concatenando le parti reale e immaginaria ($\tilde{f}$ e $\tilde{F}$) per soddisfare i requisiti del modulo di attenzione.
   • Viene applicato un meccanismo di cross-attention bidirezionale: le feature IQ "prestano attenzione" alle feature FFT e viceversa. Questo permette di allineare e fondere le rappresentazioni complementari dei due domini.
   • L'output è la concatenazione delle due rappresentazioni fuse, passata a un layer fully connected per la classificazione.

3. Contributi Chiave

• Architettura Ibrida: Progettazione di un sistema che integra due CNN a valori complessi con un meccanismo di fusione bidirezionale cross-attention specifico per segnali radar.
• Adattamento dei Dati: Sviluppo di un metodo per adattare le rappresentazioni di feature complesse a un processo di cross-attention a valori reali, mantenendo la coerenza posizionale.
• Robustezza e Generalizzazione: Dimostrazione che la fusione di domini temporali e frequenziali migliora significativamente la capacità del modello di generalizzare su condizioni di misurazione variabili (es. distanze non viste in addestramento).

4. Risultati Sperimentali

Il modello è stato valutato su due dataset pubblici (raccolti con un radar Vayyar FMCW MIMO):

1. Classificazione di Oggetti Occlusi: 10 oggetti diversi all'interno di scatole di cartone.
2. Classificazione di Materiali Superficiali: 5 materiali diversi (cemento, muro, vetro, metallo, legno) a diverse distanze.

Prestazioni Principali:

• Oggetti Occlusi: RadarFuseNet ha raggiunto un'accuratezza del 94.20%, superando tutti i modelli di confronto (inclusi ResNet-18/34 e varianti ablate) e la CNN a singolo ramo complessa (90.70%).
• Materiali Superficiali (Distanze Note): Accuratezza del 99.92%.
• Materiali Superficiali (Distanze Non Viste - Generalizzazione): Accuratezza del 65.56%. Questo risultato è superiore rispetto alla CNN a singolo ramo (59.50%) e ad altre varianti, dimostrando una migliore capacità di adattamento a nuove condizioni geometriche.

Analisi delle Ablazioni:

• L'uso di CNN a valori reali invece che complessi ha portato a prestazioni inferiori, confermando l'importanza dell'elaborazione diretta del fasore complesso.
• La fusione tramite semplici layer MLP (senza attenzione) ha performato peggio, evidenziando il valore aggiunto del meccanismo di cross-attention.
• ResNet-34 ha mostrato una scarsa generalizzazione a causa dell'overfitting su dataset di dimensioni limitate, mentre ResNet-18 ha mostrato prestazioni migliori ma inferiori a RadarFuseNet.

5. Significato e Conclusione

Il lavoro di RadarFuseNet rappresenta un passo avanti significativo nell'elaborazione dei segnali radar mmWave.

• Innovazione: Sposta il focus dalla trasformazione del segnale in immagini alla fusione diretta di rappresentazioni temporali e frequenziali nel dominio complesso.
• Impatto: La strategia di fusione proposta non solo migliora l'accuratezza, ma aumenta la robustezza del sistema in scenari reali dove le distanze di misurazione possono variare dinamicamente.
• Limitazioni e Futuro: Il principale limite risiede nella dimensione relativamente piccola dei dataset disponibili. Il lavoro futuro si concentrerà sulla raccolta di dati più vasti e diversificati e sull'adattamento del modello per gestire volumi di dati più elevati, confermando il potenziale di RadarFuseNet come soluzione affidabile per la percezione robotica e l'automotive in condizioni avverse.