RAVEN: Radar Adaptive Vision Encoders for Efficient Chirp-wise Object Detection and Segmentation

1. Il Problema

I radar a onde continue modulata in frequenza (FMCW) sono fondamentali per la percezione dei veicoli autonomi grazie alla loro robustezza in condizioni meteorologiche avverse e alla capacità di misurare direttamente la velocità relativa (effetto Doppler). Tuttavia, i moderni radar 4D ad alta risoluzione generano volumi di dati enormi, rendendo difficile l'elaborazione su piattaforme embedded con risorse limitate.

Le pipeline di deep learning esistenti per il radar seguono principalmente un paradigma basato su frame:

1. Raccolgono tutti i campioni ADC di un intero frame radar.
2. Applicano trasformate di Fourier veloci (FFT) multiple per costruire tensori ad alta risoluzione (Range-Angolo-Doppler o RAD).
3. Elaborano questi tensori 3D densi con backbone convoluzionali o transformer.

Limiti attuali:

• Alta latenza: L'elaborazione richiede l'intero frame, impedendo decisioni in tempo reale prima della fine del ciclo di scansione.
• Costo computazionale elevato: La costruzione e l'elaborazione di tensori 3D densi richiedono molte operazioni (FLOPs) e memoria.
• Perdita di informazioni spaziali: I modelli sequenziali leggeri esistenti tendono a mescolare i canali dei ricevitori (RX) troppo presto, perdendo le informazioni di localizzazione spaziale fornite dall'array MIMO (Multiple-Input Multiple-Output) e degradando l'accuratezza nella stima dell'angolo.

2. Metodologia: Architettura RAVEN

RAVEN è un'architettura di deep learning progettata per elaborare i dati radar grezzi (ADC) in modo streaming (chirp-by-chirp), mantenendo l'efficienza computazionale senza sacrificare la precisione spaziale.

L'architettura si basa su cinque fasi principali:

A. Encoder SSM per Canale RX Indipendente (Fast-Time)

Invece di mescolare i canali all'ingresso, RAVEN elabora ogni canale del ricevitore (RX) in modo indipendente utilizzando piccoli State Space Models (SSM), specificamente blocchi Mamba.

• Obiettivo: Preservare la struttura di fase e ampiezza specifica di ogni antenna.
• Risultato: Ogni sequenza di campioni veloci (fast-time) per antenna viene compressa in un token compatto che mantiene le informazioni geometriche essenziali.

B. Mixer di Attenzione Cross-Antenna (Virtual MIMO)

Dopo l'encoding indipendente, un modulo di attenzione cross-antenna fonde le informazioni tra i canali RX.

• Meccanismo: Utilizza query apprendibili per i trasmettitori (TX) per interrogare i token RX. Questo modulo agisce come un "beamformer apprendibile" che ricostruisce le caratteristiche dell'array virtuale MIMO.
• Vantaggio: Permette di separare le strutture latenti dei trasmettitori (specialmente in sistemi DDM - Doppler Division Multiplexing) e recuperare le informazioni angolari senza dover costruire tensori RAD completi tramite FFT.

C. Backbone SSM Chirp-by-Chirp (Slow-Time)

I token compressi per ogni chirp vengono elaborati da un secondo SSM che opera lungo la dimensione temporale (slow-time).

• Funzionalità: Questo strato mantiene uno stato nascosto che si aggiorna online man mano che arrivano i nuovi chirp, permettendo all'architettura di funzionare in modalità streaming.

D. Proiezione Spaziale e Decoder Leggeri

Le caratteristiche temporali vengono proiettate su una griglia spaziale (Bird's Eye View - BEV) e decodificate da decoder CNN leggeri per:

• Rilevamento oggetti: Heatmap di classificazione e regressioni delle bounding box.
• Segmentazione: Mappatura delle aree percorribili (free-space).

E. Decisione Precoce (Early-Exit)

RAVEN sfrutta il fatto che l'informazione utile per la rilevazione si satura dopo un certo numero di chirp.

• Strategia di training: Supervisione multi-prefisso (multi-prefix supervision), dove il modello viene addestrato a produrre output corretti anche usando solo un sottoinsieme dei chirp.
• Regola di arresto: Durante l'inferenza, il sistema monitora la stabilità dello stato latente. Se la distanza coseno tra lo stato del nuovo chirp e quelli precedenti scende sotto una soglia calibrata, l'elaborazione si ferma. Questo riduce drasticamente il numero di chirp processati per frame.

3. Contributi Chiave

1. Mixer Spaziale Ispirato alla Fisica per ADC in Streaming: Un modulo di attenzione che separa le strutture dei trasmettitori (DDM) e ricostruisce le informazioni MIMO virtuali direttamente dai segnali ADC, senza tensori RAD completi.
2. Design Ibrido Ottimizzato: La collocazione strategica del modulo di attenzione dopo gli encoder SSM per canale e prima del backbone SSM temporale. Questo bilancia l'efficienza computazionale con la capacità di risoluzione spaziale.
3. Rilevamento a Sottosotto-frame a Bassa Latenza: Un backbone SSM che supporta decisioni in tempo reale basate su un numero variabile di chirp, riducendo i FLOPs e la latenza end-to-end.

4. Risultati Sperimentali

Il modello è stato valutato sui dataset RaDICaL e RADIal, confrontandosi con lo stato dell'arte (CNN, Transformer, modelli sequenziali).

• Efficienza Computazionale:
  • Su RaDICaL, RAVEN raggiunge un coefficiente Dice di 0.997 con soli 0.053 GMACs, offrendo una riduzione del calcolo di circa 790x rispetto a FFT-RadNet (41.74 GMACs) con una qualità della maschera quasi identica.
  • Su RADIal, ottiene un mIoU di 0.90 e un mAP di 0.95 utilizzando solo 1.02 GMACs, circa 170 volte meno di modelli basati su Transformer come TransRadar.
• Latenza:
  • La strategia di uscita precoce riduce la latenza end-to-end di 4x rispetto ai backbone basati su frame completi.
  • L'uso di chirp ridotti (32-64 invece di 256) porta a un aumento di FPS superiore a 2x con una perdita di accuratezza minima.
• Accuratezza:
  • Raggiunge prestazioni allo stato dell'arte (SOTA) sia per la segmentazione delle aree percorribili che per la rilevazione di veicoli, mantenendo errori di distanza e azimut molto bassi.

5. Significato e Impatto

RAVEN rappresenta un passo significativo verso l'implementazione di sistemi di percezione radar ad alta risoluzione su dispositivi edge (a bordo veicolo).

• Superamento dei limiti hardware: Dimostra che è possibile ottenere prestazioni di livello superiore senza la necessità di tensori 3D densi e costosi, rendendo fattibile l'uso di radar 4D su piattaforme con vincoli energetici e di memoria.
• Efficienza adattiva: La capacità di adattare dinamicamente il numero di chirp elaborati in base alla complessità della scena e alla stabilità della previsione introduce un nuovo paradigma di "percezione adattiva" nel settore automotive.
• Integrazione Fisica-ML: L'architettura dimostra come l'integrazione diretta delle conoscenze sulla fisica del radar (array virtuale, fase relativa) nei blocchi di deep learning (SSM + Attenzione) porti a modelli più robusti ed efficienti rispetto all'approccio "black-box" puro.

In sintesi, RAVEN offre un backbone di percezione radar pratico, efficiente e adattivo, capace di bilanciare accuratezza e consumo computazionale per la guida autonoma di prossima generazione.