RAVEN: Radar Adaptive Vision Encoders for Efficient Chirp-wise Object Detection and Segmentation

Probleemstelling

Millimeter-golfradars zijn essentieel voor de perceptie van autonome voertuigen vanwege hun robuustheid bij slecht weer en hun vermogen om snelheid direct te meten via het Doppler-effect. Echter, de toenemende vraag naar hogere ruimtelijke en Doppler-resolutie (bijv. 4D-imaging radars) leidt tot een explosieve groei in datavolume en rekenkracht.

Bestaande diepe leerpijplijnen voor radarperceptie volgen meestal een frame-gebaseerd paradigma:

1. Ze verzamelen alle ADC-steekproeven van een volledig radarframe.
2. Ze passen snelle Fourier-transformaties (FFT's) toe om hoge-resolutie Range-Angle-Doppler (RAD) tensoren te construeren.
3. Ze verwerken deze grote 3D-tensoren met zware convolutionele of transformer-architecturen.

De beperkingen hiervan zijn:

• Hoge latentie: Het model moet wachten tot het volledige frame is ontvangen voordat het een beslissing kan nemen.
• Rekenintensief: Het verwerken van grote 3D-featuresets is onhaalbaar voor ingebouwde (embedded) platforms.
• Verlies van structuur: Lichtgewicht sequentiële modellen die direct op ADC-signalen werken, comprimeren vaak te vroeg de ontvangerkanalen, waardoor de cruciale ruimtelijke informatie van het MIMO-antenne-array (Multiple Input Multiple Output) verloren gaat. Dit leidt tot slechtere hoekschatting en detectie.

Methodologie: RAVEN Architectuur

RAVEN introduceert een nieuwe deep-learning-architectuur die is ontworpen voor streaming ADC-gegevens met een focus op rekenefficiëntie zonder in te leveren op nauwkeurigheid. De architectuur bestaat uit vijf fasen en combineert fysica-gedreven ontwerp met State Space Models (SSM):

1. Parallelle RX-kanaal SSM-encoders (Fast-time):
   In plaats van kanalen direct te mengen, verwerkt RAVEN de I/Q-sequenties van elk ontvangerkanaal (RX) onafhankelijk met een klein State Space Model (geïmplementeerd als een Mamba-block). Dit behoudt de fase- en amplitude-informatie per antenne voor elke "chirp" (een frequentiegemoduleerde puls).

2. Cross-antenna Attention & Virtuele MIMO-expansie:
   Een lichtgewicht attention-module (de "Antenna Mixer") fuses de tokens van de verschillende RX-kanalen.

   • Het gebruikt leerbare "TX-queries" (transmitter-queries) om de RX-tokens te analyseren.
   • Dit module fungeert als een leerbare beamformer die de virtuele MIMO-structuur reconstrueert zonder dure FFT's of RAD-tensoren te hoeven bouwen.
   • Het lost het probleem op van Doppler-division multiplexing (DDM) door de bijdragen van verschillende zenders expliciet te scheiden.

3. Chirp-wise (Slow-time) SSM Backbone:
   Een tweede SSM verwerkt de reeks van chirps (slow-time). Omdat SSM's lineaire tijdcomplexiteit hebben en een interne staat bijhouden, kan het model online updates uitvoeren en "anytime" inferentie ondersteunen.

4. Spatiale Projectie:
   De sequentie-features worden gemapt naar een compacte $T \times H \times W$ grid (Bird's Eye View) geschikt voor 2D-decodering.

5. Lightweight Decoders:
   Ondiepe CNN-decoders genereren de uiteindelijke output: detectie-heatmaps (objecten) en segmentatiemaps (rijbare ruimte/freespace).

Sub-frame Beslissingsframework (Early Exit):
RAVEN maakt gebruik van het feit dat opeenvolgende chirps voornamelijk differentieel bewegingsinformatie (Doppler) toevoegen. Zodra de interne staat van het model gestabiliseerd is, leveren extra chirps afnemende meeropbrengst op.

• Training: Multi-prefix supervisie wordt gebruikt, waarbij het model wordt getraind om correcte voorspellingen te doen op basis van een subset van chirps.
• Inferentie: Een gekalibreerde stopregel (gebaseerd op de cosinus-afstand tussen nieuwe chirp-staten en eerdere staten) bepaalt wanneer de latentie gestabiliseerd is. Het model stopt dan met verwerken, wat de rekenlast en latentie drastisch verlaagt.

Belangrijkste Bijdragen

1. Fysica-geïnspireerde ruimtelijke mixing: Een cross-antenna attention-module die de latente TX-structuur (bij DDM) ontrafelt en virtuele MIMO-cues herstelt zonder volledige RAD-kubussen te reconstrueren.
2. Hybride ontwerp voor efficiëntie: De optimale plaatsing van de cross-attention-module tussen de kanaal-SSM's (voor fast-time compressie) en de frame-encoderende chirp-SSM. Dit biedt de beste balans tussen rekenkracht en ruimtelijk oplossend vermogen.
3. Sub-frame lage latentie detectie: Een chirp-wise SSM-backbone die online updates toelaat en gebruikmaakt van een gekalibreerde stopregel voor vroege beslissingen, wat de FLOPs en end-to-end latentie vermindert.

Resultaten

RAVEN is getest op twee grote datasets: RaDICaL en RADIal.

• Rekenefficiëntie:

  • RAVEN bereikt tot 170x lagere rekenkracht (GMACs) en 4x lagere end-to-end latentie vergeleken met conventionele frame-gebaseerde radarruggegronden.
  • Op de RaDICaL-dataset bereikt het een Dice-coëfficiënt van 0.997 met slechts 0.053 GMACs, vergeleken met 41.74 GMACs voor de state-of-the-art FFT-RadNet (een verschil van bijna 790x minder rekenkracht).
  • Op de RADIal-dataset bereikt het een mIoU van 0.90 en een F1-score van 0.93 met slechts 1.02 GMACs, wat vergelijkbaar is met of beter is dan veel zwaardere modellen (zoals TransRadar met 171.5 GMACs).

• Prestaties:

  • Het model behaalt state-of-the-art resultaten voor objectdetectie en segmentatie van vrije ruimte (freespace).
  • De "Early Exit" strategie maakt het mogelijk om beslissingen te nemen met slechts een subset van chirps (bijv. 32-64 van de 256 chirps) met minimale verlies aan nauwkeurigheid, maar met aanzienlijke snelheidswinst.

Betekenis

RAVEN is een doorbraak voor edge-deployable radarperceptie. Het bewijst dat het niet nodig is om zware, frame-gebaseerde verwerking te gebruiken om hoge nauwkeurigheid te bereiken. Door de fysica van FMCW-radar expliciet te modelleren binnen een efficiënte streaming-architectuur, kan RAVEN:

• Werken op resource-beperkte embedded platforms.
• Latentie verlagen door vroege beslissingen te nemen.
• De ruimtelijke resolutie behouden die nodig is voor nauwkeurige detectie, zelfs bij complexe MIMO-configuraties.

Dit opent de weg voor robuuste, energie-efficiënte en real-time perceptiesystemen voor autonome voertuigen, zelfs onder zware weersomstandigheden waar camera's en LiDAR falen.