RadarFuseNet: Complex-Valued Cross-Attention Fusion of Time-Frequency IQ Radar Features for Robust Classification

Probleemstelling

Millimetergolf (mmWave) radar is een krachtige sensor voor perceptietaken, vooral in omstandigheden waar visuele sensoren (camera's, LiDAR) falen, zoals bij mist, rook of verduistering. Hoewel diepe leermethodes vaak radardata omzetten naar beeldachtige representaties (zoals range-angle of range-Doppler-kaarten) of point clouds, gaat hierbij cruciale informatie verloren, met name de fase-informatie.

Bestaande methodes die direct werken met complexe In-Phase en Quadrature (IQ) signalen hebben nog ruimte voor verbetering, met name op twee gebieden:

1. Materiaalclassificatie: Prestaties dalen aanzienlijk bij meetafstanden die niet tijdens het trainen zijn gebruikt (slecht generalisatievermogen).
2. Classificatie van verduisterde objecten: Het is lastig om objecten achter verpakkingen of lichte materialen nauwkeurig te onderscheiden.

De uitdaging ligt in het effectief benutten van zowel het tijdsdomein (ruwe IQ-data) als het frequentiedomein (FFT-getransformeerde data) zonder de complexe aard van het signaal te verliezen, om zo robuustere kenmerken te extraheren.

Methodologie: RadarFuseNet

De auteurs stellen RadarFuseNet voor, een architectuur die gebruikmaakt van een bidirectionele cross-attention fusie van tijd- en frequentiedomein kenmerken.

1. Signaalvoorbereiding:

• De ruwe IQ-data van de radar (een 3D-datakubus van $20 \times 20 \times 100$ kanalen) wordt verwerkt.
• Er worden twee representaties gegenereerd:
  • Tijdsdomein ($x$): De ruwe IQ-data.
  • Frequentiedomein ($X$): De data na toepassing van een 3D-FFT, wat informatie over bereik, azimut- en elevatiehoeken levert.
• Beide signalen worden omgevormd tot 2D-vectoren voor input in de neurale netwerken.

2. Complex-waardige CNN's (Convolutional Neural Networks):

• Twee aparte netwerken extraheren kenmerken uit respectievelijk $x$ en $X$.
• Cruciaal is dat alle operaties (convolutie, pooling, batch normalisatie, ReLU) complex-waardig worden uitgevoerd. Dit behoudt de fase-informatie en behandelt het signaal als een intacte fasor in plaats van gescheiden reële en imaginaire componenten.
  • Complex Convolutie: $k \cdot x = (c \cdot a - d \cdot b) + j(c \cdot b + d \cdot a)$.
  • Complex ReLU: Alleen actief als zowel het reële als imaginaire deel $\geq 0$ zijn.

3. Cross-Attention Fusie:

• De complexe kenmerken uit beide takken worden omgezet naar reële waarden (door concatenatie van reële en imaginaire delen) om compatibel te zijn met standaard attention-mechanismen.
• Een bidirectionele cross-attention module wordt toegepast:
  • De IQ-kenmerken "kijken" naar de FFT-kenmerken ($\tilde{f}$ attendeert op $\tilde{F}$).
  • De FFT-kenmerken "kijken" naar de IQ-kenmerken ($\tilde{F}$ attendeert op $\tilde{f}$).
• Dit zorgt voor een rijke uitlijning van complementaire kenmerken uit beide domeinen. De output wordt geconcateneerd en door een volledig verbonden laag geleid voor classificatie.

Belangrijkste Bijdragen

1. Architectuurontwerp: Integratie van twee complex-waardige CNN's met een bidirectionele cross-attention fusie, specifiek ontworpen voor mmWave radar.
2. Complex-waardige Adaptatie: Een methode om complex-waardige kenmerken te converteren voor real-valued cross-attention zonder de relationele informatie tussen de signalen te verliezen.
3. Verbeterde Generalisatie: Demonstratie van superieure prestaties bij onbekende meetcondities (zoals nieuwe afstanden) en verduisterde objecten, wat de robuustheid van de benadering onderstreept.

Resultaten

De methode is getest op twee datasets: verduisterde objecten (10 klassen) en oppervlaktematerialen (5 klassen, o.a. beton, glas, metaal).

• Verduisterde Objecten Classificatie:

  • RadarFuseNet bereikte een nauwkeurigheid van 94,20%.
  • Dit is een verbetering ten opzichte van een enkelvoudige complex-waardige CNN (90,70%) en een ResNet-18 (93,36%).
  • Ablatiestudies tonen aan dat zowel het behoud van complex-waardige verwerking als het gebruik van cross-attention (in plaats van simpele MLP-fusie) essentieel zijn voor deze prestaties.

• Materiaalclassificatie:

  • Bekende afstanden: 99,92% nauwkeurigheid.
  • Onbekende afstanden (Generalisatie): 65,56% nauwkeurigheid.
  • RadarFuseNet presteerde beter dan alle vergelijkingsmodellen (inclusief ResNet-varianten en ablaties) bij het generaliseren naar nieuwe afstanden (60cm en 80cm), wat aantoont dat de fusiestrategie beter in staat is om afstandsinvariantie te leren.

Betekenis en Conclusie

RadarFuseNet bewijst dat het direct verwerken van complexe IQ-data, gecombineerd met tijd-frequentie fusie via attention-mechanismen, een significante stap voorwaarts is in radarperceptie.

• Robuustheid: De model is minder gevoelig voor veranderingen in de meetomgeving (zoals afstand tot het doel) dan bestaande methodes.
• Informatiebehoud: Door complex-waardige convoluties te gebruiken, wordt waardevolle fase-informatie behouden die vaak verloren gaat bij conversie naar beelden.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, wijzen de auteurs erop dat de huidige datasets relatief klein zijn. Toekomstig werk richt zich op het verzamelen van grotere, diversere datasets en het verder optimaliseren van het model voor nog complexere scenario's.

Kortom, deze studie biedt een krachtig kader voor het verbeteren van radargebaseerde classificatie in kritieke toepassingen zoals beveiliging, binnenlandse perceptie en autonome systemen.