DRIFT: Dual-Representation Inter-Fusion Transformer for Automated Driving Perception with 4D Radar Point Clouds

Het artikel introduceert DRIFT, een transformer-model dat door middel van een dubbel-pad architectuur lokale en globale context uit 4D-radar-puntenwolkdata fuseert om de prestaties bij objectdetectie en vrije-rijbaan-schatting voor autonoom rijden aanzienlijk te verbeteren.

De kern

🚗 De "Twee-Ogen" Methode voor Autonomisch Rijden

Stel je voor dat een zelfrijdende auto probeert te zien wat er om hem heen gebeurt. Normaal gesproken gebruiken ze dure laserscanners (LiDAR) of camera's. Maar laserscanners zijn duur en camera's worden blind bij regen of mist.

Daarom willen veel bedrijven overstappen op radar. Radar is goedkoop, werkt perfect in slecht weer en geeft zelfs snelheidsinformatie. Er is echter één groot nadeel: radarbeelden zijn erg "ruisig" en heel erg leeg.

De Vergelijking:

• Een LiDAR-beeld is als een foto gemaakt met een hoge-resolutie camera: je ziet elke steen op de weg en elk detail van een voetganger.
• Een radar-beeld is als een foto gemaakt met een oude, korrelige faxmachine. Je ziet misschien een paar stippen waar een auto zou moeten zijn, maar de rest is zwart. Soms zie je zelfs maar één stipje waar een voetganger loopt. Als je alleen naar dat ene stipje kijkt, weet je niet of het een voetganger, een vogel of een stukje vuil is.

🧠 Het Probleem: "Kijk niet alleen naar je neus"

Omdat radarbeelden zo leeg zijn, werkt de oude manier van kijken niet meer.

• De oude manier: Kijk alleen naar de stipjes die direct naast elkaar liggen (lokale informatie). Bij radar is dat vaak niet genoeg. Je mist de context.
• De nieuwe manier: Je moet ook kijken naar het hele plaatje (globale informatie). Waar staat de auto ten opzichte van de weg? Is er een rijbaan?

🚀 De Oplossing: DRIFT (De Twee-Ogen-Strategie)

De onderzoekers van de TU Delft hebben een nieuw systeem bedacht dat ze DRIFT noemen. Ze gebruiken een slimme truc: ze laten de auto niet met één, maar met twee verschillende "ogen" tegelijk kijken.

Stel je voor dat DRIFT twee detectives zijn die samenwerken:

1. Detective "Punt" (De Detail-Expert):

   • Deze kijkt naar de individuele stipjes (de punten).
   • Hij is goed in het zien van kleine details: "Hey, dit stipje beweegt snel!" of "Dit stipje heeft een bepaalde vorm."
   • Zwakte: Hij ziet het grote plaatje niet. Hij denkt misschien dat een losse stip een voetganger is, terwijl het alleen maar een reflectie van een bord is.

2. Detective "Pijler" (De Context-Expert):

   • Deze kijkt naar het hele beeld in grote blokken (zoals een raster of "pillaren").
   • Hij is goed in het zien van de omgeving: "Ah, hier is een rijbaan, en daar staat een groepje stippen die samen een auto vormen."
   • Zwakte: Hij mist de fijne details. Hij ziet misschien wel dat er iets is, maar weet niet precies wat het is.

🤝 De Magische Koppel: "Feature Sharing"

In oudere systemen werkten deze twee detectives vaak apart of pas aan het einde samen. Dat werkt niet optimaal.

DRIFT introduceert een nieuwe manier van communiceren:
Tijdens het hele proces wisselen de detectives voortdurend informatie uit.

• Detective "Pijler" fluistert tegen Detective "Punt": "Kijk, die stipjes zitten op een rijbaan, dus het is waarschijnlijk een auto, geen vogel."
• Detective "Punt" fluistert terug: "Bedankt, maar die stipjes bewegen heel snel, dus het is een fiets, geen auto."

Ze gebruiken hiervoor een slimme technologie genaamd Transformers (dezelfde technologie die ook in chatbots zit). Dit zorgt ervoor dat ze niet alleen naar hun eigen stukje kijken, maar naar de hele wereld om hen heen.

🏆 Wat levert dit op?

Doordat deze twee detectives voortdurend met elkaar overleggen, wordt het beeld veel scherper:

• Betere detectie: Ze vinden voetgangers en fietsers veel sneller, zelfs als ze ver weg zijn of als het regent.
• Minder fouten: Ze verwarren geen ruis (stipjes van regen) voor echte mensen.
• Snelheid: Het systeem is zo efficiënt dat het in real-time werkt (binnen 20 milliseconden), wat essentieel is voor een auto die 100 km/u rijdt.

📊 De Resultaten in het Kort

De onderzoekers hebben hun systeem getest op echte data uit Den Haag (het View-of-Delft dataset).

• Vroeger: De beste systemen haalden ongeveer 45% nauwkeurigheid.
• Nu met DRIFT: Ze halen 52,6%.
• Vooral bij kleine objecten (voetgangers en fietsers) is de verbetering enorm.

Conclusie

Kortom: DRIFT is als het geven van twee verschillende brillen aan een zelfrijdende auto. De ene bril ziet de details, de andere ziet de context. Door ze voortdurend met elkaar te laten praten via slimme software, ziet de auto de wereld veel duidelijker, zelfs als het weer slecht is en de radarbeelden vaag zijn. Dit maakt zelfrijdende auto's veiliger en goedkoper.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DRIFT: Dual-Representation Inter-Fusion Transformer for Automated Driving Perception with 4D Radar Point Clouds" in het Nederlands.

Probleemstelling

Automatisch rijdenssystemen maken vaak gebruik van camera's en LiDAR-sensoren, maar deze hebben beperkingen: camera's presteren slecht bij slecht licht en slecht weer, terwijl LiDAR-sensoren duur zijn en ook gevoelig kunnen zijn voor weersomstandigheden. 4D-radar biedt een robuust en kosteneffectief alternatief dat Doppler-snelheid en radarcross-sectie (RCS) levert.

De belangrijkste uitdaging bij 4D-radar is echter de extreme sparsiteit en het hoge niveau van ruis in de puntwolk (point cloud) vergeleken met LiDAR.

• Lokale onvolledigheid: Vanwege de lage dichtheid is het vaak onmogelijk om objecten (zoals voetgangers) alleen te detecteren op basis van lokale kenmerken; een lokaal gebied van de radarwolk kan leeg lijken terwijl het object wel aanwezig is.
• Behoefte aan context: In tegenstelling tot LiDAR, waar lokale features vaak voldoende zijn, vereist radarperceptie een combinatie van lokale details (vorm, snelheid) en globale context (relatieve positie in het voertuig, rijbaanstructuur).
• Bestaande beperkingen: Bestaande modellen gebruiken vaak óf punt-gebaseerde óf voxel/pilaar-gebaseerde representaties, of combineren deze op een manier waarbij de sterke punten van beide niet optimaal worden benut (bijv. sequentiële verwerking of fusie alleen aan het einde).

Methodologie: DRIFT

Het paper introduceert DRIFT (Dual-Representation Inter-Fusion Transformer), een nieuw architectuurconcept dat specifiek is ontworpen voor 4D-radar. De kern van de methode is een end-to-end parallelle architectuur met twee paden die op meerdere stadia met elkaar verweven zijn.

1. Dual-Path Architectuur:

   • Point Path (Punt-pad): Verwerkt de ruwe radarpunten direct. Deze pad is ontworpen om fijnkorrelige lokale details (zoals vorm en snelheid) vast te leggen. Het gebruikt Point Transformer-blokken om relatieve posities te modelleren.
   • Pillar Path (Pilaar-pad): Verwerkt de data na voxelisatie naar een 2D Bird's-Eye-View (BEV) grid. Deze pad encodeert grofkorrelige globale context. Vanwege de extreme sparsiteit van radardata worden hier Sparse Convoluties en Transformer-lagen gebruikt om een groot gezichtsveld (receptive field) te behouden en globale afhankelijkheden te modelleren, zelfs in vroege stadia.

2. Inter-Fusion via Feature Sharing Blocks:

   • In tegenstelling tot eerdere werken die features alleen aan het einde samenvoegen, introduceert DRIFT Feature Sharing Blocks op meerdere tussenstappen tussen het punt-pad en het pilaar-pad.
   • Dit zorgt voor een bi-directionele informatieuitwisseling:
     • Het punt-pad krijgt toegang tot globale context van het pilaar-pad.
     • Het pilaar-pad krijgt toegang tot fijne lokale details van het punt-pad.
   • Er worden drie fusiestrategieën getest: optellen (add), concatenatie en Cross-Attention. De Cross-Attention-methode bleek het meest effectief omdat deze complexe relaties tussen punten en pilaren kan modelleren.

3. Efficiëntie:

   • Het hele model is geïmplementeerd met spare data-representaties om de lage dichtheid van radardata efficiënt te verwerken zonder onnodige berekeningen op lege ruimtes.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Een end-to-end parallelle backbone met punt- en pilaar-paden, specifiek ontworpen voor de unieke eigenschappen van 4D-radar (sparsiteit en ruis).
• Bi-directionele Feature Sharing: Introductie van feature-sharing blokken op meerdere stadia die lokale en globale features door het hele netwerk met elkaar verweven, in plaats van ze pas aan het einde te combineren.
• Integratie van Transformers: Toepassing van Transformer-lagen in zowel het punt- als het pilaar-pad om respectievelijk lokale relatieve posities en globale context te modelleren, wat cruciaal is voor de beperkte data van radar.
• Uitgebreide Validatie: Evaluatie op zowel het publieke View-of-Delft (VoD) dataset als een groot, intern dataset (perciv-scenes-2), met prestaties op objectdetectie en vrije-rijbaansegmentatie.

Resultaten

DRIFT presteert significant beter dan bestaande state-of-the-art methoden (zoals CenterPoint, PointPillars, SMURF) op beide datasets:

• View-of-Delft (VoD) Dataset:

  • DRIFT bereikt een mean Average Precision (mAP) van 52,6% op het volledige gebied, vergeleken met 45,4% voor CenterPoint.
  • In de kritieke rijcorridor (driving corridor) wordt een mAP van 71,5% behaald.
  • De prestaties zijn vooral opvallend bij het detecteren van kleine objecten (voetgangers en fietsers), waar DRIFT respectievelijk 42,2% en 74,3% mAP haalt (tegenover ~38% en ~65% bij concurrenten). Dit bevestigt dat de combinatie van lokale en globale context essentieel is voor deze objecten.
  • Met pre-training op het grotere interne dataset stijgt de mAP verder naar 53,1%.

• Interne Dataset (perciv-scenes-2):

  • DRIFT overtreft CenterPoint zowel bij objectdetectie (mAP 55,2% vs 51,8%) als bij vrije-rijbaansegmentatie (IoU 73,3% vs 71,5%).
  • Dit toont aan dat het model veelzijdig is en werkt voor taken die verschillende balanspunten tussen lokale en globale context vereisen.

• Efficiëntie:

  • Het model is geschikt voor real-time inferentie met een latentie van ongeveer 16,4 ms tot 20,0 ms (afhankelijk van de fusiemethode) op een NVIDIA RTX 4090 GPU.

Significantie

Dit werk is een belangrijke stap voorwaarts in de perceptie voor autonoom rijden met 4D-radar. Het demonstreert dat:

1. Radarperceptie niet alleen afhankelijk hoeft te zijn van lokale clustering, maar dat het actief benutten van globale scene-context via Transformer-mechanismen noodzakelijk is om de sparsiteit van radardata te overbruggen.
2. Een dual-representatie aanpak waarbij lokale en globale features continu met elkaar worden uitgewisseld (inter-fused), superieur is aan sequentiële of enkelvoudige representaties.
3. Het mogelijk is om robuuste, kosteneffectieve radarperceptie te realiseren die de prestaties van duurdere LiDAR-gebaseerde systemen benadert, zelfs in uitdagende scenario's met kleine en verre objecten.

De paper biedt een solide basis voor toekomstig onderzoek in full-stack autonome systemen, robotnavigatie en andere domeinen waar robuuste, weersbestendige perceptie cruciaal is.