HeCoFuse: Cross-Modal Complementary V2X Cooperative Perception with Heterogeneous Sensors

HeCoFuse is een geavanceerd V2X-samenwerkingsraamwerk dat door middel van hiërarchische fusie en adaptieve aandachtsmechanismen robuuste 3D-perceptie mogelijk maakt onder heterogene sensorconfiguraties, wat resulteert in state-of-the-art prestaties op de TUMTraf-V2X-dataset en een eerste plaats in de CVPR 2025 DriveX-uitdaging.

De kern

HeCoFuse: De "Super-Oog" voor Slimme Auto's en Verkeerslichten

Stel je voor dat je in een drukke stad rijdt. Je auto heeft camera's en een soort "laser-ogen" (LiDAR) om te zien wat er om je heen gebeurt. Maar wat als je auto alleen maar camera's heeft, terwijl de verkeerslichten aan de kant van de weg alleen maar laser-ogen hebben? Of wat als de ene auto alles heeft, maar de andere niets?

In de echte wereld zijn niet alle auto's en verkeersinfrastructuur hetzelfde. Ze hebben verschillende "zintuigen". Dit maakt het heel moeilijk om samen te werken, omdat ze niet op dezelfde manier kunnen "praten" of kijken.

De onderzoekers van dit papier hebben HeCoFuse bedacht. Dit is een slim systeem dat ervoor zorgt dat auto's en verkeerslichten, ongeacht welke zintuigen ze hebben, perfect samen kunnen werken om gevaar te zien en ongelukken te voorkomen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Een Taalbarrière tussen Zintuigen

Stel je een gesprek voor tussen een persoon die alleen maar kan zien (camera) en een persoon die alleen maar kan voelen (laser). Als ze samen een object moeten beschrijven, is dat lastig. De één zegt: "Het is rood en glanzend," en de ander zegt: "Het is 5 meter weg en heeft een scherpe hoek."

In de autowereld is dit hetzelfde. Camera's zien kleuren en tekst, maar weten niet precies hoe ver iets weg is. Laser (LiDAR) weet precies hoe ver iets is, maar ziet geen kleuren. Als ze proberen hun informatie te mengen zonder een slim plan, krijg je een rommelige boodschap die niemand begrijpt.

2. De Oplossing: HeCoFuse als de "Super-Vertaler"

HeCoFuse is als een super-slimme tolk die twee dingen doet:

A. De Slimme Vertaler (Hiërarchische Aandacht)
Stel je voor dat je een team hebt om een raadsel op te lossen. Soms heb je iemand nodig die goed kan zien (de camera), en soms iemand die goed kan meten (de laser).
HeCoFuse kijkt continu naar de situatie en vraagt zich af: "Wie heeft het nu het beste antwoord?"

• Is het donker? Dan luistert het systeem meer naar de laser (die ziet in het donker).
• Is het een gekleurd bordje? Dan luistert het meer naar de camera.
  Het systeem weegt de informatie van de verschillende auto's en verkeerslichten continu af, zodat ze precies weten wie er het meeste vertrouwen mag hebben.

B. De Slimme Schaal (Aanpasbare Resolutie)
Soms sturen auto's heel veel details door (zoals een 4K-foto), en soms sturen ze maar een ruwe schets. Als je een 4K-foto probeert te vergelijken met een ruwe schets, wordt je computer gek.
HeCoFuse past de "resolutie" aan. Het zorgt ervoor dat alle informatie op hetzelfde niveau wordt gebracht voordat ze worden samengevoegd. Het is alsof je een grote foto en een kleine tekening eerst allebei op dezelfde grootte zet voordat je ze naast elkaar legt. Dit bespaart ook veel rekenkracht, zodat het systeem snel genoeg is voor echt verkeer.

3. Het Grote Experiment: De "Mix & Match" Test

De onderzoekers hebben hun systeem getest met de TUMTraf-V2X dataset. Dit is een echte dataset van verkeer in München. Ze hebben het systeem getraind op negen verschillende scenario's:

• Auto met alles + Verkeerslicht met alles.
• Auto met alleen laser + Verkeerslicht met alleen camera.
• En alles daartussenin.

Het resultaat? Het systeem werkt perfect in alle situaties.

• Als alles perfect is uitgerust, is het het allerbeste ter wereld (ze wonnen zelfs de eerste prijs in een wereldwijde wedstrijd, de CVPR 2025 DriveX challenge).
• Maar het echte wonder is: zelfs als een auto alleen maar camera's heeft en de verkeerslicht alleen maar laser, werkt het systeem nog steeds heel goed. Het vult de gaten van de ene auto op met de kennis van de andere.

Waarom is dit belangrijk?

Vroeger dachten onderzoekers: "Alle auto's moeten exact dezelfde dure apparatuur hebben om veilig te zijn."
HeCoFuse zegt: "Nee, dat hoeft niet!"
Dankzij dit systeem kunnen goedkopere auto's (met minder sensoren) veilig samenwerken met dure auto's of slimme verkeerslichten. Het maakt het verkeer veiliger, omdat het systeem altijd de beste informatie gebruikt, ongeacht wie wat heeft.

Kortom: HeCoFuse zorgt ervoor dat elke auto en elk verkeerslicht, of ze nu rijk of arm zijn aan sensoren, één groot, slim team vormen dat alles ziet wat er gebeurt op de weg.

Technische samenvatting

Probleemstelling

Bestaande Vehicle-to-Everything (V2X) systemen voor cooperatieve perceptie gaan vaak uit van homogene sensorconfiguraties, waarbij alle voertuigen en infrastructuurpunten identieke sensoren (bijv. allemaal LiDAR of allemaal camera's) dragen. In de realiteit is dit echter zelden het geval vanwege kostenbeperkingen, geleidelijke hardware-upgrades en variërende deployments. Dit leidt tot heterogene scenario's waarbij knooppunten slechts één type sensor hebben (alleen LiDAR of alleen camera) of een combinatie daarvan.

Deze heterogeniteit introduceert drie kritieke uitdagingen:

1. Asymmetrische modaliëteiten: LiDAR- en cameradata verschillen fundamenteel in ruimtelijke resolutie, gezichtsveld en informatiedichtheid, wat feature-alignement bemoeilijkt.
2. Feature-inconsistentie: Naïeve fusiestrategieën falen wanneer een modality ontbreekt op bepaalde knooppunten.
3. Robuustheid: Systemen moeten degraderen zonder volledig te falen bij gedeeltelijke sensorstoringen of interacties met knooppunten van wisselende capaciteiten.

Methodologie: HeCoFuse

De auteurs stellen HeCoFuse voor, een unificerend framework dat is ontworpen om robuuste perceptie te garanderen over negen verschillende heterogene sensorconfiguraties (bijv. Voertuig+Infrastructuur combinaties zoals LC+L, C+LC, L+C, etc.). Het framework bestaat uit de volgende kerncomponenten:

1. Modulaire Feature Extractie en Adaptatie

• Sensorspecifieke Encoders: Het systeem gebruikt gespecialiseerde paden voor LiDAR (via dynamische voxelisatie en 3D-sparse convolutie naar Bird's Eye View - BEV) en Camera's (via 2D-convolutie en view-transformatie naar BEV).
• Intra-node Fusie: Voor knooppunten met beide sensoren (LC) worden features samengevoegd via een BEV-fusiemodule.
• PseudoFusion: Voor knooppunten met slechts één sensor (L of C) worden 'feature adapters' gebruikt om de output naar een consistente dimensie te transformeren. Dit zorgt ervoor dat het systeem altijd werkt, zelfs als een sensor ontbreekt.

2. Hiërarchische Aandacht Fusie (HAF)
Om features van asymmetrische bronnen effectief te combineren, introduceert HeCoFuse een dubbel aandachtsmechanisme:

• Kanaal-aandacht (Channel-wise): Weegt features op basis van de betrouwbaarheid van specifieke kanalen per modality (bijv. LiDAR-dominantie voor afstand, camera-dominantie voor uiterlijk).
• Ruimtelijke aandacht (Spatial): Genereert aandachtskaarten die gebieden benadrukken waar een specifieke sensor het meest betrouwbaar is (bijv. LiDAR voor verre objecten, camera voor visueel complexe gebieden).
• De fusie is een gewogen som van deze componenten, wat zorgt voor een fijne afstemming van de bijdrage van elke sensor.

3. Adaptieve Ruimtelijke Resolutie (ASR)
Om de rekenkosten te balanceren met de informatiefideliteit:

• Het systeem past de resolutie van de feature-kaarten dynamisch aan op basis van de sensorconfiguratie van het knooppunt (bijv. lagere resolutie voor camera-only, hogere voor LiDAR-only).
• Na fusie wordt er een configuratiebewuste upsampling toegepast om details van de meest precieze sensor te herstellen. Dit verlaagt de rekenlast met 30-45% in heterogene configuraties.

4. Cooperatieve Leerstrategie
In plaats van aparte modellen te trainen voor elke configuratie, wordt één uniek model getraind door tijdens het trainingstraject willekeurig te samplelen uit alle negen mogelijke heterogene scenario's. Dit dwingt het model om robuuste fusiestrategieën te leren die generaliseren over alle combinaties.

Kernbijdragen

1. Eerste Unificerend Framework: HeCoFuse is het eerste framework dat expliciet is ontworpen voor cooperatieve perceptie in V2X-netwerken met willekeurige heterogene sensorconfiguraties.
2. Nieuwe Mechanismen: Introductie van Hierarchical Attention Fusion (HAF) en Adaptive Spatial Resolution (ASR) om cross-modale features dynamisch te integreren en schalen te harmoniseren.
3. State-of-the-Art Resultaten: Uitgebreide validatie op het real-world TUMTraf-V2X dataset, waarbij het model consistent hoge prestaties levert over negen verschillende sensoropstellingen.

Resultaten

De evaluatie is uitgevoerd op het TUMTraf-V2X dataset (verzameld in München) en vergeleken met de baseline CoopDet3D en andere top-methodes uit de CVPR 2025 DriveX Challenge.

• Prestaties: HeCoFuse behaalde de eerste plaats in de CVPR 2025 DriveX Challenge.
  • LC+LC Configuratie (Volledig): 43,22% 3D mAP (een verbetering van 1,17% ten opzichte van de baseline).
  • L+LC Configuratie (Heterogeen): 43,38% 3D mAP (de hoogste prestatie, zelfs hoger dan de volledig uitgeruste configuratie in sommige metrics).
  • Robuustheid: Het model behield een 3D mAP tussen 21,74% en 43,38% over alle negen heterogene configuraties, inclusief scenario's met slechts één sensor type (bijv. C+C haalde 21,74%, wat aanzienlijk beter is dan wat men van een enkelvoudig camera-systeem zou verwachten in een cooperatieve setting).
• Inzichten:
  • LiDAR draagt significant meer bij aan de prestaties dan camera's (20,36% verschil tussen L+L en C+C).
  • Infrastructuursensoren spelen een cruciale rol door hun bredere gezichtsveld en verhoogde positie.
  • Het adaptieve fusiemechanisme slaagt erin om de meest betrouwbare informatiebronnen dynamisch te benutten, zelfs bij grote asymmetrie.

Betekenis en Impact

HeCoFuse is van groot belang voor de praktische implementatie van V2X-systemen. Het lost het probleem op dat real-world deployments zelden homogene sensorsets hebben. Door een enkel model te gebruiken dat alle combinaties aankan, vermindert het de complexiteit van training en deployment. Het bewijst dat cooperatieve perceptie robuust kan blijven onder imperfecte en variërende omstandigheden, wat essentieel is voor de veilige introductie van autonoom rijden in gemengde verkeersstromen. De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap bevordert.