💻 computer science

CoInfra: A Large-Scale Cooperative Infrastructure Perception System and Dataset for Vehicle-Infrastructure Cooperation in Adverse Weather

Dit artikel introduceert CoInfra, een schaalbaar platform en dataset voor samenwerking tussen voertuigen en infrastructuur onder zware weersomstandigheden, dat aantoont dat multi-node sensoren de situational awareness in conflictrijke verkeerssituaties aanzienlijk verbeteren ten opzichte van uitsluitend voertuiggebaseerde waarneming.

Oorspronkelijke auteurs: Minghao Ning, Yufeng Yang, Keqi Shu, Shucheng Huang, Jiaming Zhong, Maryam Salehi, Mahdi Rahmani, Jiaming Guo, Yukun Lu, Chen Sun, Aladdin Saleh, Ehsan Hashemi, Amir Khajepour

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Minghao Ning, Yufeng Yang, Keqi Shu, Shucheng Huang, Jiaming Zhong, Maryam Salehi, Mahdi Rahmani, Jiaming Guo, Yukun Lu, Chen Sun, Aladdin Saleh, Ehsan Hashemi, Amir Khajepour

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een drukke, chaotische stad rijdt met een zelfrijdende auto. Je auto heeft camera's en sensoren, maar die hebben een groot probleem: ze kunnen niet door muren kijken. Als er een vrachtwagen voor je staat, ziet je auto niets wat daarachter gebeurt. En als het regent, sneeuwt of ijsvrijt, worden de camera's wazig en de sensoren verward. Het is alsof je probeert een dans te zien terwijl je door een gesloten deur kijkt.

Dit artikel introduceert CoInfra, een slimme oplossing die deze "blinde vlekken" wegneemt. Hier is hoe het werkt, uitgelegd in simpele taal:

1. Het idee: Een team van waarnemers in plaats van één

In plaats van dat elke auto alleen moet proberen de weg te zien, heeft CoInfra een heel team van "waarnemers" op straat geplaatst.

De analogie: Stel je voor dat je in een grote, donkere zaal staat. Jij (de auto) kunt alleen naar voren kijken. Maar nu zijn er ook 14 mensen op ladders langs de muren geplaatst (de sensoren op de lantaarnpalen). Zij kijken van bovenaf en vanuit andere hoeken.
Het resultaat: Als jij een kind niet ziet dat achter een busje loopt, ziet de man op de ladder dat wel. Hij roept het door aan jou. Plotseling heb jij een "godsoog" op de situatie.

2. De uitdaging: Snelheid en het weer

Het is niet zo simpel als gewoon bellen. De sensoren moeten heel snel praten, zelfs als het stormt of als het internet (5G) even traag is.

Het probleem: Als de sensoren te lang wachten om te praten, is het kind al overgestoken. Als ze te snel praten maar de data is onvolledig, kan de auto in de war raken.
De oplossing: CoInfra gebruikt een slimme "afsprakenmethode". De sensoren wachten een heel klein beetje (een fractie van een seconde) om te zien of er nog meer informatie binnenkomt. Als het internet even trager is, past het systeem zich automatisch aan. Het is alsof een orkestleider die wacht tot alle muzikanten klaar zijn, maar niet te lang, zodat het concert toch op tijd begint.

3. De test: Sneeuw, regen en een rondebaan

De onderzoekers hebben dit systeem getest op een drukke rondebaan in Canada, onder vier verschillende weersomstandigheden: zon, regen, zware sneeuw en ijzel.

Het scenario: Een rondebaan is een van de gevaarlijkste plekken. Auto's moeten vaak invoegen, stoppen en uitwijken.
De bevinding:
- Alleen met de sensoren van de auto zelf, miste de auto in kritieke momenten 33% tot 46% van de andere weggebruikers (zoals fietsers of voetgangers) die achter obstakels verstopt zaten.
- Met de hulp van de sensoren op de palen (CoInfra), zag de auto 86% tot 100% van de gevaarlijke situaties.
- Kortom: De auto werd bijna volledig "blind" in de sneeuw, maar met de hulp van de paal-sensoren zag hij alles weer scherp.

4. Waarom is dit belangrijk?

Vroeger keken onderzoekers alleen naar hoe goed een auto objecten herkende (bijvoorbeeld: "Is dat een auto of een fiets?"). CoInfra laat zien dat het belangrijker is om te kijken of de auto alles ziet wat nodig is om veilig te blijven.

De metafoor: Het is niet genoeg om te weten dat er een auto voor je staat. Je moet ook weten of er een kind achter die auto loopt. CoInfra zorgt ervoor dat je dat kind ziet, zelfs als je eigen auto het niet kan zien.

5. De "Open Smaak" (Open Source)

Het mooie aan dit project is dat de onderzoekers niet alleen de data hebben gedeeld, maar ook de blauwdrukken.

Ze hebben de software, de handleidingen voor het bouwen van de sensoren, en de tools om alles te synchroniseren gratis beschikbaar gesteld.
De analogie: Ze hebben niet alleen een heerlijk recept gegeven, maar ook de ingrediënten, het keukengerei en de instructies om de oven te bouwen. Hierdoor kunnen andere steden en onderzoekers dit systeem ook namaken en verbeteren.

Conclusie

CoInfra is een grote stap voorwaarts voor zelfrijdende auto's. Het bewijst dat als we auto's laten samenwerken met de straat zelf (via sensoren op lantaarnpalen), we veel veiliger kunnen rijden, zelfs als het regent, sneeuwt of als er veel obstakels zijn. Het maakt de weg niet alleen slimmer, maar ook veiliger voor iedereen.

Probleemstelling

Autonome voertuigen kampen met beperkingen in complexe stedelijke omgevingen, vooral bij gedeeltelijke obstructies, grote afstanden en ongunstige weersomstandigheden (regen, sneeuw, ijsregen). Hoewel Vehicle-to-Infrastructure (V2I) samenwerking veelbelovend is om deze beperkingen te overwinnen door verhoogde sensorpunten aan de kant van de weg te gebruiken, ontbreekt er tot nu toe een robuust fundament voor praktische implementatie. Bestaande benchmarks falen vaak in drie belangrijke aspecten:

Ze simuleren zelden grote schalen met meerdere knooppunten onder realistische communicatiecondities (zoals stochastische 5G-vertragingen).
Er is gebrek aan reproduceerbare, volledige systemstapels (hardware, kalibratie, synchronisatie en software) voor grootschalige deployments.
Bestaande datasets missen diversiteit in weersomstandigheden en evalueren samenwerking voornamelijk op detector-metrieken (zoals Average Precision), zonder te kijken naar de daadwerkelijke verbetering van situational awareness voor veiligheidskritieke situaties.

Methodologie en Systeemarchitectuur

Het paper introduceert CoInfra, een volledig operationeel platform dat bestaat uit een hardware-deployment, een dataset en een open-source softwarestapel.

1. Hardware en Deployment:

Infrastructuur: 14 sensor-knooppunten zijn geïnstalleerd op gemeentelijke lantaarnpalen (ongeveer 7,5 m hoog) rondom een stedelijk rotonde op de campus van de University of Waterloo.
Sensoren: Elk knooppunt is uitgerust met een Robosense Helios 1615 LiDAR (32 stralen, 10 Hz) en twee Basler RGB-camera's.
Edge Computing: Local perception wordt uitgevoerd op een NVIDIA Jetson Orin NX.
Connectiviteit: De knooppunten zijn verbonden via een commercieel 5G-netwerk naar een centrale cloudserver.
Kalibratie: Een multi-stap kalibratieproces (intrinsic, extrinsic, en global alignment via AprilTags en ICP) zorgt voor een consistente wereldcoördinatenstelsel.

2. Synchronisatie en Fusie onder Vertraging:

Probleem: In een gedistribueerd systeem arriveren berichten met willekeurige vertragingen door lokale verwerking en netwerklatency.
Oplossing: Het systeem gebruikt een vertraging-bewuste synchronisatieprotocol.
- Een adaptief fusievenster ( $\Delta T$ ) wordt berekend op basis van online geschatte gemiddelde ( $\hat{\mu}$ ) en standaardafwijking ( $\hat{\sigma}$ ) van de latency per knooppunt: $\Delta T = \max_i (\hat{\mu}_i + n \hat{\sigma}_i)$ .
- Berichten die na het fusietijdstip arriveren, worden niet verworpen maar geïntegreerd via een post-fusie update met verminderd vertrouwen, gebruikmakend van bewegingsmodellen (EKF) om de positie te voorspellen.
Datastroom: In plaats van ruwe beelden (wat leidt tot hoge latency en packet loss), worden gestructureerde object-detecties (bounding boxes) verstuurd. Dit resulteert in sub-40 ms levertijd met 0% packet loss.

3. Dataset:

CoInfra-I2I: Een grote dataset met 294k LiDAR frames en 589k camera-beelden van 8 knooppunten, verzameld onder vier weersomstandigheden (zon, regen, zware sneeuw, ijsregen). Het bevat 332k globaal consistente 3D-bounding boxes.
CoInfra-V2I: Een gesynchroniseerde subset met data van de infrastructuur en een autonoom voertuig (shuttle), gebruikt voor V2I-experimenten.

Belangrijkste Bijdragen

Deployable Platform & Dataset: De release van een volledig open-source systeem (hardware-documentatie, kalibratietools, ROS-pipeline) en een grote dataset met adverse weather, wat een zeldzame combinatie is in de literatuur.
Vertraging-bewuste Synchronisatie: Een probabilistische benadering van synchronisatie die een afweging maakt tussen volledigheid en latentie, getest met echte 5G-metingen.
Veiligheidsgerichte Evaluatie: Een nieuwe evaluatiemethode die zich richt op ego-centric observability (hoeveel kritieke deelnemers ziet het voertuig?) in plaats van alleen detector-accuracy.

Resultaten

1. Communicatie en Synchronisatie:

Payload Impact: Het verzenden van object-level data (1-2 KB) is extreem efficiënt (gemiddelde latency ~24 ms, 0% packet loss). Het verzenden van ruwe beelden (500-600 KB) leidt tot ernstige congestie (>2s latency, 63% packet loss).
Synchronisatie: Adaptieve synchronisatie met EKF-voorspelling reduceert de P99 reactietijd van 75,7 ms (wachten op alles) naar 57,0 ms, terwijl de volledigheid van de fusie behouden blijft.

2. Detectieprestaties (CoInfra-I2I):

Multi-node fusie verbetert de detectie van VRU's (Voetgangers en Fietsers) aanzienlijk, vooral op grotere afstanden en in conflictzones.
In VRU-oversteekzones bereikt globale LiDAR-fusie een AP@0.5 van 0,720, terwijl lokale (single-node) detectie slechts 0,320 haalt.
Adverse weather (sneeuw) degradeert VRU-detectie, maar de meervoudige observatie van het netwerk compenseert dit gedeeltelijk door de dichtheid van LiDAR-punten te verhogen.

3. Situational Awareness (CoInfra-V2I):
Dit is het meest cruciale resultaat. De studie evalueert of infrastructuur de "blinde vlekken" van het voertuig opvult in kritieke scenario's (bijv. een voetganger die door een paal wordt geblokkeerd).

Kritieke Frames Volledigheid: In conflictrijke scenario's (bijv. voertuig in de rotonde met een wachtende voetganger) is de volledigheid van de observatie door het voertuig alleen slechts 33% - 46%.
Met V2I Samenwerking: Door infrastructuurgegevens toe te voegen, stijgt deze volledigheid naar 86% - 100%.
Dit betekent dat samenwerking de kans op het missen van levensgevaarlijke deelnemers drastisch verkleint, precies in de situaties waar voertuigsensoren het minst betrouwbaar zijn.

Betekenis en Conclusie

CoInfra bewijst dat Vehicle-to-Infrastructure samenwerking niet alleen theoretisch mogelijk is, maar praktisch realiseerbaar is onder realistische 5G-condities en ongunstig weer.

Paradigmaverschuiving: De waarde van V2I moet niet alleen worden gemeten aan de hand van detector-accuracy (AP), maar aan de hand van situational awareness in veiligheidskritieke interacties.
Implementatie-inzicht: Het paper suggereert dat een hybride aanpak het beste werkt: compacte late-fusie (object-level) als standaard voor schaalbaarheid, met optionele rijkere fusie (bijv. point clouds) voor specifieke hoog-risico zones.
Toekomst: Door de volledige stack openbaar te maken, verlaagt CoInfra de drempel voor onderzoekers om realistische V2I-systemen te bouwen, te testen en uit te rollen, wat essentieel is voor de veilige introductie van autonoom rijden in complexe stedelijke omgevingen.