A Multi-modal Detection System for Infrastructure-based Freight Signal Priority

Dit artikel beschrijft de ontwerp, implementatie en evaluatie van een multimodaal detectiesysteem op basis van infrastructuur, dat LiDAR- en camerasensoren combineert om vrachtwagens bij verkeerslichten nauwkeurig te detecteren en te volgen voor het ondersteunen van Freight Signal Priority.

De kern

Hoe slimme "oogjes" aan de kant van de weg vrachtwagens helpen om sneller en groener te rijden

Stel je voor dat je een drukke kruising hebt waar vrachtwagens vaak moeten wachten op een rood licht. Voor een vrachtwagen is dat lastig: ze zijn zwaar, accelereren traag en verbruiken veel brandstof als ze steeds moeten stoppen en weer opstarten. Dit zorgt voor files en meer uitstoot.

De oplossing? Vrachtwagen-prioriteit. Als het systeem weet dat er een vrachtwagen aankomt, kan het het licht op groen zetten voordat hij er is. Maar hier zit de hak: het systeem moet de vrachtwagen echt goed zien en herkennen, ook als hij nog ver weg is of als de weg krom is.

Deze paper beschrijft hoe een team van onderzoekers een slim systeem hebben gebouwd om dit probleem op te lossen. Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Systeem: Een duo van "oogjes"

Stel je voor dat je probeert een auto te zien die om een scherpe bocht rijdt. Als je alleen recht vooruit kijkt, zie je de auto pas als hij bijna bij je is. Dat is te laat om het licht op tijd groen te maken.

De onderzoekers hebben daarom een twee-delensysteem ontworpen:

• De Hoofdwachter (Bij de kruising): Deze staat op de kruising zelf. Hij heeft een krachtige laser (LiDAR) en een camera die ver weg kunnen kijken. Hij is als een wachtpost die de weg recht voor zich in de gaten houdt.
• De Voorpost (Halverwege de weg): Omdat de weg krom is, is er een plek waar de "Hoofdwachter" niet verder kan kijken (de auto is dan nog verborgen achter de bocht). Daarom hebben ze een tweede set "oogjes" geplaatst halverwege de weg. Deze ziet de vrachtwagen veel eerder.

Deze twee sets praten met elkaar via een draadloze verbinding (zoals een super-snel walkietalkie). Zodra de "Voorpost" een vrachtwagen ziet, stuurt hij direct een berichtje naar de "Hoofdwachter": "Hé, er komt een grote vrachtwagen aan, bereid je voor!"

2. Hoe zien ze het verschil tussen een auto en een vrachtwagen?

Het systeem gebruikt twee soorten sensoren: een laser (die een 3D-puntewolk maakt, alsof het de auto uit duizenden stipjes bouwt) en een camera (die foto's maakt).

Het is alsof je een auto in de mist probeert te herkennen. Alleen kijken naar de vorm is lastig, maar als je ook de hoogte meet, wordt het makkelijker.

• De Laser: De laser scant de weg en maakt een 3D-kaart. Het systeem wist eerst de "achtergrond" weg (de weg, bomen, lantaarnpalen). Wat overblijft, zijn de bewegende objecten.
• De "Hoogte-Check": Vrachtwagens zijn hoog. De auto's zijn laag. Het systeem meet hoe hoog de stipjes van een object zijn. Als het een berg stipjes is die hoog uit de grond steekt, is het waarschijnlijk een vrachtwagen. Als het een laagje stipjes is, is het een personenauto.
• De "Rijrichting-Check": Het systeem kijkt ook of de stipjes naar de kruising toe bewegen of er vandaan. Alleen degenen die naar de kruising toe komen, krijgen een prioriteit.

3. De "GPS-Bril"

Om te weten precies in welke rijbaan de vrachtwagen zit, moet het systeem weten waar de laser precies staat ten opzichte van de wereld.
Stel je voor dat je een kaart tekent, maar je staat een beetje scheef. Dan komen de wegen niet overeen met de werkelijkheid.
De onderzoekers hebben een auto met een super-nauwkeurige GPS gebruikt om te "kalibreren". Ze hebben de laser-kaart en de GPS-kaart op elkaar gelegd en de hoek en positie van de laser zo langzaam aangepast totdat de lijnen perfect overeenkwamen. Zo weet het systeem: "Ah, die vrachtwagen zit in de linkerrijbaan, niet in de rechter."

4. Wat hebben ze ontdekt? (De resultaten)

Het systeem werkt goed, maar is nog niet perfect:

• Snelheid: Het systeem is razendsnel. Het kan 10 keer per seconde een nieuwe foto maken en beslissen of er een vrachtwagen is. Dat is snel genoeg om het licht op tijd te veranderen.
• Nauwkeurigheid: Het systeem is erg voorzichtig. Het zegt liever "geen vrachtwagen" dan dat het per ongeluk een busje voor een vrachtwagen aanziet.
  • Het goede nieuws: Als het zegt "vrachtwagen", is het bijna altijd waar (geen valse alarmen).
  • Het minder goede nieuws: Soms mist hij een vrachtwagen die net om de hoek komt of die deels verborgen is. Dit gebeurt vooral bij de "Voorpost" omdat de laser daar minder details ziet door de afstand en de hoek.

Waarom is dit belangrijk?

Dit systeem is een stap in de richting van een groenere toekomst. Als vrachtwagens minder hoeven te stoppen en starten:

1. Rijden ze soepeler (minder files).
2. Verbruiken ze minder brandstof.
3. Uitstoot van CO2 en schadelijke stoffen gaat omlaag.

Kortom: De onderzoekers hebben een slimme combinatie van lasers, camera's en draadloze communicatie gebouwd die als een wachtpost fungeert. Het ziet vrachtwagens van ver, herkent ze aan hun hoogte en stuurt een signaal naar het verkeerslicht om hen voorrang te geven. Het is een eerste, veelbelovende stap naar slimmere en schonere wegen.

Technische samenvatting

Probleemstelling

Vrachtwagens die naderen tot signalenverlichte kruispunten vereisen betrouwbare detectie en bewegingsschatting om Infrastructuur-gebaseerde Vrachtwagen-Signaalprioriteit (FSP - Freight Signal Priority) te ondersteunen.

• Uitdaging: Bestaande FSP-systemen vertrouwen vaak op V2I/V2V-communicatie (voertuig-naar-infrastructuur), wat de installatie van dure boordapparatuur vereist en de adoptie beperkt.
• Specifiek scenario: Op de onderzochte locatie zorgt een bocht in de weg voor zichtbeperking (occlusie), waardoor een enkel sensorpunt aan het kruispunt niet voldoende is om vrachtwagens tijdig te detecteren.
• Doel: Ontwikkeling van een infrastructuur-gebaseerd systeem dat voertuigtype, positie en snelheid nauwkeurig en tijdig bepaalt zonder afhankelijk te zijn van boordapparatuur, om zo brandstofverbruik en reistijd te verminderen.

Methodologie

Het voorgestelde systeem is een multi-modale detectiepiplijn die LiDAR en camera's integreert, opgebouwd uit twee gespecialiseerde subsystemen:

1. Systeemarchitectuur:

   • Hoofdsubsysteem (Kruispunt): Een langeafstands LiDAR (Livox TELE-15, solid-state) en camera, gemonteerd op een paal.
   • Middenblok-subsysteem (Midblock): Een middellangeafstands LiDAR (Robosense Ruby Plus, mechanisch) en camera, geplaatst op een eerdere locatie om de zichtbeperking door de bocht te overbruggen.
   • Connectiviteit: De subsystemen zijn verbonden via een draadloze brug (Ubiquiti AirFiber 5XHD) voor gesynchroniseerde datatransmissie met behulp van het Precision Time Protocol (PTP).

2. Data-acquisitie en Verwerking:

   • Hardware: Sensoren worden gevoed via PoE (Power-over-Ethernet) en data wordt verwerkt op een edge-computer.
   • Kalibratie: LiDAR-coördinaten worden geregistreerd in een geodetisch referentiekader (ENU) met behulp van GNSS-data (OXTS AV200) voor spoorweglokaal-nauwkeurige lokalisatie.
   • Verwerkingspiplijn:
     • Cloud Rotatie: Correctie van roll- en pitch-hoeken om de Z-as verticaal te maken.
     • Achtergrondsubtraktie: Verwijdering van statische objecten (weg, vegetatie) door vergelijking met een offline achtergrondkaart.
     • Clustering: DBSCAN-algoritme voor het groeperen van voorgrondpunten tot objecten.
     • Tracking: Een 6-dimensionale Kalman-filter (constante snelheid) voor het gladstrijken van trajecten en het schatten van snelheid.
     • Classificatie: Vrachtsystemen worden onderscheiden van personenauto's op basis van absolute hoogte, relatieve hoogte en Z-as puntverdeling.
     • Richtingbepaling: Bepaling of een voertuig naderend of vertrekkend is via het inproduct van het snelheidsvector en het lijn-van-zicht vector.

3. FSP-Logica:

   • Het systeem berekent de Aankomsttijd (ToA) en triggert prioriteit alleen als een vrachtwagen wordt gedetecteerd binnen een specifieke drempelafstand (10m voor lange vrachtwagens, 4m voor compacte).

Belangrijkste Bijdragen

• Volledige Implementatie: Presentatie van een complete ontwerp-, implementatie- en evaluatiepiplijn voor een multi-modale, infrastructuur-gebaseerde detectiesystem.
• Twee-subsysteem Architectuur: Een innovatieve oplossing voor locaties met krommingen in de weg, waarbij een extra sensor op het middenblok zorgt voor continue detectie.
• Geodetische Integratie: Registratie van LiDAR-data in wereldcoördinaten, wat spoorweglokaal nauwkeurige lokalisatie mogelijk maakt.
• Praktische Evaluatie: Ontwikkeling van een evaluatiemethode die zich richt op de operationele vraag ("Moet prioriteit worden gegeven?") in plaats van alleen op de precisie van bounding boxes.

Resultaten

Het systeem is geëvalueerd op detectienauwkeurigheid, real-time prestaties en kalibratiekwaliteit:

• Detectienauwkeurigheid:
  • Op basis van 20 representatieve scenario's (vrachtwagens vs. andere voertuigen).
  • Precisie: 0,75 (75%). Het systeem is conservatief en triggert zelden vals.
  • Recall: 0,50 (50%). Het systeem mist ongeveer de helft van de vrachtwagens (voornamelijk door occlusie of classificatiefouten).
  • F1-score: 0,60.
  • Conclusie: Het systeem is betrouwbaar in het voorkomen van valse prioriteiten, maar moet de detectie van vrachtwagens verbeteren om de recall te verhogen.
• Real-time Efficiëntie:
  • De verwerkingstijd per frame blijft onder de 0,05 seconden (20 Hz), zelfs bij hoge voorgrond-puntdichtheid. Dit voldoet ruimschoots aan de vereiste van 10 Hz voor veldtoepassingen.
• GPS/LiDAR Kalibratie:
  • Hoofdkruispunt: Gemiddelde registratiefout van 0,21 m en maximale fout van 0,34 m.
  • Middenblok: Houdt hogere fouten aan (gemiddeld 0,35 m, maximaal 0,75 m) door verdere afstand tot referentiepunten en snellere voertuigsnelheden, wat de geometrische beperkingen verzwakt.

Betekenis en Toekomstperspectief

Dit onderzoek demonstreert de haalbaarheid van een volledig infrastructuur-gebaseerd FSP-systeem dat geen afhankelijkheid heeft van boordapparatuur. Het biedt praktische inzichten voor het overwinnen van zichtproblemen in complexe wegnetwerken.

• Impact: Het systeem kan bijdragen aan een vermindering van brandstofverbruik en CO2-uitstoot (potentieel 5-10% op netwerkniveau) door vrachtwagens vlotter door kruispunten te laten rijden.
• Toekomstig werk:
  • Verbetering van de detectie door middel van multi-modale fusie (diepere integratie van camera- en LiDAR-data).
  • Opbouw van een grootschalig, handmatig geannoteerd dataset specifiek voor langeafstands vracht detectie met solid-state LiDAR.
  • Implementatie van diep leermethoden (Deep Learning) zodra voldoende trainingsdata beschikbaar is, aangezien huidige vooraf getrainde modellen (zoals PointPillars) niet goed generaliseren naar deze specifieke sensoren en omgeving.