⚡ electrical engineering

LiDAR-based Dynamic Blockage Prediction: A Data-driven Approach for Learning Interactive Bayesian Models

Dit artikel stelt een datagedreven aanpak voor die gebruikmaakt van een interactief gegeneraliseerd dynamisch Bayesiaans netwerk (I-GDBN) en een interactieve Markov-sprong-deeltjesfilter (I-MJPF) om toekomstige LiDAR-sensorblokkeringen te voorspellen en afwijkingen in autonome voertuigen te detecteren door interacties tussen meerdere voertuigen te modelleren via een hoog-niveau vocabulaire.

Oorspronkelijke auteurs: Saleemullah Memon, Ali Krayani, Pamela Zontone, Lucio Marcenaro, David Martin Gomez, Carlo Regazzoni

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Saleemullah Memon, Ali Krayani, Pamela Zontone, Lucio Marcenaro, David Martin Gomez, Carlo Regazzoni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zelfrijdende auto voor als een persoon die probeert een drukke straat te navigeren terwijl hij een blinddoek draagt die af en toe door een hand wordt bedekt. Meestal scannen de "ogen" van de auto (de LiDAR-sensoren) de wereld met laserstralen om te zien waar andere auto's en mensen zich bevinden. Maar soms blokkeren een grote bus, een voetganger of zelfs slecht weer die lasers. Als dat gebeurt, raakt de auto blind, wat gevaarlijk is.

Dit artikel stelt een slimme manier voor om de auto te leren voorspellen wanneer hij op het punt staat blind te worden, zodat hij zich kan voorbereiden voordat de blokkade daadwerkelijk plaatsvindt. Hieronder wordt uitgelegd hoe ze dit deden, opgesplitst in eenvoudige stappen:

1. Het "Herinneringsboek" (De regels leren)

Eerst leerden de onderzoekers de computer hoe auto's bewegen. Ze keken niet alleen naar ruwe laserdata; ze zetten de beweging van elke auto om in een simpel "verhaal" of een vocabulaire.

De Analogie: Stel je voor dat je naar een dans kijkt. In plaats van elke kleine spiertrekking op te nemen, noteer je gewoon de stappen: "Stap links, draai, spring."
De Methode: Ze gebruikten een slimme tool genaamd GNG (Growing Neural Gas) om vergelijkbare bewegingen te groeperen in "clusters". Elke cluster is als een woord in een woordenboek. Een soepele, normale rit is een zin gemaakt van normale woorden. Een auto die plotseling achter een bus verdwijnt, is een zin met een "ontbrekend woord" of een "dummy-woord".

2. De "Groepschat" (Interacties leren)

Auto's bewegen niet geïsoleerd; ze interageren. Als een bus stopt, moeten de auto's erachter ook vertragen.

De Analogie: Denk aan een groepschat. Als Persoon A zegt "Ik stop", weet Persoon B dat hij ook moet stoppen. De onderzoekers bouwden een systeem waarbij de "woorden" (bewegingspatronen) van verschillende auto's worden gecombineerd tot een globaal vocabulaire.
Het Resultaat: Ze creëerden een speciaal model genaamd een I-GDBN (Interactive Generalized Dynamic Bayesian Network). Dit is als een super-slim regelenboek dat niet alleen begrijpt hoe één auto beweegt, maar hoe de hele groep auto's samen beweegt. Het leert de "grammatica" van het verkeer.

3. De "Kristallen Bal" (De toekomst voorspellen)

Nu is het systeem klaar om getest te worden. Wanneer er een nieuwe auto op de weg verschijnt, moet het systeem raden wat er als volgende gaat gebeuren.

Het juiste boek kiezen: Het systeem kijkt naar de huidige positie van de auto en vraagt: "Welk van onze herinneringsboeken (modellen) lijkt deze auto het meest?" Het kiest de beste match (een "normaal rijden"-boek of een "blokkade"-boek).
De deeltjesfilter: Om de toekomst te voorspellen, gebruikt het systeem een methode genaamd I-MJPF. Stel je voor dat je duizenden kleine darten (deeltjes) op een bord gooit. Elke dart vertegenwoordigt een mogelijke toekomstige route. Sommige darten landen op "normaal rijden", anderen op "worden geblokkeerd". Het systeem weegt deze darten op basis van de regels die het eerder heeft geleerd. Als de darten beginnen te clusteren rond een "blokkade"-scenario, weet het systeem dat er een blokkade aankomt.

4. Het "Zelfbewustzijn" (Weten wat je niet weet)

Het coolste deel is dat dit systeem "zelfbewust" is.

De Analogie: Als je loopt en je zicht wordt geblokkeerd, kan een normale persoon in paniek raken. Een "zelfbewuste" persoon denkt: "Ah, ik kan nu niet zien, maar ik herinner me waar ik laatst was, dus ik kan raden waar ik zal zijn."
Het Resultaat: Zelfs als de sensoren falen of de auto uit het zicht verdwijnt, kan het systeem zeggen: "Ik voorspel dat hier een blokkade plaatsvindt," en de waarschijnlijke route van de auto blijven volgen met zijn interne logica, in plaats van gewoon op te geven.

Samenvatting van wat ze beweren

Het probleem: Sensoren worden geblokkeerd, waardoor auto's hun omgeving uit het oog verliezen.
De oplossing: Een datagedreven systeem dat het "vocabulaire" van verkeersbewegingen en interacties leert.
Het resultaat: Het systeem kan voorspellen wanneer een sensor geblokkeerd zal worden voordat het gebeurt, en kan "afwijkingen" (zoals een auto die achter een obstakel verdwijnt) detecteren door real-time data te vergelijken met zijn geleerde regels.
Het voordeel: Het maakt het systeem beter verklaarbaar (we weten waarom het een voorspelling deed) en aanpasbaar, waardoor het situaties aankan waarin sensoren geen data leveren.

Kortom, ze leerden de auto de "lichaamstaal" van het verkeer zo goed te lezen dat het kan voorspellen wanneer zijn eigen zicht wordt geblokkeerd, waardoor het veilig blijft zelfs als het niet kan "zien".

1. Probleemstelling

Autonome voertuigen (AV's) en Intelligent Transportation Systems (ITS) vertrouwen sterk op sensoren zoals LiDAR voor waarneming, lokalisatie en besluitvorming. Een kritieke uitdaging in deze systemen is sensorblokkage of occlusie, waarbij fysieke objecten (bijvoorbeeld bussen, voetgangers, andere voertuigen) of ongunstige weersomstandigheden het gezichtsveld van de sensor belemmeren.

Gevolgen: Blokkages leiden tot dataverlies, wat storingen veroorzaakt in tracking, navigatie en obstakeldetectie.
Beperkingen van bestaande oplossingen: Huidige AI/Deep Learning-benaderingen (bijvoorbeeld CNN's, RNN's) voor blokkagevoorspelling lijden vaak onder:
- Hoge computationele complexiteit.
- De noodzaak van grote hoeveelheden gelabelde data.
- Gebrek aan "zelfbewustzijn" en verklaarbaarheid (black-box aard).
- Moeite met het hanteren van interacties tussen meerdere dynamische objecten in real-time.

Het artikel stelt een oplossing voor om toekomstige LiDAR-blokkages te voorspellen en hoogwaardige afwijkingen voordat ze optreden te detecteren, waardoor proactieve systeemreacties mogelijk worden.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor gebaseerd op een Interactive Generalized Dynamic Bayesian Network (I-GDBN) gecombineerd met een Interactive Markov Jump Particle Filter (I-MJPF). De methodologie werkt in twee fasen: Offline Learning en Online Testing.

A. Data Preprocessing & Tracking

Dataset: Gebruik wordt gemaakt van de "Deep Sense 6G" dataset (Scenario 32), met real-world straatniveau Vehicle-to-Infrastructure (V2I) data met 3D LiDAR point clouds.
Preprocessing: Ruwe point clouds worden gefilterd (grondverwijdering, bijsnijden, denoising) om dynamische objecten te extraheren.
Tracking: Een Joint Probabilistic Data Association Filter (JPDAF) wordt gebruikt om meerdere voertuigen te volgen, waarbij de onzekerheid van het koppelen van waarnemingen aan objecten wordt verwerkt.
- Normale Tracks: Continue trajecten zonder blokkage.
- Abnormale Tracks: Trajecten die verdwijnen (door blokkage) en weer verschijnen. Een herassociatie-algoritme voorspelt ontbrekende posities voor deze tracks.

B. Offline Learning Fase

Generalized States (GS) Extractie: Een Unmotivated Kalman Filter (UMKF) verwerkt getrackte voertuigen om GS-vectoren (positie en snelheid) te genereren.
GNG Clustering: Een ongesuperviseerd Growing Neural Gas (GNG) algoritme cluster de GS's voor elk voertuig.
- Dit creëert een "woordenschat" waarbij elke cluster een discrete toestand (knooppunt) in een GDBN vertegenwoordigt.
- Transitiematrices (TMs) worden geleerd om de waarschijnlijkheid van het bewegen tussen clusters te modelleren.
Omgaan met Blokkages: Voor abnormale tracks worden dummy clusters geïntroduceerd op blokkeerlocaties. De TMs worden bijgewerkt op basis van herassociatiekansen om specifieke "blokkage-woordenschat" te creëren.
Interactie Modelleren (I-GDBN Constructie):
- Een hoger abstractieniveau wordt gecreëerd om interacties tussen meerdere voertuigen te modelleren.
- Cluster Koppeling: Discrete toestanden ( $S_t$ ) van individuele voertuigen worden gecombineerd tot globale "woorden" ( $G_t$ ).
- Een Globale Woordenschat en Globale Transitie Matrix worden gegenereerd, die de gezamenlijke toestand van de omgeving vertegenwoordigen (bijvoorbeeld Voertuig A in toestand 2 EN Voertuig B in toestand 3 = Woord 10).

C. Online Testing Fase

Generative Model Selectie: Voor een nieuwe testtrack berekent het systeem de Eucclidische afstand tussen de huidige 3D-posities en de clustergemiddelden van alle getrainde GDBN-modellen (zowel normale als blokkagemodellen). Het model met de minimale fout ( $m^*$ ) wordt geselecteerd.
Inferentie via I-MJPF: Een Interactive Markov Jump Particle Filter wordt ingezet om toekomstige toestanden te infereren:
- Deeltjes vertegenwoordigen hypothesen van de systeemtoestand.
- De filter steekt woorden uit de kansverdeling van het geselecteerde I-GDBN.
- Het voorspelt toekomstige posities en detecteert afwijkingen door voorspelde "woorden" te vergelijken met waargenomen data.

3. Belangrijkste Bijdragen

I-GDBN Framework: Stelt een probabilistisch, data-gedreven model voor dat interacties tussen meerdere voertuigen leert, van laag-niveau waarnemingen naar hoog-niveau abstracties.
Zelfbewuste Woordenschat: Introduceert een mechanisme om de woordenschat van het model te wijzigen door "dummy nodes" op te nemen voor blokkagescenario's, waardoor het systeem occlusies kan leren en voorspellen.
Optimale Model Selectie: Implementeert een dynamische selectiestrategie tijdens het testen om het beste generatieve model (normaal versus blokkage) te kiezen op basis van real-time foutminimalisatie, wat de voorspellingnauwkeurigheid verbetert.
Verklaarbaarheid: In tegenstelling tot black-box deep learning-modellen, biedt de I-GDBN een interpreteerbare structuur waarbij transities en onzekerheden expliciet worden gemodelleerd, wat het zelfbewustzijn versterkt.

4. Simulatie Resultaten

Het systeem werd geëvalueerd met de Deep Sense 6G dataset:

Normale Scenario's: Het model selecteerde succesvol het beste generatieve model (bijvoorbeeld ID-51 voor enkele tracks, ID's 267/321 voor interactieve tracks), wat resulteerde in voorspelde woorden die sterk overeenkwamen met geschatte woorden met minimale afwijkingen.
Blokkage Scenario's:
- Wanneer een blokkage op een bekende locatie optrad, selecteerde het systeem een vooraf getraind blokkagemodel (ID-1000) en voorspelde de blokkage nauwkeurig met een lage fout.
- Beperking: In "nieuwe" situaties waarbij de blokkageduur de trainingsdata overschreed (bijvoorbeeld frames 18–22 in de test), detecteerde het systeem afwijkingen omdat de specifieke duur niet volledig was vastgelegd in het model, hoewel het toch het juiste blokkagemodel-ID gebruikte.
Meting: Prestaties werden gemeten met behulp van de Hamming-afstand (binair 0 voor overeenkomst, 1 voor afwijking) tussen voorspelde en geschatte woorden.

5. Betekenis en Toekomstig Werk

Veiligheid & Proactiviteit: De benadering stelt AV's in staat om sensorstoringen te anticiperen in plaats van er alleen op te reageren, wat proactieve besluitvorming mogelijk maakt (bijvoorbeeld vertragen of van rijbaan veranderen voordat een sensor volledig wordt afgeschermd).
Verklaarbare AI (XAI): Door het gebruik van probabilistische grafische modellen biedt het systeem transparantie in waarom een blokkage werd voorspeld, wat cruciaal is voor veiligheidskritieke autonome systemen.
Toekomstige Richtingen: De auteurs suggereren het uitbreiden van het raamwerk naar Integrated Sensing and Communication (ISAC) systemen door 3D LiDAR-data te fuseren met communicatiesignalen voor een verbeterde omgevingswaarneming.

Kortom, dit artikel presenteert een robuust, interpreteerbaar en adaptief raamwerk voor het voorspellen van LiDAR-blokkages in multi-voertuigomgevingen, waarmee de kloof wordt overbrugd tussen laag-niveau sensordata en hoog-niveau situational awareness.