OD-RASE: Ontology-Driven Risk Assessment and Safety Enhancement for Autonomous Driving

Dit paper introduceert OD-RASE, een raamwerk dat een ontologie en grote visuele taalmodellen combineert om proactief onveilige wegstructuren te identificeren en verbeteringsvoorstellen te genereren, waardoor de veiligheid van autonome voertuigen wordt verhoogd en de reactieve aanpak van verkeersveiligheid wordt doorbroken.

De kern

Het Probleem: De "Reparatie-na-Breuk" Methode

Stel je voor dat je een auto rijdt, maar de wegen zijn zo ontworpen dat ze alleen werken als je een heel ervaren, menselijke bestuurder bent. Soms zijn er bochten die te strak zijn, verkeerslichten die je niet ziet, of kruispunten die verwarrend zijn.

Op dit moment werken we op een reactieve manier: we wachten tot er een ongeluk gebeurt. Pas nadat er een crash is, komen experts (zoals verkeersplanners) kijken en zeggen: "Oh, deze bocht is gevaarlijk, laten we hem verbreden."

Het probleem voor zelfrijdende auto's is dat ze niet kunnen wachten tot er een ongeluk gebeurt om te leren. Ze moeten proactief zijn. Ze moeten de gevaarlijke plekken zien voordat er iets misgaat. Maar hoe leer je een computer om die gevaarlijke plekken te herkennen als er nog geen ongelukken zijn gebeurd?

De Oplossing: OD-RASE (De "Verkeers-Detective")

De onderzoekers van deze paper hebben een slim systeem bedacht genaamd OD-RASE. Je kunt dit zien als een super-slimme verkeers-detective die twee dingen doet:

1. Hij kijkt naar een foto van een weg en zegt: "Hier is iets mis, dit is een gevaarlijke structuur."
2. Hij zegt direct: "En hier is hoe we het kunnen repareren," en tekent zelfs een plaatje van hoe de weg er straks uit moet zien.

Hoe werkt het? (De Drie Stappen)

1. De "Regelboek" (De Ontologie)

Stel je voor dat je een AI wilt leren om wegen te beoordelen. Als je de AI zomaar laat praten, zal hij misschien gekke dingen zeggen, zoals "Laten we de weg in een cirkel draaien" of "We moeten de bomen verplaatsen."

Om dit te voorkomen, hebben de onderzoekers eerst een digitale regelboek gemaakt. Dit noemen ze een ontologie.

• De Analogie: Denk aan een kookboek voor een meester-kok. Het boek zegt niet alleen "kook de pasta," maar ook: "Als de saus te dun is, voeg dan bloem toe, niet suiker."
• In dit geval hebben experts (mensen die al 40 jaar aan wegen werken) alle mogelijke gevaarlijke situaties en de juiste oplossingen in dit boek gezet. Er zijn bijvoorbeeld 11 soorten "gevaarlijke wegen" en 10 soorten "reparaties".

2. De "AI-Kok" met een Controleur (LVLM + Filtering)

Vervolgens gebruiken ze een heel krachtige AI (een zogenaamde Large Visual Language Model of LVLM), die we kunnen vergelijken met een super-snelle, creatieve kok.

• Deze AI kijkt naar een foto van een weg en bedenkt direct een oplossing.
• Maar: Deze AI is soms te creatief en bedenkt dingen die niet werken in de echte wereld.

Daarom komt de Controleur (het regelboek uit stap 1) in beeld.

• De AI's voorstel wordt vergeleken met het regelboek.
• De Analogie: Stel je voor dat de AI zegt: "Laten we de weg vervangen door een glijbaan!" De controleur kijkt in het boek en zegt: "Nee, dat staat niet in de regels. Glijbanen zijn geen oplossing voor wegen." De AI moet dan zijn voorstel aanpassen tot iets dat wel in het boek staat, zoals "Verbreed de rijbaan."
• Dit proces zorgt ervoor dat alleen de betrouwbare en slimme suggesties overblijven. Hierdoor ontstaat er een perfecte dataset om de computer te trainen.

3. De "Tijdmachine" (Diffusiemodel)

Het laatste stukje is misschien wel het coolste. De AI kan niet alleen zeggen wat er mis is, maar ook laten zien hoe het eruit ziet als het goed is.

• Ze gebruiken een techniek (een diffusiemodel) die werkt als een tijdmachine of een magische pen.
• Als de AI zegt: "Deze bocht is te strak, we moeten hem verbreden," dan tekent de AI direct een nieuwe foto van die bocht, maar dan met extra ruimte en betere borden.
• Dit helpt gewone mensen (zoals burgemeesters of buurtbewoners) om het idee direct te begrijpen, zonder dat ze technische tekeningen hoeven te lezen.

Waarom is dit belangrijk?

Vroeger moesten we wachten tot er een ongeluk gebeurde om te leren. Met OD-RASE kunnen we:

1. Gezond verstand in de computer stoppen: Door het regelboek van experts te gebruiken, leren we de AI om net als een expert te denken.
2. Veiligheid verhogen: Zelfrijdende auto's kunnen straks gevaarlijke wegen herkennen voordat ze er zelfs maar bij zijn.
3. Betere wegen bouwen: Steden kunnen zien hoe een weg eruit zou zien na een verbetering, waardoor het makkelijker is om beslissingen te nemen.

Samenvattend

De onderzoekers hebben een systeem gebouwd dat leert van experts (via het regelboek), fouten filtert (zodat de AI niet gekke dingen doet) en visueel laat zien hoe een veilige toekomst eruit ziet. Het is een stap in de richting van een wereld waar zelfrijdende auto's niet alleen slim zijn, maar ook leven in een omgeving die speciaal voor hen is ontworpen.

Technische samenvatting

Probleemstelling

Hoewel autonome rijsystemen (ADS) een hoge prestatie leveren in perceptie en situational awareness, blijven ze beperkt in het omgaan met zeldzame situaties en complexe verkeersinfrastructuur. Bestaande infrastructuur is ontworpen voor menselijke bestuurders, en veiligheidsverbeteringen worden vaak pas reactief geïntroduceerd nadat ongelukken hebben plaatsgevonden. Experts analyseren dan de oorzaken en stellen oplossingen voor. Voor autonome systemen is deze reactieve aanpak echter ontoereikend; er is behoefte aan een proactieve risicobeperking. Het is essentieel om potentiële risico's in de verkeersomgeving te identificeren en te mitigeren voordat ze leiden tot kritieke situaties of ongelukken.

Methodologie

De auteurs stellen OD-RASE voor, een raamwerk dat de veiligheid van autonome systemen verbetert door verkeersstructuren die ongelukken veroorzaken te detecteren en deze te koppelen aan concrete infrastructuurverbeteringen. De aanpak bestaat uit drie hoofdfasen:

1. Ontologie-gedreven Dataset Constructie

Omdat er geen bestaande dataset is die verkeersbeelden koppelt aan infrastructuurverbeteringsvoorstellen, bouwen de auteurs een nieuwe dataset:

• Expertkennis & Ontologie: Er wordt een ontologie opgesteld op basis van gespecialiseerde kennis van verkeerssystemen. Experts hebben 390+ casussen geanalyseerd, wat resulteerde in 11 types verkeersstructuren die ongelukken veroorzaken en 10 types tegenmaatregelen.
• Generatie met LVLM: Een Large Visual Language Model (LVLM), specifiek GPT-4o, wordt gebruikt om voorstellen voor infrastructuurverbetering te genereren op basis van verkeersbeelden. Dit gebeurt via een G2CoT (Graph-Based Grounded Chain-of-Thought) prompt. Het model doorloopt vier stappen: risicoanalyse, identificatie van oorzakelijke factoren, simulatie van het ongeluksproces en het genereren van een verbeterplan.
• Ontologie-gedreven Filtering: De gegenereerde voorstellen worden niet zomaar gebruikt. Ze worden getoetst aan de expert-ontologie. Zowel de ontologie als de gegenereerde voorstellen worden gemodelleerd als grafen. Door grafmatching (het vinden van de doorsnede van knopen en randen) worden voorstellen die niet overeenkomen met expertkennis gefilterd en verwijderd. Dit garandeert de kwaliteit en betrouwbaarheid van de dataset.

2. Het OD-RASE Model

Het model is een multimodale architectuur die bestaat uit:

• Image Encoder: Verwerkt verkeersbeelden (bijv. ResNet-50, ViT, Long-CLIP).
• Text Encoder: Verwerkt tekstuele beschrijvingen van risico's (bijv. RoBERTa-Base, Long-CLIP).
• Grounding Block: Een module die semantische relaties tussen beeld en tekst vastlegt via multi-head cross-attention.
• Diffusion Model: Voor visuele interpretatie. Het model gebruikt Instruct Pix2Pix om, gebaseerd op de voorspelde verbeterplannen, visuele representaties van de verbeterde weg te genereren. Dit helpt niet-experts (zoals stadsplanners) om de voorgestelde wijzigingen intuïtief te begrijpen.

Het model wordt getraind als een multi-label classificatie taak om zowel de oorzaak van ongelukken als de bijbehorende verbeterplannen te voorspellen.

3. Evaluatie

De methode is getest op de datasets Mapillary Vistas en BDD100K. De evaluatie omvat kwantitatieve metrics (Precision, Recall, F1-Score, Accuracy) en kwalitatieve beoordeling van de gegenereerde beelden.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Een systeem dat proactief verkeersstructuren identificeert die ongelukken veroorzaken en deze koppelt aan infrastructuurverbeteringen, voordat ongelukken gebeuren.
2. Expert-Ontologie: Formalisering van verkeerskennis in een ontologie die dient als grondslag voor het structureren van data en het filteren van AI-gegenereerde content.
3. Geautomatiseerde Dataset met Filtering: Een methode om een hoogwaardige multimodale dataset te construeren door LVLM-outputs te filteren via expert-gebaseerde grafen, wat de betrouwbaarheid van de data aanzienlijk verhoogt.
4. Visuele Validatie: Integratie van een diffusion model om verbeterplannen visueel te maken, wat de communicatie tussen stakeholders vergemakkelijkt.

Resultaten

• Prestatie: Het OD-RASE model (met Long-CLIP als visuele encoder en RoBERTa-Base als tekst-encoder) bereikte de beste prestaties. Op de Mapillary-testset werd een F1-Score van 70,26% en een Accuracy van 42,14% bereikt voor het voorspellen van verbeterplannen.
• Effectiviteit van Filtering: Zonder de ontologie-gedreven filtering daalde de accuracy naar 0,00%, terwijl de F1-Score wel hoog was (44,26%), wat wijst op veel vals-positieven. Met filtering verbeterde de nauwkeurigheid aanzienlijk, wat aantoont dat de filtering essentieel is voor het leren van correcte patronen.
• Zero-Shot Generalisatie: Het model toonde hoge robustheid bij zero-shot voorspellingen op datasets waar het niet op was getraind (bijv. getraind op BDD100K, getest op Mapillary).
• Vergelijking met Algemene Modellen: Algemene Large Language/Vision Models (zoals GPT-4o, LLaVA-1.5, Qwen2-VL) presteerden aanzienlijk slechter (F1-Scores rond de 20-30%) dan het gespecialiseerde OD-RASE model. Dit bevestigt dat algemene modellen niet voldoende domeinkennis hebben om specifieke infrastructuurrisico's en -oplossingen te identificeren.
• Visuele Output: De gegenereerde beelden van verbeterde wegen werden door experts beoordeeld als "Full" of "Partial" faithful ten opzichte van de prompts, wat aantoont dat het model visueel betekenisvolle aanpassingen kan maken.

Betekenis en Impact

Dit werk markeert een belangrijke stap in de evolutie van verkeersveiligheid voor autonome systemen. In plaats van alleen te focussen op de perceptie van het voertuig, richt OD-RASE zich op het verbeteren van de omgeving zelf.

• Het biedt een proactieve aanpak om ongelukken te voorkomen door infrastructuur aan te passen voordat een autonoom voertuig erdoor wordt verrast.
• Het creëert een brug tussen data-gedreven AI en expertkennis, waarbij AI de schaalbaarheid biedt en experts de kwaliteit garanderen.
• De visuele output maakt het mogelijk dat niet-technische stakeholders (gemeenten, burgers) de noodzaak en het effect van infrastructuurverbeteringen direct kunnen zien, wat de implementatie van veiligere verkeersomgevingen kan versnellen.

Kortom, OD-RASE draagt bij aan een bredere adoptie van autonoom rijden door de onderliggende infrastructuur veiliger en beter geschikt te maken voor machines.