Guiding Neuro-Symbolic Scenario Generation with Spatio-Temporal Logic

Technische Samenvatting: Gids voor Neuro-Symbolische Scenario-Generatie met Spatio-Temporale Logica

Probleemstelling
De snelle vooruitgang van technologieën voor autonoom rijden (AD) heeft de ontwikkeling van robuuste methoden voor veiligheidsbeoordeling ingehaald. Conventionele testen vertrouwen op brute-kracht blootstelling aan enorme aantallen verkeerscenario's uit de echte wereld, een strategie die onbetaalbaar duur is en statistisch inefficiënt om zeldzame, veiligheidskritieke randgevallen te vangen. Hoewel diepe generatieve modellen, met name Diffusiemodellen (DM's), een veelbelovend alternatief bieden voor het synthetiseren van realistische trajecten voor meerdere agenten, missen ze mechanismen om de generatie expliciet te sturen naar specifieke, veiligheidskritieke gedragingen zonder hertraining. Bestaande benaderingen voor sturing hebben vaak moeite met de spatio-temporale en multi-agent complexiteit van verkeersdomeinen. Bovendien staan formele methoden zoals Signal Temporal Logic (STL) vooruit voor uitdagingen op het gebied van schaalbaarheid en interpreteerbaarheid in multi-agent systemen vanwege de combinatorische explosie die nodig is om interacties tussen heterogene agenten te specificeren. Er blijft een kritieke kloof bestaan in het definiëren van kwantitatieve robuustheid voor eigenschappen die categorische attributen betreffen (bijvoorbeeld voertuigtypes), wat het gebruik van formele logica als een differentieerbaar doel voor optimalisatie beperkt.

Methodologie
De auteurs stellen STRELGen voor, een schaalbaar raamwerk dat op synergetische wijze een diffusiemodel voor trajectgeneratie voor meerdere agenten combineert met Colored Spatio-Temporal Reach and Escape Logic (CSTREL). De methodologie werkt in drie hoofdfasen:

1. Basislijn voor Trajectgeneratie: Het systeem maakt gebruik van een Latent Diffusion Model (LDM) gebaseerd op de architectuur uit [23]. Dit model genereert gezamenlijk toekomstige trajecten voor alle agenten, geconditioneerd op de context van het tafereel (kaarten, geschiedenis, interacties) die is gecodeerd via een voorgetraind QCNet. De auteurs maken gebruik van de impliciete formulering (DDIM) om ervoor te zorgen dat het omgekeerde proces deterministisch is, wat stabiele gradiënt-backpropagatie faciliteert.
2. Colored STREL (CSTREL): Om de beperkingen van standaard Spatio-Temporal Logic (STL) met betrekking tot categorische predicaten aan te pakken, introduceren de auteurs CSTREL. Deze logica partitioneert het ruimtelijke graf in kleurspecifieke subgrafieën op basis van agentattributen (bijvoorbeeld auto, voetganger, fiets).
   • Differentieerbare Semantiek: CSTREL breidt STL uit door een kleuringfunctie $p: L \times \mathbb{R}^+ \to C$ te definiëren. Het introduceert "Gekleurde Atomen" en "Gekleurde Bereik/Ontsnapping"-operatoren die padzoektochten beperken tot knopen die overeenkomen met specifieke kleursets. Cruciaal maakt deze uitbreiding het mogelijk om continue robuustheidswaarden af te leiden, zelfs vanuit discrete categorische attributen, waardoor de logica volledig differentieerbaar wordt.
   • Implementatie: Er is een PyTorch-bibliotheek ontwikkeld om deze robuustheidswaarden te berekenen, wat gradiëntgebaseerde optimalisatie mogelijk maakt.
3. Sturing in de Latente Ruimte: Tijdens de inferentie optimaliseert het raamwerk de latente invoer $z$ van het voorgetrainde diffusiemodel om de voldoening van een CSTREL-formule $\phi$ te maximaliseren.
   • Doelfunctie: De optimalisatie maximaliseert een robuustheidsmetriek $\rho_\phi(G_\theta(z))$. Voor veiligheidskritieke scenario's wordt de maximale robuustheid over agenten beoogd; voor realisme wordt het minimum gebruikt.
   • Regularisatie: Om te voorkomen dat de optimalisatie afdrijft naar gebieden met lage waarschijnlijkheid in de latente ruimte (off-manifold samples), wordt een regularisatieterm toegevoegd die evenredig is met de log-waarschijnlijkheid van de latente invoer (onder de aanname van een standaard Gaussische prior). De uiteindelijke doelstelling is $J(z) = \rho_\phi(G_\theta(z)) - \lambda \frac{1}{2}\|z\|_2^2$.

Belangrijkste Bijdragen

1. Colored STREL: Een nieuwe uitbreiding van STL die ruimtelijke grafen partitioneert op basis van knoopattributen. Dit maakt het mogelijk om complexe ruimtelijke eigenschappen over specifieke klassen van objecten te bewaken terwijl continue robuustheidsemantiek behouden blijft, waardoor het probleem van ongedefinieerde kwantitatieve semantiek voor categorische data wordt opgelost.
2. Differentieerbaar Sturingsraamwerk: Een methode die CSTREL-specificaties gebruikt als doelfuncties om de latente ruimte van generatieve modellen direct te optimaliseren. Dit maakt het mogelijk om trajecten te produceren die voldoen aan spatio-temporale eisen zonder hertraining van het model.
3. Veiligheidskritieke Data-Augmentatie: Een strategie om diverse, realistische en veiligheidskritieke scenario's te genereren die ondervertegenwoordigd zijn in data uit de echte wereld, waarbij consistentie met verkeersregels wordt gewaarborgd en onrealistische output wordt voorkomen door middel van likelihood-regularisatie.

Resultaten
De aanpak is geëvalueerd op de Argoverse 2 Motion Forecasting Dataset met behulp van drie representatieve veiligheidskritieke scenario's: een snelle voertuig dat een kwetsbare weggebruiker bereikt, een snelle voertuig dat een langzaam voertuig voor zich vindt, en een snelle auto die wordt omringd door langzame auto's.

• Sturingseffectiviteit: STRELGen slaagde er succesvol in het diffusiemodel te sturen om trajecten te produceren die voldeden aan de beoogde CSTREL-specificaties. Bij ongestuurde sampling waren slechts ongeveer 13,6% van de scenario's uitdagend (positieve robuustheid), terwijl de gestuurde aanpak 100% voldoening bereikte.
• Veiligheidsmetrieken: De gestuurde generatie produceerde consequent lagere mediaan-minimale onderlinge afstanden tussen agenten en een hoger aantal potentiële botsingen in vergelijking met de standaardbasislijn, wat de generatie van veiligheidskritieke gedragingen bevestigt.
• Plausibiliteit: Kwalitatieve analyse en het gebruik van likelihood-regularisatie zorgden ervoor dat de gegenereerde trajecten fysiek plausibel bleven en in lijn waren met de weggeometrie, waardoor hallucinaties buiten het manifold werden vermeden. De methode slaagde erin de op specificaties gebaseerde optimalisatie in evenwicht te brengen met het behoud van fysieke beperkingen.

Betekenis
Het artikel beweert dat STRELGen een flexibel, interpreteerbaar en krachtig hulpmiddel biedt voor stress-testen van systemen voor autonoom rijden. Door de kloof te overbruggen tussen datagedreven generatieve modellen en formele logica, gaat het raamwerk voorbij aan de beperkingen van brute-kracht dataverzameling. Het maakt een systematische beoordeling mogelijk van de dekking van generatieve modellen met betrekking tot zeldzame gebeurtenissen en stelt gerichte generatie van veiligheidskritieke scenario's binnen de geleerde data-distributie mogelijk. De auteurs stellen dat deze aanpak de creatie faciliteert van rigoureuze testomgevingen die essentieel zijn voor het valideren van robuustheid in de echte wereld, en een weg biedt naar een betrouwbaardere inzet van autonome voertuigen.