VideoGAN-based Trajectory Proposal for Automated Vehicles

Technische Samenvatting: VideoGAN-gebaseerde Trajectvoorstel voor Autonome Voertuigen

Probleemstelling
De kernuitdaging die in dit werk wordt aangepakt, is het genereren van realistische, statistisch nauwkeurige trajectopties voor autonome voertuigen (AV's). Hoewel trajectvoorspelling en -planning cruciaal zijn voor hooggeautomatiseerd rijden, kampen bestaande methoden met beperkingen. Klassieke regelgebaseerde benaderingen hebben moeite met het modelleren van de complexe, hoogdimensionale en multimodale distributies die de gezamenlijke gedragingen van meerdere agenten in interactieve omgevingen beheersen. Daartegenover staat dat, hoewel deep learning (DL)-modellen, in het bijzonder generatieve modellen zoals Diffusion-modellen en Generative Adversarial Networks (GANs), uitblinken in het vastleggen van diverse toekomsten, veel ruimtelijk gegronde benaderingen (die rekening houden met lay-outbeperkingen en contextuele aanwijzingen) vertrouwen op attention-gebaseerde architecturen die de voordelen van distributiemodellering niet volledig benutten. Bov�aling is er een behoefte aan methoden die variabel-lengte trajecten kunnen afhandelen (agenten die de scène binnenkomen of verlaten) en fysieke realiteit kunnen handhaven met betrekking tot veiligheidsafstanden en naleving van verkeerssignalen, zonder de hoge computationele kosten die gepaard gaan met diffusion-modellen.

Methodologie
De auteurs stellen een driestaps-pipeline voor die ruimtelijk gegronde representatie combineert met videogeneratie:

1. Rasterisatie van Abstracte Data:
   De pipeline zet abstracte verkeersdata van de Waymo Open Motion Dataset om in lage-resolutie Bird's-Eye View (BEV) occupancy grid video's. Dit proces omvat:

• Het extraheren van weg-middellijnen, tijdvariërende verkeerslichttoestanden en agent-data (centrumcoördinaten, koers, bounding box-grootte).
• Het renderen van deze elementen in beeldcoördinaten gecentreerd op het ego-voertuig. Weg-middellijnen worden gerenderd als grijze lijnen; verkeerslichten als gekleurde cirkels; en agenten als rechthoeken.
• Het ego-voertuig wordt in zwart gerenderd, terwijl andere agenten willekeurige kleuren krijgen uit een HSV-subruimte om verwarring met verkeerslichten of wegmarkeringen te voorkomen.
• De output is een dataset van lage-resolutie BEV-video's (bijv. 54 × 96 pixels) die verkeersscènes representeren.

2. VideoGAN Training:
   Een video generatief model, specifelijk een VideoGAN (gebaseerd op LongVideoGAN), wordt getraind op de gerasteriseerde occupancy grid video's. De auteurs kozen voor GANs boven diffusion-modellen om de training- en inferentietijden te prioriteren, waarbij zij opmerken dat hoewel diffusion-modellen een hogere visuele getrouwheid bieden, dit minder kritiek is voor trajectvoorstel waarbij fysieke plausibiliteit en rijbaarheid de primaire metrieken zijn. Het model leert om dynamisch coherente scènes van willekeurige lengte te genereren.

3. Trajectextractie:
   Abstracte trajectdata worden geëxtraheerd uit de gegenereerde video's met behulp van een post-processing pipeline:

• Objectdetectie: Frames worden omgezet naar de HSV-kleftenruimte. Maskers worden toegepast om verkeerslichten (rood, groen, geel) en agenten te isoleren. Een specifieke maskeringstechniek vervangt de kleuren van de verkeerslichten door de onderliggende bezette kleur (bijv. voertuig of weg) om de detectie van agenten die onder de lichten doorrijden te verbeteren. Morfologische opening vlakt contouren af en ruimtelijke kenmerken (centrum, grootte, vorm) worden geëxtraheerd.
• Object Matching: Identiteiten worden over frames gevolgd met behulp van een kostenmatrix gebaseerd op ruimtelijke nabijheid, kleurgelijkenis, aspectratio en typeconsistentie.
• Trajectverrijking: Persistente ID's worden toegewezen en de instantane snelheid en versnelling ten opzichte van het ego-voertuig worden berekend via interpolatie.

Belangrijkste Bijdragen

• Generatieve en Ruimtelijk Gegronde Pipeline: De auteurs presenteren een methode die de distributiemodellering van generatieve modellen benut, terwijl de ruimtelijke lay-outbeperkingen van BEV-representaties behouden blijven.
• Aanpasbare Rasterisatie: Een pipeline om abstracte verkeersdata om te zetten in lage-resolutie BEV occupancy grid video's, wat een hoge mate van aanpasbaarheid biedt voor de samenstelling van scènes (bijv. het verhogen van de frequentie van bochtscenario's).
• Extractieprocedure: Een ontwikkelde procedure om abstracte data met betrekking tot verkeerslichten en weggebruikers te extraheren uit de gegenereerde videovoorspellingen middels frame-voor-frame detectie en matching.
• Efficiëntie: Het systeem bereikt inferentietijden van ongeveer 20 ms voor een scène van 15 seconden, wat het geschikt maakt voor real-time toepassingen, waarbij de training binnen 100 GPU-uren werd voltooid.

Resultaten
De auteurs evalueerden de gegenereerde trajecten tegen de grondwaarheid (ground truth) van de Waymo Open Motion Dataset met behulp van zowel kwalitatieve als kwantitatieve metrieken:

• Kwalitatieve Analyse: Gegenereerde scènes vertoonden realistische weglijnen, weggebruiker-dynamiek en interacties met verkeerslichten. Agenten werden waargenomen terwijl ze wachtten bij rode lichten, doorreden bij groene lichten en veilige afstanden bewaarden. Het model modelleerde succesvol complexe gedragingen zoals afslaan bij kruispunten en het in- en uitgaan van de scène door agenten, hoewel incidentele identiteitsverandering (splitsing of fusie) werd waargenomen nabij kruisingen.
• Kwantitatieve Analyse (Statische Parameters):
  • Objectafmetingen: De distributie van agent-groottes in gegenereerde video's was bimodal en vergelijkbaar met echte data, hoewel gegenereerde voertuigen gemiddeld 10% groter waren.
  • Afstanden en Dichtheid: De gemiddelde centrum-tot-centrum afstand tussen agenten en de verkeersdichtheid (aantal objecten per frame) waren opmerkelijk vergelijkbaar tussen echte en gegenereerde scènes.
  • Niet-geïdentificeerde Objecten: De distributie van niet-erkende objecten was consistent, wat de visuele realiteit van de frames versterkt.
• Kwantitatieve Analyse (Dynamiek):
  • Snelheid en Versnelling: Statistische distributies van relatieve snelheden en versnellingen kwamen overeen met de trainingsdata, waarbij zij inhalen, meebewegen en tegenovergesteld verkeer correct vastlegden.
  • Veiligheid: Minimale edge-to-edge afstanden bevestigden dat weggebruikers een passende scheiding aanhielden.
• Naleving Verkeerssignalen: Analyse van de snelheid van het ego-voertuig relatief aan de verkeerslichten toonde aan dat het model leerde te stoppen bij rode lichten (snelheid ~0 km/u) en door te rijden met passende snelheden bij groene lichten, wat de naleving van dynamische verkeerssignalen demonstreert.

Betekenis en Claims
Het artikel claimt aan te tonen dat video-generatieve modellen verkeersscènes en trajecten kunnen produceren die zowel realistisch als veilig zijn in termen van interactie tussen agenten en naleving van dynamische verkeerssignalen. Door een inferentiesnelheid van 20 ms te bereiken, positioneren de auteurs hun methode als een levensvatbare kandidaat voor real-time trajectvoorstel in autonome rij-stacks. Het werk benadrukt het potentieel van het combineren van ruimtelijk gegronde representaties met efficiënte generatieve modellen om de beperkingen van zowel regelgebaseerde systemen als computationeel dure diffusion-modellen te overwinnen. De auteurs merken op dat toekomstig werk architecturale modificaties moet onderzoeken om grotere, complexere scènes en specifieke gedragingen zoals het voorrang geven aan voetgangers te kunnen afhandelen.