CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving

Probleemstelling
Autonome rijsystemen worden doorgaans getraind en geëvalueerd binnen beperkte geografische regio's, wat leidt tot aanzienlijke prestatiedegradatie bij implementatie in onbekende steden. Deze "cross-city"-falen wordt veroorzaakt door domeinverschuivingen in wegindelingen, visuele verschijning, verkeerspatronen en omgevingsomstandigheden. Bestaande oplossingen, zoals domeinadaptatie, dataaugmentatie en synthetische datageneratie, vertrouwen vaak op gelabelde doeldoelen, stadsspecifieke annotaties of taakspecifieke ontwerpen. Deze afhankelijkheden beperken de schaalbaarheid en effectiviteit voor een holistische evaluatie over perceptie-, segmentatie- en planningsTaken. Bovendien ontbreekt het aan huidige benchmarks vaak aan strikte geografische scheiding, waardoor ze falen om echte generalisatie op stadsniveau rigoureus te beoordelen.

Methodologie: CityGen en CityTransfer-Bench
Om deze uitdagingen aan te pakken, introduceren de auteurs twee hoofdcomponenten:

1. CityTransfer-Bench: Een geografisch disjunct benchmark ontworpen om cross-city generalisatie te evalueren. Gebaseerd op de nuScenes-dataset, scheidt deze strikt trainings- en testdata op locatie: modellen worden uitsluitend getraind op data uit drie regio's van Singapore (One-North, Queenstown en Holland Village) en geëvalueerd op het Boston Seaport-gebied. De benchmark evalueert drie kernopdrachten voor autonoom rijden: perceptie (detectie), segmentatie en planning.

2. CityGen: Een op diffusie gebaseerd generatief framework voor zero-label stadadaptatie. Het synthetiseert realistische stedelijke scènes die de visuele verschijning van de doelfstad nabootsen terwijl de geometrische structuur van de bronstad behouden blijft. De methode werkt via een dubbel-conditioneringsmechanisme:

   • Structuurgeleide geometrische controle: Het framework maakt gebruik van High-Definition (HD)-kaarten om geometrische consistentie af te dwingen. Het projecteert stadsinvariante structurele primitieven (rijbaanbegrenzingen, middenlijnen en 3D-bounding boxes van agenten) op multi-view camera-vlakken om een structureel controle-tensor ($M_{hdmap}$) te creëren. Deze tensor wordt via een structurele controle-tak geïnjecteerd in het diffusiemodel, zodat de rijbaantopologie en objectindelingen stabiel blijven over domeinen heen.
   • Stadsniveau visuele prompts: Om de visuele verschijning van de doelfstad vast te leggen (bijv. architectuur, vegetatie, verlichting), construeert het systeem een "ongelabelde bibliotheek met stadsstijlen" vanuit video's uit het doeldomein. Een Vision-Language Model (VLM), specifiek InternVL, extrahere scènebeschrijvingen uit deze video's om een set stijldescriptoren te vormen. Deze descriptoren fungeren als tekst-conditioneringssignalen tijdens het diffusieproces.
   • Syntheseproces: Het model maakt gebruik van een Diffusion Transformer (DiT)-architectuur. Het denoist latente variabelen die geconditioneerd zijn op zowel de structurele kaart ($M_{hdmap}$) als een bemonsterde stijldescriptor ($y$). Dit maakt de generatie van multi-view stedelijke scènes mogelijk die de brongeometrie behouden (bestaande annotaties behoudend) terwijl ze de visuele stijl van de doelfstad adopteren.

Belangrijkste bijdragen

• CityTransfer-Bench: De eerste benchmark die specifiek is ontworpen om generalisatie op stadsniveau te evalueren over perceptie-, segmentatie- en planningsTaken met behulp van een geografisch disjuncte splitsing.
• CityGen Framework: Een nieuwe op diffusie gebaseerde aanpak voor zero-label stadadaptatie die de structurele indeling ontkoppelt van de visuele stijl. Het maakt semantisch behoudende stijltransfer mogelijk zonder aanvullende annotaties voor de doelfstad te vereisen.
• Empirische validatie: Grootschalige experimenten die aantonen dat CityGen-genererde data de downstream-robustheid op onbekende steden aanzienlijk verbetert, en een schaalbare basis legt voor cross-domein autonoom rijden.

Experimentele resultaten
Geëvalueerd op de CityTransfer-Bench met StreamPetr (detectie), Cross-View Transformer (segmentatie) en UniAD (planning), presteerde CityGen consequent beter dan bestaande verbeteringsmethoden en baselines die uitsluitend op brondata waren getraind:

• Detectie: Verbetering van de mean Average Precision (mAP) van 10,18 naar 13,06 en de Normalized Detection Score (NDS) van 28,05 naar 33,95 vergeleken met de bron-only baseline.
• Segmentatie: Behaalde aanzienlijke winsten, met een stijging van IoU40 van 43,47 naar 50,84 en IoU50 van 41,97 naar 49,39, waardoor de kloof met de upper-bound baseline die op beide steden was getraind, aanzienlijk werd verkleind.
• Planning: Vermindering van het gemiddelde botsingspercentage naar 0,350% en de gemiddelde L2-fout naar 0,984, beter dan de bron-only baseline.
• Ablatiestudies: Resultaten bevestigden dat zowel de afstemming op de stijl van de doelfstad als de VLM-gebaseerde semantische stijlcodering essentieel zijn; het gebruik van bronstad-beschrijvingen of het verwijderen van VLM-codering leidde tot prestatiedegradatie. Bovendien behield CityGen sterke robustheid zelfs wanneer de gelabelde brontrainingsdata werd gereduceerd tot 20%, wat een verbeterde label-efficiëntie aantoont.

Betekenis en claims
Het artikel claimt dat CityGen een schaalbare en label-efficiënte basis legt voor generaliseerbaar autonoom rijden. Door data te synthetiseren die structureel consistent maar visueel divers is, blootstelt de methode downstream-modellen effectief aan een breed spectrum aan visuele omstandigheden van de doelfstad, zonder de prohibitieve kosten van handmatige annotatie. De auteurs stellen dat deze structuurgeleide synthese-aanpak de beperkingen van eerdere methoden overwint die worstelen met grootschalige, real-world cross-city generalisatie vanwege inherente verschillen in verkeerspatronen en wegstructuren. Het werk biedt een unificatieprotocol voor het beoordelen van transferabiliteit op stadsniveau, waarmee een kritieke kloof in de schaalbaarheid en betrouwbaarheid van autonome rijsystemen wordt aangepakt.