CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving

Énoncé du problème
Les systèmes de conduite autonome sont généralement entraînés et évalués dans des régions géographiques limitées, ce qui entraîne une dégradation significative des performances lors de leur déploiement dans des villes non vues. Cet échec « inter-villes » découle de décalages de domaine dans les agencements routiers, l'apparence visuelle, les schémas de circulation et les conditions environnementales. Les solutions existantes, telles que l'adaptation de domaine, l'augmentation de données et la génération de données synthétiques, reposent souvent sur des données cibles étiquetées, des annotations spécifiques à la ville ou des conceptions propres à la tâche. Ces dépendances limitent l'évolutivité et l'efficacité pour une évaluation holistique couvrant les tâches de perception, de segmentation et de planification. De plus, les benchmarks actuels manquent souvent d'une séparation géographique stricte, échouant à évaluer rigoureusement la véritable généralisation au niveau de la ville.

Méthodologie : CityGen et CityTransfer-Bench
Pour relever ces défis, les auteurs introduisent deux composants principaux :

1. CityTransfer-Bench : Un benchmark géographiquement disjoint conçu pour évaluer la généralisation inter-villes. Construit sur la base de données nuScenes, il sépare strictement les données d'entraînement et de test par localisation : les modèles sont entraînés exclusivement sur des données de trois régions de Singapour (One-North, Queenstown et Holland Village) et évalués sur la zone du Boston Seaport. Le benchmark évalue trois tâches fondamentales de conduite autonome : la perception (détection), la segmentation et la planification.

2. CityGen : Un cadre génératif basé sur la diffusion pour l'adaptation de ville sans étiquette. Il synthétise des scènes urbaines réalistes qui imitent l'apparence de la ville cible tout en préservant la structure géométrique de la ville source. La méthode fonctionne via un mécanisme de double conditionnement :

   • Contrôle géométrique guidé par la structure : Le cadre utilise des cartes haute définition (HD) pour imposer une cohérence géométrique. Il projette des primitives structurelles invariantes à la ville (limites de voie, lignes centrales et boîtes englobantes 3D des agents) sur des plans de caméras multi-vues pour créer un tenseur de contrôle structurel ($M_{hdmap}$). Ce tenseur est injecté dans le modèle de diffusion via une branche de contrôle structurel, garantissant que la topologie des voies et la disposition des objets restent stables à travers les domaines.
   • Prompts visuels au niveau de la ville : Pour capturer l'apparence de la ville cible (par exemple, l'architecture, la végétation, l'éclairage), le système construit une « bibliothèque de style de ville non étiquetée » à partir de vidéos du domaine cible. Un modèle vision-langage (VLM), spécifiquement InternVL, extrait des légendes de scènes à partir de ces vidéos pour former un ensemble de descripteurs de style. Ces descripteurs agissent comme des signaux de conditionnement textuel durant le processus de diffusion.
   • Processus de synthèse : Le modèle emploie une architecture de Diffusion Transformer (DiT). Il débruite des variables latentes conditionnées à la fois par la carte structurelle ($M_{hdmap}$) et un descripteur de style échantillonné ($y$). Cela permet de générer des scènes urbaines multi-vues qui maintiennent la géométrie source (préservant les annotations existantes) tout en adoptant le style visuel de la ville cible.

Contributions clés

• CityTransfer-Bench : Le premier benchmark spécifiquement conçu pour évaluer la généralisation au niveau de la ville à travers les tâches de perception, de segmentation et de planification en utilisant une séparation géographiquement disjointe.
• Cadre CityGen : Une approche novatrice basée sur la diffusion pour l'adaptation de ville sans étiquette qui découple la disposition structurelle du style visuel. Elle permet un transfert de style préservant la sémantique sans nécessiter d'annotations supplémentaires pour la ville cible.
• Validation empirique : Des expériences à grande échelle démontrant que les données générées par CityGen améliorent significativement la robustesse en aval sur des villes non vues, établissant une base évolutive pour la conduite autonome inter-domaines.

Résultats expérimentaux
Évalué sur CityTransfer-Bench en utilisant StreamPetr (détection), Cross-View Transformer (segmentation) et UniAD (planification), CityGen a constamment surpassé les méthodes d'amélioration existantes et les baselines entraînés uniquement sur les données sources :

• Détection : Amélioration de la précision moyenne moyenne (mAP) de 10,18 à 13,06 et du score de détection normalisé (NDS) de 28,05 à 33,95 par rapport à la baseline source uniquement.
• Segmentation : Réalisation de gains substantiels, augmentant l'IoU40 de 43,47 à 50,84 et l'IoU50 de 41,97 à 49,39, réduisant significativement l'écart avec la baseline supérieure entraînée sur les deux villes.
• Planification : Réduction du taux de collision moyen à 0,350 % et de l'erreur L2 moyenne à 0,984, surpassant la baseline source uniquement.
• Études d'ablation : Les résultats ont confirmé que l'alignement du style de la ville cible et le codage sémantique de style basé sur le VLM sont essentiels ; l'utilisation de légendes de la ville source ou la suppression du codage VLM a conduit à une dégradation des performances. De plus, CityGen a maintenu une forte robustesse même lorsque les données d'entraînement sources étiquetées ont été réduites à 20 %, démontrant une efficacité accrue des étiquettes.

Signification et revendications
L'article revendique que CityGen établit une base évolutive et économe en étiquettes pour une conduite autonome généralisable. En synthétisant des données qui sont structurellement cohérentes mais visuellement diversifiées, la méthode expose efficacement les modèles en aval à un large spectre de conditions visuelles de la ville cible sans le coût prohibitif de l'annotation manuelle. Les auteurs postulent que cette approche de synthèse guidée par la structure surmonte les limitations des méthodes précédentes qui peinent avec la généralisation inter-villes à grande échelle et réelle en raison des différences inhérentes dans les schémas de circulation et les structures routières. Ce travail fournit un protocole unifié pour évaluer la transférabilité au niveau de la ville, comblant une lacune critique dans l'évolutivité et la fiabilité des systèmes de conduite autonome.