CityGen: Structure-Guided City-Style Synthesis for Cross-City Autonomous Driving

Declaração do Problema
Sistemas de condução autónoma são tipicamente treinados e avaliados dentro de regiões geográficas limitadas, levando a uma degradação significativa do desempenho quando implantados em cidades não vistas. Esta falha "entre cidades" decorre de desvios de domínio em layouts de estradas, aparência visual, padrões de tráfego e condições ambientais. Soluções existentes, como adaptação de domínio, aumento de dados e geração de dados sintéticos, frequentemente dependem de dados alvo rotulados, anotações específicas da cidade ou designs específicos de tarefas. Estas dependências limitam a escalabilidade e a eficácia para uma avaliação holística através de tarefas de perceção, segmentação e planeamento. Além disso, os benchmarks atuais frequentemente carecem de separação geográfica estrita, falhando em avaliar rigorosamente a verdadeira generalização a nível de cidade.

Metodologia: CityGen e CityTransfer-Bench
Para abordar estes desafios, os autores introduzem dois componentes principais:

1. CityTransfer-Bench: Um benchmark geograficamente disjunto projetado para avaliar a generalização entre cidades. Construído sobre o conjunto de dados nuScenes, separa estritamente os dados de treino e teste por localização: os modelos são treinados exclusivamente com dados de três regiões de Singapura (One-North, Queenstown e Holland Village) e avaliados na área de Boston Seaport. O benchmark avalia três tarefas principais de condução autónoma: perceção (detecção), segmentação e planeamento.

2. CityGen: Um framework generativo baseado em difusão para adaptação de cidade sem rótulos. Sintetiza cenas urbanas realistas que imitam a aparência da cidade alvo enquanto preservam a estrutura geométrica da cidade de origem. O método opera através de um mecanismo de dupla condicionação:

   • Controlo Geométrico Guiado por Estrutura: O framework utiliza mapas de Alta Definição (HD) para impor consistência geométrica. Projeta primitivas estruturais invariantes à cidade (limites de faixa, linhas centrais e caixas delimitadoras 3D de agentes) em planos de câmara multi-visão para criar um tensor de controlo estrutural ($M_{hdmap}$). Este tensor é injetado no modelo de difusão através de uma ramificação de controlo estrutural, garantindo que a topologia das faixas e os layouts de objetos permaneçam estáveis entre domínios.
   • Prompts Visuais a Nível de Cidade: Para capturar a aparência da cidade alvo (por exemplo, arquitetura, vegetação, iluminação), o sistema constrói uma "biblioteca de estilo de cidade não rotulada" a partir de vídeos do domínio alvo. Um Modelo Visão-Linguagem (VLM), especificamente o InternVL, extrai legendas de cena destes vídeos para formar um conjunto de descritores de estilo. Estes descritores atuam como sinais de condicionamento de texto durante o processo de difusão.
   • Processo de Síntese: O modelo emprega uma arquitetura Diffusion Transformer (DiT). Remove ruído de variáveis latentes condicionadas tanto ao mapa estrutural ($M_{hdmap}$) como a um descritor de estilo amostrado ($y$). Isto permite a geração de cenas urbanas multi-visão que mantêm a geometria de origem (preservando anotações existentes) enquanto adotam o estilo visual da cidade alvo.

Contribuições Principais

• CityTransfer-Bench: O primeiro benchmark especificamente projetado para avaliar a generalização a nível de cidade através de tarefas de perceção, segmentação e planeamento utilizando uma divisão geograficamente disjunta.
• Framework CityGen: Uma abordagem inovadora baseada em difusão para adaptação de cidade sem rótulos que desacopla o layout estrutural do estilo visual. Permite transferência de estilo que preserva semântica sem exigir anotações adicionais para a cidade alvo.
• Validação Empírica: Experiências em grande escala demonstrando que os dados gerados pelo CityGen melhoram significativamente a robustez a jusante em cidades não vistas, estabelecendo uma base escalável para a condução autónoma entre domínios.

Resultados Experimentais
Avaliado no CityTransfer-Bench utilizando StreamPetr (detecção), Cross-View Transformer (segmentação) e UniAD (planeamento), o CityGen superou consistentemente os métodos de melhoria existentes e as linhas de base treinadas apenas com dados de origem:

• Detecção: Melhorou a Precisão Média (mAP) de 10,18 para 13,06 e a Pontuação Normalizada de Detecção (NDS) de 28,05 para 33,95 em comparação com a linha de base apenas de origem.
• Segmentação: Alcançou ganhos substanciais, aumentando o IoU40 de 43,47 para 50,84 e o IoU50 de 41,97 para 49,39, reduzindo significativamente a lacuna para a linha de base de limite superior treinada em ambas as cidades.
• Planeamento: Reduziu a taxa média de colisão para 0,350% e o erro médio L2 para 0,984, superando a linha de base apenas de origem.
• Estudos de Ablação: Os resultados confirmaram que tanto o alinhamento de estilo da cidade alvo como a codificação semântica de estilo baseada em VLM são essenciais; o uso de legendas da cidade de origem ou a remoção da codificação VLM levou à degradação do desempenho. Adicionalmente, o CityGen manteve forte robustez mesmo quando os dados de treino rotulados de origem foram reduzidos para 20%, demonstrando eficiência de rótulos melhorada.

Significado e Alegações
O artigo alega que o CityGen estabelece uma base escalável e eficiente em rótulos para condução autónoma generalizável. Ao sintetizar dados que são estruturalmente consistentes, mas visualmente diversos, o método expõe efetivamente os modelos a jusante a um amplo espectro de condições visuais da cidade alvo sem o custo proibitivo de anotação manual. Os autores postulam que esta abordagem de síntese guiada por estrutura supera as limitações de métodos anteriores que lutam com a generalização entre cidades em grande escala e do mundo real devido a diferenças inerentes nos padrões de tráfego e estruturas rodoviárias. O trabalho fornece um protocolo unificado para avaliar a transferibilidade a nível de cidade, abordando uma lacuna crítica na escalabilidade e fiabilidade dos sistemas de condução autónoma.