Resumo Técnico: PrITTI

Declaração do Problema

A geração de cenas urbanas 3D em grande escala e semanticamente estruturadas é crítica para a modelagem de mundos digitais e a simulação de direção autônoma. No entanto, os métodos existentes enfrentam obstáculos significativos. A maioria das abordagens atuais depende de representações baseadas em voxels (por exemplo, grades de voxels ou estruturas hierárquicas), que sofrem com três limitações fundamentais:

1. Ineficiência de Memória: Devido à escala cúbica com a resolução, representações densas de voxels são proibitivamente caras para grandes ambientes.
2. Detalhe Limitado: A resolução espacial fixa frequentemente resulta em elementos altos truncados ou distorcidos (por exemplo, edifícios, árvores).
3. Baixa Editabilidade: Grades de voxels carecem de instâncias de objetos explícitas. Edições simples, como transladar um veículo, exigem identificar e atualizar todos os voxels relacionados e preencher os espaços desocupados, um processo complicado por fronteiras ambíguas entre objeto e fundo.

Embora algumas obras recentes empreguem layouts semânticos abstratos, estes são frequentemente entradas criadas manualmente ou pré-definidas, em vez de saídas geradas. Há uma falta de frameworks capazes de produzir automaticamente cenas urbanas 3D semânticas, diversas, realistas e editáveis, utilizando uma representação que seja tanto eficiente em memória quanto composicional.

Metodologia

Os autores apresentam o PrITTI (Geração Baseada em Primitivas de Cenas Urbanas 3D Semânticas Controláveis e Editáveis), um framework que utiliza uma representação híbrida baseada em primitivas combinada com um Modelo de Difusão Latente (LDM).

1. Representação Híbrida

Em vez de voxels volumétricos, o PrITTI representa cenas usando dois componentes distintos:

• Superfícies do Terreno: Modeladas como polígonos 2D extrudados para cima (por exemplo, estradas, calçadas). Devido à geometria arbitrária desses polígonos, eles são rasterizados em mapas de altura em Vista de Pássaro (BEV) e máscaras de ocupação binárias.
• Primitivas de Objetos: Objetos (por exemplo, veículos, vegetação, postes) são modelados como primitivas 3D parametrizadas. Especificamente, a maioria dos objetos é representada como paralelepípedos 3D, enquanto a vegetação é representada como elipsoides 3D.
  • Cada primitiva é parametrizada por um vetor de características de 9D: uma localização central 3D normalizada e parâmetros de Cholesky de 6D.
  • A decomposição de Cholesky de uma matriz de dispersão positiva definida é usada para codificar conjuntamente orientação e tamanho. Esta abordagem elimina ambiguidades de orientação (comuns em codificações de quatérnio) e melhora a estabilidade do treinamento.

2. Pipeline de Treinamento em Duas Etapas

O método emprega um processo de treinamento em duas etapas:

Etapa 1: Autoencoder Variacional de Layout (LVAE)
Um VAE conjunto comprime o layout da cena 3D em um espaço latente 2D estruturado e compacto.

• Codificação: A arquitetura usa codificadores separados para modalidades de terreno e objeto.
  • O Codificador de Terreno (convolucional) processa mapas rasterizados em um código latente.
  • O Codificador de Objetos (baseado em Transformer) processa conjuntos de tamanho fixo de primitivas de objetos. Para lidar com contagens variáveis de objetos, as cenas são preenchidas até um número constante de primitivas por categoria. As embeddings resultantes são mapeadas em uma grade latente 2D via uma operação de dispersão-média, preservando a estrutura espacial e a invariância de permutação.
  • Os latentes de terreno e objeto são concatenados canal a canal para formar uma representação latente conjunta desconectada ($\mathbf{z}_{\mathcal{L}}$).
• Decodificação: O decodificador reconstrói a cena. O decodificador de terreno usa uma arquitetura convolucional, enquanto o decodificador de objetos (baseado em DETR) usa consultas aprendíveis para prever centros 3D, parâmetros de Cholesky e probabilidades de existência para cada primitiva.
• Perda: O objetivo de treinamento combina perdas de reconstrução (L1 para mapas de altura, BCE para máscaras e perdas de correspondência para primitivas via algoritmo húngaro) com um termo de divergência KL.

Etapa 2: Modelo de Difusão Latente (LDM)
Um Transformer de Difusão (DiT) é treinado no espaço latente conjunto gerado pelo LVAE.

• Condicionamento: O modelo é treinado para gerar cenas condicionadas a rótulos de cena discretos (por exemplo, densidade de vegetação: baixa, média, alta).
• Arquitetura: O backbone do DiT incorpora condicionamento via blocos adaLN-Zero.
• Aplicações via Manipulação Latente: Sem ajuste fino, o LDM pré-treinado suporta tarefas downstream usando uma estratégia de manipulação latente inspirada no RePaint:
  • Inpainting: Edições localizadas são realizadas sincronizando a remoção de ruído de regiões desconhecidas com a versão com ruído de regiões conhecidas no espaço latente. A estrutura desconectada permite geração de objetos condicionada ao terreno (editar objetos mantendo o terreno fixo).
  • Outpainting: As cenas são estendidas além de sua extensão espacial original usando uma abordagem de janela deslizante com 50% de sobreposição para garantir consistência espacial.

Contribuições Principais

1. Primeiro Framework Baseado em Primitivas: O PrITTI é o primeiro framework a usar primitivas de limitação 3D grosseiras (paralelepípedos e elipsoides) para gerar cenas urbanas 3D semânticas controláveis e editáveis em um nível abstrato e semântico.
2. Representação Latente Desconectada: A representação híbrida proposta permite um espaço latente desconectado onde elementos de terreno e objeto são codificados em grupos de canais separados. Isso facilita manipulação intuitiva e localizada (por exemplo, geração condicionada ao terreno) sem supervisão extra.
3. Parametrização Estável: A introdução de uma parametrização baseada em Cholesky para orientação e tamanho de objetos 3D oferece maior estabilidade numérica e elimina ambiguidades de orientação em comparação com codificações baseadas em quatérnios ou autovalores.
4. Eficiência e Editabilidade: A abordagem baseada em primitivas alcança qualidade de geração state-of-the-art com requisitos de memória significativamente menores e inferência mais rápida do que baselines baseadas em voxels, enquanto suporta edição direta em nível de instância (translação, rotação, escala) que é difícil ou impossível com grades de voxels.

Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados KITTI-360, que fornece anotações densas de primitivas para ambientes urbanos inteiros.

• Reconstrução (Etapa 1): O PrITTI alcança qualidade de reconstrução competitiva (IoU e mIoU) em comparação com baselines baseadas em voxels (SemCity, PDD, XCube), apesar de ser nativamente baseado em primitivas. Crucialmente, requer ~2,52 MB por cena, significativamente menos do que os 8,00 MB exigidos pelo SemCity e 3,05 MB pelo XCube em resoluções comparáveis.
• Geração (Etapa 2): O PrITTI supera significativamente todas as baselines baseadas em voxels em métricas generativas (Precisão, Recall, FID, IS).
  • Qualidade: O PrITTI produz cenas diversas e coerentes com objetos bem formados e fronteiras claras. As baselines frequentemente exibem formas irregulares, fronteiras indistintas e inconsistências semânticas.
  • Velocidade: O PrITTI alcança o tempo de geração mais rápido (0,58s por cena) em comparação com baselines hierárquicas que exigem processamento em múltiplas etapas (por exemplo, PDD a 12,84s).
  • Controlabilidade: O modelo gera com sucesso cenas condicionadas à densidade de vegetação, demonstrando controle efetivo sobre a composição da cena.
• Aplicações Downstream: O framework realiza com sucesso inpainting de cenas, outpainting e síntese de vistas de rua fotorealistas (usando ControlNet) sem ajuste fino adicional.

Significado e Alegações

O artigo afirma que o PrITTI aborda o trade-off crítico entre eficiência de memória, qualidade de geração e editabilidade na síntese de cenas urbanas 3D. Ao mudar de grades de voxels para um paradigma baseado em primitivas, o método desbloqueia as capacidades completas dos transformers de difusão para geração de cenas em grande escala.

Os autores enfatizam que sua abordagem permite controle direto em nível de instância, permitindo operações de edição intuitivas (por exemplo, mover um carro) que são computacionalmente caras e estruturalmente ambíguas em métodos baseados em voxels. Além disso, o método suporta a geração de layouts urbanos em grande escala e semanticamente coerentes através de outpainting iterativo, uma capacidade que os métodos existentes baseados em voxels lutam para manter devido a problemas de consistência global.

Embora o framework atual seja limitado a cenas estáticas e primitivas geométricas grosseiras, os autores postulam que este trabalho estabelece uma fundação para pesquisas futuras sobre primitivas mais expressivas, ambientes dinâmicos e pipelines de renderização específicos para tarefas de simulação de direção autônoma.