InstaDrive: Instance-Aware Driving World Models for Realistic and Consistent Video Generation

Resumo Técnico: InstaDrive

Definição do Problema
Sistemas de direção autônoma dependem fortemente de vídeos de condução multi-visão de alta qualidade e em larga escala para o treinamento de tarefas downstream, como percepção, rastreamento de objetos e planejamento. Embora os "modelos de mundo" ofereçam uma alternativa de baixo custo à coleta de dados do mundo real ao gerar cenários de condução realistas, as abordagens existentes enfrentam duas limitações críticas:

1. Inconsistência Temporal em Nível de Instância: Os modelos atuais frequentemente falham em manter atributos estáveis (ex: cor, textura, identidade) de objetos específicos ao longo dos frames, levando a cintilações ou trocas de identidade.
2. Fidelidade Geométrica Espacial: Vídeos gerados frequentemente exibem desalinhamento com sinais de controle (ex: caixas delimitadoras desviando de suas posições pretendidas) e falham em modelar corretamente a hierarquia de oclusão (ex: objetos distantes ocluindo incorretamente objetos mais próximos).

Essas deficiências dificultam a aplicabilidade de dados sintéticos em tarefas rigorosas de direção autônoma, que exigem contexto espacial preciso e rastreamento de objetos temporalmente estável.

Metodologia
Os autores propõem o InstaDrive, um modelo de mundo de condução construído sobre o framework OpenSora V1.1 (utilizando um Autoencoder Variacional, codificador de texto T5 e um Transformer de Difusão Espaço-Temporal). O InstaDrive introduz dois novos módulos conscientes de instância para abordar os desafios mencionados:

1. Guia de Fluxo de Instância (Instance Flow Guider - IFG):

   • Objetivo: Impor consistência temporal rastreando e propagando características de instância através dos frames.
   • Mecanismo: O módulo utiliza IDs de rastreamento para capturar trajetórias de movimento (fluxo de instância) de objetos circundantes. Ele calcula um vetor de deslocamento 3D (offset) entre o frame atual e o frame visível mais recente de uma instância.
   • Implementação: Este offset é renderizado em um "mapa de movimento" dentro do espaço latente, onde os offsets x, y e z são mapeados para canais RGB. Este mapa de movimento é injetado no backbone do Diffusion Transformer (DiT) via ControlNet.
   • Efeito: As camadas de atenção temporal usam esta condição de movimento para recuperar características semânticas (categoria, cor, textura) de frames anteriores e propagá-las adiante, garantindo que a identidade de um objeto permaneça estável mesmo quando ele reaparece após uma oclusão.

2. Alinhador Geométrico Espacial (Spatial Geometric Aligner - SGA):

   • Objetivo: Garantir localização espacial precisa e raciocínio de oclusão correto.
   • Mecanismo: O módulo transforma caixas delimitadoras 3D do sistema de coordenadas do mundo para a visão de primeira pessoa (FPV) da câmera usando parâmetros intrínsecos e extrínsecos.
   • Implementação:
     • Projeção: Os cantos das caixas 3D são projetados para coordenadas de pixels 2D para criar restrições espaciais explícitas no domínio RGB.
     • Ordenação de Profundidade: Para modelar a oclusão, o sistema calcula a profundidade de cada ponto de canto em relação ao centro óptico da câmera. Esses valores de profundidade são codificados via incorporação de Fourier e um MLP para criar uma representação de ordem de profundidade.
     • Fusão: As condições de caixa projetadas e as representações de ordem de profundidade são fundidas usando mecanismos de atenção cruzada antes de serem injetadas na pipeline de geração.
   • Efeito: Isso garante que os objetos gerados adiram estritamente aos sinais de controle de caixa delimitadora e que objetos mais próximos ocluam corretamente objetos mais distantes, mantendo a consistência geométrica.

Principais Contribuições

• Guia de Fluxo de Instância: Um módulo leve que extrai e propaga características de instância através dos frames, melhorando significativamente a consistência temporal sem depender de extratores de características externos.
• Alinhador Geométrico Espacial: Um mecanismo que integra projeções de caixas delimitadoras 3D e ordenação de profundidade explícita para alinhar instâncias com o espaço de pixels e resolver hierarquias de oclusão.
• Simulação Procedural de Cauda Longa (Long-Tail): Uma pipeline que utiliza o piloto automático do CARLA para simular estocasticamente cenários de condução raros e críticos à segurança (ex: frenagem brusca, inserções repentinas) através de diversos mapas, fornecendo condições de controle rigorosas para a síntese de vídeo.
• Framework Unificado: Uma abordagem end-to-end que combina esses módulos com ControlNet para lidar eficientemente com múltiplos sinais de controle (mapas de estrada, caixas 3D, poses de câmera).

Resultados
Avaliado no conjunto de dados nuScenes, o InstaDrive demonstra desempenho de estado da arte (SOTA):

• Qualidade de Vídeo: Alcança um FID de 3.96 e FVD de 38.06, superando métodos existentes como MagicDrive-V2, DriveDreamer2 e Panacea.
• Consistência Temporal: Em tarefas de Rastreamento de Múltiplos Objetos (MOT) usando o modelo StreamPETR, os dados gerados pelo InstaDrive reduzem as Trocas de ID (IDS) para 532 (comparado a 593 para o DriveDreamer2 e 687 para baselines de mundo real), indicando superior estabilidade de instância.
• Fidelidade Espacial: Em tarefas de percepção, modelos treinados com dados gerados pelo InstaDrive alcançam um Score de Detecção nuScenes (NDS) de 40.51 no conjunto de validação (86,38% de desempenho relativo aos dados reais). Quando usado para aumento de dados (misturando dados sintéticos e reais), o NDS do modelo de percepção melhora em 3,6 pontos em relação ao treinamento apenas com dados reais.
• Análise Qualitativa: Comparações visuais confirmam que o InstaDrive elimina mudanças de cor, adere às restrições de caixa delimitadora e renderiza corretamente as relações de oclusão, ao contrário de trabalhos anteriores que exibem desvios nessas áreas.

Significância
O artigo afirma que o InstaDrive estabelece um modelo de mundo refinado e robusto que efetivamente preenche a lacuna entre a geração sintética e os requisitos de direção autônoma do mundo real. Ao abordar explicitamente a consistência temporal em nível de instância e a fidelidade geométrica espacial, o modelo não apenas gera vídeos de alta qualidade, mas também produz dados sintéticos que são diretamente aplicáveis e benéficos para o treinamento de tarefas downstream de percepção, rastreamento e planejamento. Além disso, a integração com o CARLA para geração procedural de cenários de cauda longa destaca o potencial do sistema para avaliação crítica de segurança em sistemas autônomos.