MoVieDrive: Urban Scene Synthesis with Multi-Modal Multi-View Video Diffusion Transformer

Resumo Técnico: MoVieDrive

1. Problema e Motivação

A síntese de cenas urbanas para veículos autônomos é crucial para a geração de dados sintéticos, especialmente para cenários de "cauda longa" (situações raras) que são difíceis de coletar no mundo real. Embora métodos recentes de geração de vídeo (como SVD e CogVideoX) tenham mostrado desempenho promissor, eles apresentam limitações significativas no contexto de direção autônoma:

• Foco Unimodal: A maioria das abordagens atuais gera apenas vídeos RGB, ignorando outras modalidades essenciais para a compreensão holística da cena, como mapas de profundidade (depth) e mapas semânticos.
• Inconsistência Espacial e Temporal: A geração de vídeos multi-visão (múltiplas câmeras) exige consistência espacial e temporal rigorosa, o que é difícil de alcançar com modelos genéricos.
• Complexidade de Implantação: Uma solução comum seria usar múltiplos modelos independentes para gerar diferentes modalidades (ex: um para RGB, outro para profundidade). No entanto, isso aumenta a dificuldade de implantação e falha em explorar os cues complementares entre as modalidades para melhorar a geração.

O MoVieDrive propõe resolver esses problemas criando um framework unificado capaz de gerar vídeos de cenas de direção multi-visão e multi-modal simultaneamente.

2. Metodologia

O MoVieDrive introduz um Transformador de Difusão Unificado projetado especificamente para geração de cenas urbanas multi-visão e multi-modal. A arquitetura é dividida em três componentes principais:

A. Codificação de Condições Diversas (Conditioning Inputs)
O modelo utiliza três tipos de condições para guiar a geração controlada:

1. Condições de Texto: Incluem prompts de texto (descrições da cena) e prompts de câmera (parâmetros intrínsecos e extrínsecos). São codificados e injetados no modelo via camadas de cross-attention.
2. Condições de Layout: Para controle de detalhes finos, o modelo utiliza mapas de caixas (box maps), mapas de estrada (road maps) e mapas de ocupação 3D. Diferente de trabalhos anteriores que usam múltiplos codificadores, o MoVieDrive emprega um Codificador de Layout Unificado (baseado em blocos ResNet causais) que funde essas condições antes de alimentá-las ao modelo de difusão.
3. Condições de Referência de Contexto: Frames iniciais opcionais (úteis para previsão de cenas futuras), codificados por um VAE 3D pré-treinado compartilhado.

B. Arquitetura do Transformador de Difusão
O núcleo do modelo é um Transformador de Difusão que decompõe o aprendizado em duas partes para equilibrar compartilhamento e especificidade:

• Componentes Compartilhados entre Modalidades (Modal-Shared):
  • Camadas de atenção temporal (Temporal Layers) para consistência entre frames.
  • Blocos de espaço-tempo multi-visão (Multi-view Spatiotemporal Blocks) que garantem a consistência espacial entre as diferentes câmeras e a estrutura 3D da cena.
• Componentes Específicos de Modalidade (Modal-Specific):
  • Camadas de interação cruzada (Cross-modal Interaction Layers) que permitem que as modalidades (RGB, Profundidade, Semântica) troquem informações, mantendo o alinhamento entre elas enquanto aprendem características únicas.
  • Cabeças de projeção específicas para cada modalidade para gerar os latentes finais.

C. Treinamento e Inferência
O modelo é treinado para estimar o ruído adicionado aos latentes condicionados, utilizando uma função de perda que pondera as diferentes modalidades. Durante a inferência, amostras de ruído são geradas e refinadas através do processo reverso de difusão, produzindo vídeos limpos para todas as modalidades simultaneamente.

3. Principais Contribuições

1. Novo Framework Unificado: Propõe a primeira abordagem que gera vídeos de cenas de direção multi-visão e multi-modal (RGB, Profundidade, Semântica) em um único modelo, eliminando a necessidade de pipelines de múltiplos modelos.
2. Transformador de Difusão Híbrido: Introduz uma arquitetura inovadora com camadas compartilhadas e específicas, permitindo que o modelo aprenda representações comuns de espaço-tempo enquanto distingue características específicas de cada modalidade.
3. Codificação de Condições Unificada: Desenvolve um codificador de layout que funde mapas de caixas, estradas e ocupação 3D, melhorando o controle sobre detalhes finos da cena.
4. Geração de Vídeos Longos e Diversos: Demonstra capacidade de gerar vídeos longos sem frames de referência e de alterar condições de tempo e iluminação (ex: noite, neve, chuva) apenas editando prompts de texto.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados nuScenes e Waymo.

• Qualidade de Vídeo (Fidelidade): O MoVieDrive alcançou um FVD (Fréchet Video Distance) de 46.8 no nuScenes, superando significativamente os métodos state-of-the-art (como MagicDrive-V2 com 112.7 e DriveDreamer-2 com 55.7). Isso indica maior realismo e coerência temporal.
• Controlabilidade: O modelo obteve os melhores resultados em detecção de objetos 3D (mAP: 22.7) e segmentação BEV (mIoU: 35.8), demonstrando que o conteúdo gerado está altamente alinhado com as condições de controle (texto e layout).
• Qualidade Multi-Modal:
  • Profundidade: AbsRel de 0.110.
  • Semântica: mIoU de 37.5.
  • Estudos de ablação mostraram que a geração unificada supera a abordagem de pipeline em cascata (gerar RGB primeiro e depois estimar profundidade/semântica com modelos externos).
• Consistência: O modelo mantém alta consistência entre as diferentes visões de câmera e entre as modalidades (ex: a profundidade gerada corresponde geometricamente ao vídeo RGB).

5. Significado e Impacto

O MoVieDrive representa um avanço significativo na síntese de dados para veículos autônomos:

• Eficiência Operacional: Ao substituir múltiplos modelos por um único framework unificado, reduz a complexidade computacional e de implantação.
• Compreensão Holística: A geração simultânea de RGB, profundidade e semântica fornece dados que são intrinsecamente consistentes, facilitando tarefas de percepção e planejamento em veículos autônomos.
• Versatilidade: A capacidade de gerar cenários sob diversas condições climáticas e de iluminação, bem como vídeos longos, torna a ferramenta valiosa para a validação robusta de sistemas de direção autônoma em cenários raros e críticos.

Em resumo, o MoVieDrive preenche uma lacuna crítica na literatura ao oferecer uma solução unificada, controlável e de alta fidelidade para a síntese de cenas urbanas complexas e multi-modais.