HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles

O artigo apresenta o HorizonForge, um framework unificado que utiliza Splats Gaussianos e Malhas combinados com difusão de vídeo para gerar cenas de direção fotorealistas e editáveis com controle preciso sobre trajetórias e veículos, superando os métodos existentes em fidelidade e consistência temporal.

O essencial

Imagine que você é um diretor de cinema, mas em vez de filmar carros reais em uma rua perigosa, você está editando um vídeo de trânsito que já existe. O seu objetivo é mudar a história: fazer o carro principal virar à esquerda, adicionar um caminhão vermelho que não estava lá antes, ou fazer um carro de corrida aparecer do nada.

O problema é que, até agora, fazer isso com computadores era como tentar pintar um quadro em 3D usando apenas tinta de spray: ou ficava muito feio e irreal, ou você perdia o controle e o carro "desaparecia" ou se transformava em uma gelatina.

Aqui entra o HorizonForge. Pense nele como um "Canivete Suíço Mágico para Trânsito".

Aqui está como ele funciona, explicado de forma simples:

1. O Segredo: Transformando Vídeo em "Massa de Modelar" (Gaussian Splats)

Normalmente, um vídeo é apenas uma sequência de fotos planas. Se você tentar mudar algo, o computador fica confuso.
O HorizonForge faz algo diferente: ele pega o vídeo original e o transforma em uma nuvem de milhões de "pontos brilhantes" 3D (chamados de Gaussian Splats).

• A Analogia: Imagine que o vídeo original é uma foto impressa. O HorizonForge transforma essa foto em uma escultura feita de milhões de bolinhas de gude coloridas flutuando no ar.
• Por que isso é legal? Porque agora, se você quiser mover um carro, você não está apenas "recortando" a foto. Você está movendo fisicamente as bolinhas de gude que formam o carro. Isso permite que você mova o carro para qualquer lugar, em qualquer ângulo, e o computador sabe exatamente como a luz deve bater nele, mantendo a aparência realista.

2. Adicionando Novos Personagens (Inserção de Veículos)

E se você quiser adicionar um carro que não estava no vídeo original?
O HorizonForge usa uma "mágica" de texto. Você diz: "Adicione um sedan cinza na frente do caminhão".

• O sistema cria um modelo 3D desse carro novo (como se fosse um boneco de brinquedo digital).
• Ele então "encaixa" esse boneco na escultura de bolinhas de gude que já existia.
• O resultado é que o novo carro parece que sempre esteve lá, com sombras e reflexos perfeitos.

3. O "Diretor de Cinema" Inteligente (Modelo de Difusão de Vídeo)

Aqui está a parte mais importante. Mover as "bolinhas de gude" pode deixar a imagem com falhas ou tremida, como um filme antigo danificado.
Para consertar isso, o HorizonForge usa um Diretor de Cinema Artificial (um modelo de difusão de vídeo).

• A Analogia: Imagine que você moveu os móveis de uma sala, mas a parede ficou com um buraco feio. O Diretor de Cinema olha para o buraco e, em vez de apenas pintar por cima, ele "sonha" com a textura perfeita da parede para preencher o espaço, garantindo que a luz e a cor batam com o resto da sala.
• Além disso, esse diretor é especialista em tempo. Ele garante que, se o carro se moveu para a esquerda no quadro 1, ele continue se movendo suavemente para a esquerda no quadro 2, sem piscar ou tremer. Isso é o que chamam de "consistência temporal".

4. O Campo de Prova (HorizonSuite)

Para provar que o sistema é bom, os criadores fizeram um "olímpico de edição de trânsito" chamado HorizonSuite.
Eles testaram o sistema em tarefas difíceis, como:

• Fazer o carro do motorista virar em uma esquina.
• Fazer um carro mudar de faixa bruscamente.
• Adicionar ou remover carros aleatórios.

O Resultado? O HorizonForge venceu todos os outros métodos. As pessoas que viram os vídeos preferiram o dele em 91% dos casos. Os carros pareciam reais, os movimentos eram suaves e as edições seguiam exatamente o que foi pedido.

Resumo da Ópera

O HorizonForge é como ter um poder de Deus sobre vídeos de trânsito. Ele pega um vídeo real, desmonta-o em peças 3D manipuláveis, permite que você mude a história (mova carros, adicione novos, mude trajetórias) e depois usa uma inteligência artificial avançada para "remontar" o vídeo, garantindo que tudo pareça perfeitamente realista e seguro.

Isso é incrível para testar carros autônomos, porque os engenheiros podem criar cenários perigosos (como um carro freando bruscamente na frente de outro) sem precisar colocar ninguém em risco na vida real. É como um simulador de voo, mas para carros, e com gráficos que parecem a realidade.

Resumo técnico

Resumo Técnico: HorizonForge

1. O Problema

A avaliação de algoritmos de direção autônoma em cenários de "cauda longa" (eventos raros mas críticos, como mudanças de faixa agressivas ou frenagem súbita) é essencial para a segurança. Embora existam grandes volumes de dados de direção reais, capturar esses eventos raros em escala é difícil e caro.
As abordagens atuais para simulação e edição de cenas de direção enfrentam um dilema fundamental:

• Métodos baseados em Reconstrução: Oferecem alta fidelidade geométrica, mas falham ao generalizar para regiões não vistas ou ao sintetizar novos agentes (veículos) e trajetórias.
• Métodos baseados em Geração: Podem criar novos conteúdos, mas frequentemente falham em preservar a estrutura da cena e a aparência realista, resultando em inconsistências espaciais e temporais.
• Métodos Híbridos: Mostram resultados promissores, mas muitas vezes exigem arquiteturas complexas e otimização custosa por trajetória, limitando a escalabilidade.

O objetivo é criar um framework unificado que permita edição controlada (mudança de trajetória, inserção/remoção de objetos) mantendo fotorrealismo e consistência física.

2. Metodologia (HorizonForge)

O HorizonForge propõe um framework unificado que combina representações 3D editáveis com modelos de difusão de vídeo. O processo divide-se em duas etapas principais:

A. Coleta de Ativos 3D (3D Assets Harvesting)
O sistema primeiro reconstrói o vídeo de entrada em representações 3D editáveis:

• Gaussian Splats (3DGS): Utilizados para capturar detalhes de aparência e geometria densa. Diferente de nuvens de pontos coloridas ou caixas delimitadoras (bounding boxes), os Gaussian Splats fornecem cues de aparência ricos e contínuos, essenciais para alta fidelidade.
• Malhas (Meshes): Extraídas ou geradas para suportar a inserção de novos objetos. O sistema utiliza modelos de fundação (como Hunyuan3D) para gerar malhas 3D a partir de descrições de texto. Um pipeline de alinhamento (usando caixas delimitadoras de verdade e raciocínio de orientação) garante que as malhas inseridas tenham a escala e pose corretas.

B. Renderização de Vídeo (Video Rendering)
Após reposicionar os ativos 3D de acordo com as trajetórias de alvo (definidas pelo usuário), o sistema renderiza a cena editada:

• Difusão de Vídeo (VDM): Em vez de usar difusão de imagem (que causa flickering e inconsistência temporal), o HorizonForge emprega um Modelo de Difusão de Vídeo.
• Treinamento com Pares de Dados: O modelo é treinado para mapear renderizações 3D imperfeitas (que contêm artefatos de reconstrução) para vídeos fotorrealistas. Isso é feito criando pares de dados onde a trajetória é perturbada, renderizada, e depois refinada pelo modelo de difusão.
• Inserção Guiada por Linguagem: O sistema permite inserir novos veículos descritos em linguagem natural, gerando as malhas correspondentes e integrando-as na cena com consistência física.

Princípios de Design Chave Identificados:

1. Representações 3D Importam: Gaussian Splats superam significativamente nuvens de pontos e bounding boxes na qualidade de geração e controle.
2. Priors Temporais Importam: Modelos de difusão de vídeo são superiores aos de imagem para manter a coerência temporal e estabilidade em cenas dinâmicas.

3. Contribuições Principais

1. Framework Unificado (HorizonForge): Uma abordagem simples e poderosa para geração de cenas de direção fotorrealista e controlável, suportando edição 3D e inserção de objetos guiada por linguagem.
2. Pipeline de Coleta e Inserção de Malhas: Capacidade de inserir qualquer veículo descrito apenas por prompts de texto, mantendo a compatibilidade geométrica e de iluminação com a cena original.
3. Benchmark Abrangente (HorizonSuite): Uma nova base de avaliação padronizada que cobre tarefas de manipulação em nível de veículo ego (ex: mudar de faixa, virar) e de agentes externos (ex: inserção, remoção, mudança de velocidade), com métricas finas.
4. Análise de Design: Evidência experimental de que a combinação de Gaussian Splats com difusão de vídeo é o caminho ideal para simulação controlável.

4. Resultados

Os experimentos foram conduzidos no benchmark HorizonSuite, comparando o HorizonForge com métodos state-of-the-art (SOTA) como StreetCrafter, Difix3D e OmniRe.

• Desempenho Quantitativo:
  • FID (Frechet Inception Distance): Melhoria de 25,19% em relação ao segundo melhor método.
  • FVD (Frechet Video Distance): Melhoria significativa na realismo temporal.
  • VIMS (Vehicle Identity Matching Score): Alta preservação da identidade visual dos veículos.
  • Taxa de Sucesso da Operação (OSR): Alta precisão em tarefas de inserção e remoção.
• Estudo com Usuários:
  • O HorizonForge obteve uma taxa de preferência de 83,4% (91,02% de vitórias em comparações diretas), superando amplamente os concorrentes em realismo, estabilidade visual e aderência às trajetórias desejadas.
• Tarefas de Downstream (Percepção):
  • Aumento significativo no desempenho de detecção 3D (BEVFormer) quando os dados gerados foram usados para aumentar o conjunto de treinamento, demonstrando que os dados sintéticos são informativos e realistas.

5. Significado e Impacto

O HorizonForge estabelece um novo paradigma para a simulação de direção autônoma. Ao resolver o trade-off entre controle preciso e realismo visual, ele permite:

• Geração de Cenários de Longa Cauda: Criação eficiente de situações de risco raras para treinar e testar sistemas de direção autônoma sem a necessidade de capturar dados reais perigosos.
• Escalabilidade: A abordagem de "feed-forward" única (sem otimização por trajetória) torna o método escalável para grandes volumes de dados.
• Padronização: O lançamento do HorizonSuite fornece uma base comum para a comunidade avaliar e comparar futuras pesquisas em edição de cenas de direção.

Em suma, o trabalho demonstra que a integração de representações 3D explícitas (Gaussian Splats) com priors temporais de modelos de difusão de vídeo é a chave para a próxima geração de simuladores de direção física e visualmente fiéis.