HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles

HorizonForge es un marco unificado que permite la edición fotorealista y controlada de escenas de conducción mediante la reconstrucción en Gaussian Splats y mallas, facilitando la inserción de vehículos y trayectorias arbitrarias con consistencia temporal y superando a los métodos actuales en fidelidad y preferencia de usuario.

Lo esencial

Imagina que el mundo de la conducción autónoma es como un gigantesco videojuego de simulación. Para que los coches autónomos aprendan a conducir de forma segura, necesitan practicar millones de veces, enfrentándose a situaciones raras y peligrosas (como un niño corriendo detrás de un perro o un camión frenando de golpe).

El problema es que grabar estos accidentes raros en la vida real es peligroso y costoso. Por eso, los científicos crean "mundos virtuales". Pero hasta ahora, editar estos mundos era como intentar cambiar el guion de una película mientras se está rodando: o la imagen se veía borrosa y falsa, o el coche desaparecía y aparecía como un fantasma.

Aquí es donde entra HorizonForge, la nueva herramienta presentada en este paper. Vamos a explicarla con una analogía sencilla:

1. El Problema: "El Editor de Video Mágico"

Imagina que tienes una película de tráfico real. Quieres decirle al editor: "Haz que el coche de mi cámara gire a la derecha" o "Añade un coche rojo deportivo justo delante del camión".

• Los métodos antiguos eran como recortar y pegar fotos: se veía bien en una foto, pero cuando el coche se movía, la imagen se rompía, parpadeaba o el coche parecía flotando en el aire.
• HorizonForge es como tener un estudio de cine con actores digitales y un director de efectos especiales.

2. La Solución: Dos Ingredientes Secretos

HorizonForge funciona combinando dos cosas muy potentes:

A. La "Arcilla Digital" (Gaussian Splats y Mallas)

En lugar de tratar la escena como una simple película plana (2D), HorizonForge la convierte en arcilla digital 3D.

• La analogía: Imagina que tomas la película original y la conviertes en un modelo de plastilina 3D súper detallado. Cada coche, cada árbol y cada edificio tiene su propia forma y color.
• El truco: Usan una tecnología llamada "Gaussian Splats" (que suena a algo científico, pero es como una nube de millones de puntos brillantes que forman la imagen). Esto permite que, si mueves un coche en la "arcilla", la luz y las sombras se ajusten perfectamente, como si fuera real.
• Además, pueden añadir nuevos coches simplemente escribiendo: "Quiero un coche gris". El sistema "esculpe" un coche nuevo en 3D y lo coloca en la arcilla digital.

B. El "Director de Cine" (Difusión de Video)

Una vez que tienes la arcilla 3D manipulada, necesitas volver a filmarla. Aquí es donde entra la segunda parte.

• La analogía: Imagina que tienes un guionista de cine (un modelo de Inteligencia Artificial) que ve tu arcilla manipulada y dice: "Ah, veo que el coche giró. Ahora voy a pintar los fotogramas siguientes para que el movimiento sea suave, que las luces del coche se reflejen en el asfalto y que no haya parpadeos".
• A diferencia de los métodos anteriores que editaban foto por foto (como un álbum de fotos), HorizonForge edita todo el video a la vez. Esto asegura que el movimiento sea fluido y natural, como una película de Hollywood, no como una presentación de diapositivas.

3. ¿Qué puede hacer realmente?

Con HorizonForge, puedes hacer cosas que antes eran imposibles o muy difíciles:

• Cambiar el destino: Decirle al coche que conduce el video (el "coche ego") que gire a la izquierda en lugar de ir recto, y verás cómo todo el tráfico se adapta a esa nueva decisión.
• Insertar personajes: Pedir: "Pon un autobús escolar frenando de golpe". El sistema crea el autobús, lo coloca en el tráfico y simula cómo reaccionan los otros coches.
• Borrar problemas: Si en el video original hay un accidente feo, puedes decir: "Borra ese coche accidentado". El sistema rellena el espacio con el asfalto y el tráfico que debería haber estado allí, como un "pincel mágico" que entiende la física del mundo.

4. ¿Por qué es importante? (El "HorizonSuite")

Para asegurarse de que esto funciona de verdad, los creadores no solo hicieron la herramienta, sino que también crearon un examen de conducir llamado HorizonSuite.

• Es como un banco de pruebas donde ponen a la herramienta a prueba con 109 situaciones diferentes (cambios de carril, frenadas bruscas, inserciones de coches).
• Los resultados fueron abrumadores: HorizonForge ganó a todas las otras herramientas existentes, tanto en que la imagen se vea realista (como una foto real) como en que el movimiento tenga sentido físico.

En resumen

HorizonForge es como tener un director de cine de ciencia ficción que puede tomar cualquier video de tráfico real, cambiar la historia a tu gusto (cambiar rutas, añadir coches, borrar accidentes) y devolverte un video que parece filmado en la vida real, sin errores, sin parpadeos y con una física perfecta.

Esto es crucial para el futuro: nos permite entrenar a los coches autónomos en situaciones peligrosas y raras sin poner en riesgo a nadie en la vida real, simplemente "editando la realidad" en una computadora.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "HorizonForge: Driving Scene Editing with Any Trajectories and Any Vehicles" en español:

1. El Problema

La evaluación de algoritmos de conducción autónoma en escenarios de "cola larga" (eventos raros pero críticos para la seguridad) es esencial, pero capturar estos eventos en el mundo real es costoso y peligroso. Aunque la simulación basada en la edición de registros de conducción existentes es una solución prometedora, los enfoques actuales presentan dos limitaciones principales:

• Falta de Control Preciso: Los métodos basados en generación pura (diffusion) a menudo carecen de coherencia estructural y física, generando movimientos estocásticos o inconsistencias espaciales.
• Falta de Realismo Fotográfico: Los métodos basados en reconstrucción 3D ofrecen fidelidad geométrica, pero suelen fallar al generalizar a regiones no vistas o al sintetizar nuevos agentes (vehículos) y trayectorias complejas sin optimización costosa por cada caso.

Existe una necesidad urgente de un marco unificado que logre simultáneamente fidelidad fotorealista y control granular sobre las trayectorias y los objetos en escenas de conducción.

2. Metodología: HorizonForge

HorizonForge es un marco unificado que combina representaciones 3D editables con modelos de difusión de video. Su flujo de trabajo se divide en dos etapas principales:

A. Cosecha de Activos 3D (3D Assets Harvesting)

El sistema transforma el video de entrada en una representación 3D editable que soporta manipulación flexible:

• Gaussian Splatting (3DGS): Se utiliza para reconstruir la escena existente. A diferencia de nubes de puntos o cajas delimitadoras, los Gaussian Splats capturan detalles de apariencia ricos y densos, permitiendo una manipulación precisa de la geometría y el aspecto visual.
• Mallas (Meshes) y Inserción de Objetos: Para insertar nuevos vehículos descritos mediante lenguaje natural, el sistema genera mallas 3D utilizando modelos fundacionales (como Hunyuan3D).
  • Pipeline de Cosecha: Extrae mallas de vehículos existentes del dataset Waymo, utiliza segmentación (SAM) y inpainting (Pix2Gestalt) para manejar oclusiones, y alinea la malla generada con la caja 3D de referencia mediante optimización de escala y rotación.
  • Inserción en Tiempo de Inferencia: Convierte descripciones de texto en mallas 3D y las posiciona físicamente en la escena utilizando razonamiento de modelos de lenguaje y visión (VLM) para evitar conflictos espaciales.

B. Renderizado de Video (Video Rendering)

Una vez manipuladas las trayectorias y los objetos en el espacio 3D, el sistema renderiza la escena editada de vuelta al dominio 2D:

• Corrección de Artefactos: El renderizado directo de activos 3D imperfectos introduce artefactos. Para mitigar esto, se emplea un Modelo de Difusión de Video (VDM) con conciencia del ruido.
• Entrenamiento: Se construyen pares de datos "ruidoso-limpio" mediante una estrategia de reconstrucción cíclica. El modelo aprende a mapear las proyecciones imperfectas de los Gaussian Splats y mallas a videos fotorealistas y temporalmente consistentes.
• Coherencia Temporal: A diferencia de los enfoques basados en imágenes, el uso de un modelo de difusión de video (basado en CogVideoX) asegura que la consistencia temporal y el movimiento sean suaves y físicamente plausibles a lo largo de todo el clip.

3. Contribuciones Clave

1. Marco Unificado (HorizonForge): Un sistema simple pero potente que permite la edición de escenas de conducción con control total sobre las trayectorias de todos los agentes (ego y otros) y la inserción de vehículos mediante prompts de texto.
2. Pipeline de Mallas y Textos: Una metodología novedosa para generar e insertar mallas 3D de vehículos arbitrarios basadas en descripciones de lenguaje natural, manteniendo la compatibilidad geométrica con la escena.
3. HorizonSuite (Benchmark): Un nuevo conjunto de evaluación exhaustivo que cubre tareas de manipulación a nivel de vehículo ego y agentes circundantes (cambio de carril, frenado, inserción, eliminación, etc.), con métricas específicas para evaluar la identidad del vehículo, la alineación del fondo y el éxito de la operación.
4. Hallazgos de Diseño: Demostración empírica de que:
   • Las representaciones 3D (específicamente Gaussian Splats) son superiores a las cajas o nubes de puntos para guiar la generación.
   • Los priors temporales de los modelos de difusión de video son esenciales para la coherencia de la síntesis, superando significativamente a los enfoques basados en imágenes.

4. Resultados

Los experimentos en HorizonSuite muestran que HorizonForge supera a los métodos más avanzados (State-of-the-Art) como StreetCrafter, Difix3D y OmniRe:

• Métricas Cuantitativas: Logra una mejora del 25.19% en FID (Fréchet Inception Distance) y una reducción significativa en FVD (Fréchet Video Distance) en comparación con el segundo mejor método.
• Estudio de Usuarios: En una comparación ciega, HorizonForge obtuvo una tasa de victoria del 91.02%, superando abrumadoramente a otros métodos en percepción de realismo, estabilidad visual y consistencia con las trayectorias objetivo.
• Ablación: Se confirmó que la combinación de Gaussian Splats + Mallas + Difusión de Video es la configuración óptima. Los modelos de difusión de imágenes fallan en la consistencia temporal, y las representaciones 3D pobres (cajas/puntos) limitan la calidad de los detalles.
• Tareas de Descenso: La generación de datos editados mejoró el rendimiento de un detector de objetos 3D (BEVFormer) en un 10-30% relativo, demostrando la utilidad de los datos sintéticos para el entrenamiento de percepción.

5. Significado e Impacto

HorizonForge establece un nuevo paradigma para la simulación de conducción autónoma. Al resolver el compromiso entre el realismo fotográfico y el control preciso, permite:

• Generar escenarios de "cola larga" de manera escalable y segura para entrenar y evaluar sistemas de conducción autónoma.
• Reducir la dependencia de la captura de datos del mundo real para eventos peligrosos.
• Ofrecer una herramienta versátil para la investigación en visión por computadora, demostrando que la integración de representaciones 3D explícitas con modelos generativos modernos es la vía para una simulación física y visualmente fiable.

En resumen, el trabajo demuestra que es posible editar escenas de conducción complejas con instrucciones de lenguaje natural y trayectorias arbitrarias, manteniendo una calidad visual indistinguible de la realidad y una coherencia física rigurosa.