💻 computer science

DriveWeaver: Point-Conditioned Video Inpainting for Controllable Vehicle Insertion in Autonomous Driving Simulation

DriveWeaver es un marco novedoso para la simulación de conducción autónoma que aprovecha la inpainting de video condicionada por puntos y una estrategia jerárquica de global a local para generar inserciones de vehículos de alta calidad, temporalmente consistentes y geométricamente precisas con una integración de iluminación fluida, permitiendo así el aumento escalable de escenas sin depender de activos 3D pre-reconstruidos.

Autores originales: Junzhe Jiang, Zipei Ma, Zijie Pan, Li Zhang

Publicado 2026-07-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Junzhe Jiang, Zipei Ma, Zijie Pan, Li Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director filmando una película sobre coches autónomos. Para probar la IA del coche, necesitas crear situaciones complicadas, como un coche que se desvía repentinamente hacia la carretera o que conduce en una tormenta de lluvia intensa. Tradicionalmente, los directores tenían que construir estas escenas utilizando modelos 3D prefabricados y costosos (como piezas de LEGO digitales). Pero estos modelos a menudo parecían falsos porque la iluminación no coincidía con el fondo real, y si querías un tipo de coche nuevo, primero tenías que buscar o construir un nuevo modelo 3D.

DriveWeaver es una nueva "varita mágica digital" que resuelve estos problemas. Así es como funciona, desglosado en conceptos sencillos:

1. El "Boceto Fantasma" (Inpainting condicionado por puntos)

En lugar de pedirle a la computadora que construya un coche desde cero, DriveWeaver utiliza una nube de puntos. Piensa en una nube de puntos como un "boceto fantasma" hecho de miles de diminutos puntos que muestran exactamente dónde está un coche y cómo es su forma, pero sin color ni textura.

La Analogía: Imagina que tienes un lienzo en blanco con un agujero en él (la carretera vacía). Le entregas al artista una hoja transparente con el contorno punteado de un coche. El artista no necesita saber cómo se ve un coche; solo necesita rellenar los puntos con pintura, sombras y reflejos realistas que coincidan con el día soleado o lluvioso del fondo.
El Resultado: DriveWeaver toma estos "bocetos fantasma" y rellena las partes faltantes con un coche realista que coincide perfectamente con la iluminación y el estilo de la escena. Es como un editor de vídeo que puede pegar un coche de forma fluida en un vídeo, haciendo que parezca que siempre estuvo allí.

2. El Probleo de la "Película Larga" (Estrategia de Global-a-Local)

Hacer un clip de vídeo corto es fácil, pero hacer un vídeo largo donde el coche conduzca durante un minuto sin fallos es difícil. Los métodos antiguos harían que el coche cambiara lentamente de forma o se desviara de su trayectoria, como un personaje en un videojuego que empieza a verse extraño después de correr durante mucho tiempo.

La Analogía: Imagina escribir una historia larga. Si la escribes frase por frase sin un plan, el personaje principal podría olvidar su nombre o cambiar su personalidad a mitad del camino.
La Solución: DriveWeaver utiliza una estrategia de dos pasos:
1. Anclaje Global: Primero, escribe un esquema general de toda la historia (la trayectoria del coche) a una velocidad lenta para asegurar que el personaje se mantenga igual de principio a fin.
2. Interpolación Local: Luego, rellena los detalles rápidos entre esos puntos del esquema.
El Resultado: El coche mantiene exactamente la misma apariencia y sigue la trayectoria exacta durante toda la duración, sin importar lo largo que sea el vídeo.

3. La "Repetición Instantánea" (Destilación de Gaussianos 3D)

El vídeo que crea DriveWeaver es hermoso, pero tarda mucho tiempo en generarse (como renderizar una película de alta calidad). Los coches autónomos necesitan ver las cosas al instante, en tiempo real.

La Analogía: Piensa en DriveWeaver como un maestro chef que cocina una comida gourmet (el vídeo) en una cocina lenta. Una vez cocinada la comida, toma una foto y la convierte en una comida "lista para comer" que puede calentarse instantáneamente.
La Solución: DriveWeaver toma el vídeo de alta calidad que acaba de crear y lo convierte en una representación de Gaussianos 3D. Esta es una representación 3D especial y ligera que las computadoras pueden renderizar superrápido.
El Resultado: Obtienes el aspecto de alta calidad del vídeo lento, pero funciona lo suficientemente rápido como para que un coche autónomo pueda usarlo en una simulación en tiempo real.

¿Por qué es esto importante?

Adiós al "Valle Inquietante": Debido a que pinta el coche directamente sobre el vídeo basándose en la iluminación del entorno, el coche no parece un juguete de plástico pegado encima. Parece real.
Variedad Infinita: No necesitas una biblioteca de modelos 3D. Puedes usar datos de nubes de puntos de cualquier fuente (incluso de diferentes conjuntos de datos) para generar un coche. Es como tener un traductor universal para formas de coches.
Escalable: Puede crear miles de estos "casos de esquina" (escenarios raros y peligrosos) automáticamente para entrenar a los coches autónomos para que sean más seguros, sin necesidad de que los humanos construyan manualmente modelos D para cada prueba.

En resumen, DriveWeaver es una herramienta que permite a los ingenieros "dibujar" coches en vídeos de conducción utilizando simples bocetos de puntos, asegurando que esos coches parezcan reales, se mantengan consistentes en el tiempo y puedan utilizarse instantáneamente para probar qué tan bien manejan los coches autónomos las situaciones complicadas.

Resumen Técnico: DriveWeaver

Planteamiento del Problema

La simulación de la conducción autónoma requiere la inserción de vehículos en primer plano con trayectorias predefinidas para mejorar la diversidad de las escenas y generar casos límite (corner cases) para las pruebas. Los enfoques actuales enfrentan dos limitaciones principales:

Inconsistencia de Iluminación y Estilo: Los métodos que dependen de activos 3D pre-reconstruidos (por ejemplo, modelos CAD o bibliotecas de mallas) suelen tener dificultades para armonizar el primer plano insertado con la iluminación y el estilo complejos del fondo, lo que genera una persistente "brecha de dominio".
Escalabilidad y Generalización: Los procesos existentes dependen en gran medida de procesos laboriosos, como la calibración manual de la pose, la selección heurística de activos y la adquisición de mallas 3D de alta calidad. Esta dependencia dificulta el despliegue a gran escala y limita la generalización en diversos escenarios del mundo real.
Inestabilidad Temporal: Aunque existen algunos enfoques generativos, estos suelen sufrir de acumulación de errores y deriva semántica durante la generación a largo plazo, violando la estricta consistencia 3D requerida para la simulación de la conducción. Además, los modelos de video puramente generativos son computacionalmente prohibitivos para la simulación de bucle cerrado en tiempo real.

Metodología

DriveWeaver es un marco novedoso diseñado para la inserción controlada de vehículos mediante un modelo de difusión de inpainting de video condicionado por puntos. El pipeline consta de cuatro componentes principales:

1. Inpainting de Video Condicionado por Puntos

El núcleo de DriveWeaver se basa en el modelo de difusión de video Wan2.1 VACE-14B, que utiliza un marco de flow matching.

Condiciones de Entrada: En lugar de depender de mallas 3D o imágenes de referencia, el modelo utiliza mapas de nubes de puntos renderizados como condiciones geométricas a nivel de píxel. Los puntos LiDAR se proyectan sobre las imágenes de la cámara, se colorean y se rasterizan con un radio fijo para crear mapas de guía geométrica densa ( $I_{pc}$ ) y máscaras ( $M_{pc}$ ).
PointAdapter: Para integrar estas condiciones sin reentrenar el enorme backbone, se introduce un PointAdapter ligero. Este adaptador consiste en una rama DiT separada que procesa los mapas de nubes de puntos concatenados, las máscaras de fondo y las imágenes RGB de las regiones inactivas. La salida del adaptador se proyecta e inyecta como una modulación residual en capas específicas del backbone Wan-DiT congelado. Esto permite al modelo aprovechar los sesgos (priors) generativos del modelo de video a gran escala mientras se adhiere estrictamente a las restricciones geométricas proporcionadas por las nubes de puntos.
Inferencia: El modelo emplea Guía Libre de Clasificador (CFG) para mejorar el realismo, anulando las condiciones de la nube de puntos durante los pasos de muestreo incondicional.

2. Inpainting Jerárquico de Global-a-Local

Para abordar el desafío de la generación a largo plazo (que abarca cientos de fotogramas) sin deriva temporal:

Etapa de Anclaje Global: El modelo primero procesa una secuencia subsampada temporalmente, de baja tasa de fotogramas, en una sola pasada hacia adelante. Esto establece un ancla consistente de identidad global, geometría e iluminación para toda la trayectoria.
Etapa de Interpolación Local: La línea de tiempo original de alta tasa de fotogramas se particiona en segmentos. Los fotogramas de anclaje dispersos generados en la primera etapa sirven como guía densa para reemplazar las condiciones de puntos dispersos. El modelo realiza entonces la generación condicional para sintetizar los segmentos locales de alta tasa de fotogramas, asegurando una estricta consistencia 3D y temporal.
Estrategia de Entrenamiento: El modelo se entrena en dos modos complementarios: GT-Free (generando solo desde condiciones dispersas) para la etapa global, y GT-Aware (usando fotogramas de verdad de campo como supervisión) para la etapa de interpolación local.

3. Destilación de Gaussianas 3D

Para permitir el renderizado en tiempo real para la simulación, el video 2D generado se destila en una representación 3D explícita:

El video de alta fidelidad y consistencia temporal es procesado por OmniRe, un marco de reconstrucción urbana de Gaussian Splatting 3D (3DGS).
El pipeline desacopla explícitamente la instancia del vehículo insertado del escenario de fondo. Esto permite que los activos de Gaussian 3D extraídos encapsulen la compleja iluminación, sombras y propiedades estilísticas generadas por el modelo de difusión.
Estos activos 3D destilados pueden integrarse luego en pipelines de rasterización 3DGS estándar, evitando el costoso modelo de difusión durante la fase de simulación.

4. Detalles de Implementación

Datasets: El entrenamiento utiliza el Waymo Open Dataset y PandaSet, curados en aproximadamente 10,000 muestras.
Arquitectura: Basada en Wan2.1 VACE-14B con un PointAdapter de 3B de parámetros insertado cada 5 bloques.
Entrenamiento: El backbone está congelado; solo se actualiza el PointAdapter. El entrenamiento se ejecuta durante 20,000 iteraciones en 8 GPUs NVIDIA H200.
Costo de Destilación: Aunque la reconstrucción completa toma tiempo, optimizar solo el vehículo en primer plano insertado contra un modelo 3DGS de fondo preentrenado converge en aproximadamente 10 minutos por instancia.

Contribuciones Clave

Marco Novedoso: Propone DriveWeaver, un modelo de difusión de inpainting de video condicionado por puntos que logra una inserción de vehículos en primer plano escalable y generalizable utilizando datos de nubes de puntos de bajo costo en lugar de costosos activos 3D.
Estrategia Jerárquica: Introduce una estrategia de inpainting jerárquica de global-a-local que asegura la consistencia temporal a largo plazo y evita la deriva semántica en secuencias extendidas, un requisito crítico para la simulación de la conducción autónoma.
Pipeline de Renderizado en Tiempo Real: Demuestra la capacidad de destilar videos 2D generados en representaciones explícitas de Gaussian 3D, facilitando el renderizado en tiempo real para el entrenamiento y la evaluación de modelos downstream.
Rendimiento: Experimentos extensos en los datasets Waymo y PandaSet muestran que DriveWeaver supera a los métodos actuales del estado del arte en realismo visual (FID, FVD, LPIPS) y consistencia geométrica (PSNR, SSIM).

Resultados

Realismo Visual: DriveWeaver supera significativamente a las líneas base (HUGSIM, StreetCrafter, Wan2.1 VACE-14B) en métricas de realismo visual. En Waymo, logra un FID de 15.50 (Corto plazo) y 17.50 (Largo plazo), comparado con 49.06 y 56.99 para HUGSIM, respectivamente.
Consistencia Geométrica: El método mantiene una alta consistencia geométrica, permitiendo una reconstrucción 3D exitosa. En Waymo, DriveWeaver alcanza un PSNR de 34.69 (Corto plazo) y 32.23 (Largo plazo), superando a StreetCrafter, que sufre fallos catastróficos de reconstrucción debido a la inconsistencia temporal.
Destilación: La representación de Gaussian 3D destilada (DriveWeaver-D) incurre solo en una degradación marginal en el realismo visual en comparación con la generación de video original, al tiempo que permite capacidades de renderizado en tiempo real.
Estudios de Ablación: Los experimentos confirman que eliminar el PointAdapter conduce a un olvido catastrófico (el FVD se duplica), la proyección de puntos ingenua resulta en salidas borrosas, y revertir a la generación autorregresiva causa una deriva temporal significativa.

Significado

El artículo afirma que DriveWeaver proporciona una herramienta robusta para el aumento escalable de escenas de conducción autónoma. Al reemplazar los laboriosos pipelines de activos 3D por condiciones de nubes de puntos accesibles y aprovechar los sesgos generativos para una armonía ambiental fluida, el método aborda el cuello de botella crítico de la creación de casos límite diversos y de alta fidelidad. La capacidad de generar videos largos y consistentes, y destilarlos en activos 3D renderizables en tiempo real, cierra la brecha entre la generación offline de alta fidelidad y los requisitos de la simulación de conducción autónoma en bucle cerrado y en línea.