SIMSplat: Language-Aligned 4D Gaussian Splatting for Driving Scenario Generation

Resumen Técnico de SIMSplat: 4D Gaussian Splatting Alineado con el Lenguaje para la Generación de Escenarios de Conducción

Planteamiento del Problema

Los marcos de simulación de conducción actuales enfrentan una fragmentación fundamental entre la comprensión del lenguaje, la manipulación de objetos a nivel de instancia y la simulación multiagente reactiva. Los métodos existentes suelen tratar estos aspectos como etapas débilmente conectadas:

• Los editores guiados por lenguaje dependen a menudo de detectores 3D en línea o de IDs de instancias/atributos predefinidos para localizar objetos, lo que los limita a atributos estructurados rígidos y evita el control mediante lenguaje natural de forma libre.
• Los editores no basados en lenguaje admiten una edición más amplia a nivel de objeto, pero carecen de controlabilidad y automatización mediante el lenguaje.
• Gestión de peatones: La mayoría de los marcos se centran exclusivamente en objetos rígidos (vehículos), pasando por alto a los peatones a pesar de su papel crítico en escenarios de seguridad crítica.
• Validez de la simulación: La viabilidad se valida típicamente solo para el vehículo ego o un único objetivo, ignorando los efectos en cascada de los cambios de comportamiento sobre los agentes circundantes.
• Escalabilidad: La generación de escenarios diversos requiere a menudo intervención manual en cada paso, lo que dificulta la creación de escenarios de cola larga (long-tailed scenarios).

El problema central identificado es la ausencia de una representación de escena compartida que sea lo suficientemente expresiva para capturar diversas dinámicas viales y lo suficientemente accesible como para ser controlada mediante lenguaje natural.

Metodología

SIMSplat aborda estos desafíos introduciendo un marco basado en 4D Gaussian Splatting basado en grafos de escena (scene-graph-based 4DGS) aumentado con características alineadas con el lenguaje. El flujo de trabajo integra cuatro componentes clave:

1. 4D Gaussian Splatting basado en Grafos de Escena
El sistema representa escenas dinámicas como un conjunto de elipsoides gaussianos anisotrópicos organizados en un grafo de escena. A diferencia de los enfoques de campos neuronales, esto descompone la escena en nodos modulares:

• Nodos rígidos: Representan vehículos y el fondo estático, transformados mediante transformaciones de cuerpo rígido ($SE(3)$).
• Nodos no rígidos: Representan peatones, que experimentan movimiento global y deformación local (modelando la postura y los gestos).
• Fondo estático: Representa el entorno.
  Esta estructura permite la reconstrucción modular y la edición controlable.

2. Alineación Lenguaje-Gaussiano
Para que la escena sea consultable mediante lenguaje natural de forma libre, SIMSplat incrusta tres tipos de características semánticas directamente en los nodos Gaussianos:

• Alineación de Apariencia: Las características de lenguaje estáticas se incrustan utilizando un autoencoder ligero para comprimir las características de CLIP en un espacio latente. Esto permite la selección de vocabulario abierto basada en atributos visuales (p. ej., "vehículo clásico rojo").
• Alineación Consciente del Movimiento: Reconociendo que las consultas de conducción suelen implicar descripciones dinámicas (p. ej., "cruzando la calle", "girando a la izquierda"), el sistema codifica las trayectorias de los objetos en representaciones latentes. Estas se asocian con codebooks de movimiento y ubicación que contienen prototipos de comportamientos viales típicos (p. ej., "moviéndose de derecha a izquierda", "frente al ego"). Se mantienen codebooks de movimiento separados para vehículos y peatones, mientras que se utiliza un codebook de ubicación compartido para ambos tipos.
• Consulta (Querying): Durante la inferencia, los prompts de texto se codifican (usando E5 Sentence Transformer) y se comparan con las características de apariencia, movimiento y ubicación incrustadas para localizar con precisión los objetos objetivo, incluso en escenas densas con apariencias similares.

3. Minería Automatizada de Escenarios
El marco integra Modelos de Visión y Lenguaje (VLMs) para automatizar el proceso:

• Generación de Prompts: Los VLMs generan prompts de lenguaje natural que describen posibles modificaciones de la escena basadas en imágenes de conducción multivista.
• Viabilidad y Localización (Grounding): Los prompts se validan contra las funciones de edición soportadas. Los objetos objetivo se localizan dentro del grafo de escena alineado con el lenguaje sin necesidad de detectores en línea o anotaciones espaciales manuales.
• Operaciones de Edición: El sistema admite la inserción, eliminación, reemplazo y modificación de trayectoria tanto para vehículos como para peatones. Utiliza un banco de activos que contiene activos de peatones del mundo real extraídos de datos de sensores para asegurar una inserción realista.
• Validación Iterativa: El VLM evalúa los resultados renderizados para verificar la plausibilidad semántica y la consistencia física (p. ej., comprobando colisiones). Si se detectan inconsistencias, el sistema refina iterativamente la selección de activos o los parámetros de movimiento.

4. Refinamiento de Trayectoria Multiagente
Para asegurar simulaciones reactivas, un módulo de refinamiento de trayectoria multiagente (utilizando un modelo de predicción de movimiento como SMART-1B) refina las trayectorias de todos los agentes en la escena, no solo del objetivo editado.

• Dada la trayectoria editada de un objeto objetivo y el historial de todos los agentes, el predictor genera ejecuciones (rollouts) futuras.
• Esto asegura que los agentes circundantes (p. ej., vehículos que siguen, peatones) respondan naturalmente a los cambios (p. ej., detenerse ante un peatón que cruza, desviarse alrededor de un nuevo obstáculo), produciendo simulaciones de escena completa físicamente plausibles.

Contribuciones Clave

1. Alineación Lenguaje-Gaussiano Consciente del Movimiento: Un método novedoso que incrusta características de apariencia, movimiento y ubicación en los Gaussianos del grafo de escena, permitiendo la localización precisa de vocabulario abierto de objetos viales dinámicos mediante la codificación conjunta de la dinámica de la trayectoria.
2. Editor de Objetos Controlado por Lenguaje: Un sistema que soporta la manipulación detallada tanto de vehículos como de agentes críticos para la seguridad (peatones) mediante lenguaje natural de forma libre, incluyendo inserción, eliminación y modificación de trayectoria.
3. Refinamiento de Trayectoria Multiagente: Un mecanismo que propaga las ediciones a todos los participantes viales, asegurando que los agentes circundantes respondan naturalmente a los cambios y validando la viabilidad a nivel de escena completa.
4. Minería Automatizada de Escenarios: Un flujo de trabajo de bucle cerrado donde los VLMs generan prompts, evalúan salidas y refinan parámetros de forma iterativa, permitiendo la generación escalable de escenarios de cola larga sin intervención manual.

Resultados Experimentales

Los experimentos se realizaron en el Waymo Open Dataset utilizando el modelo Qwen3-VL-32B para la automatización.

• Localización de Objetos (Object Grounding): SIMSplat más que duplica la precisión de localización de la base más fuerte (4DLangSplat). Logra una precisión de 0.83 y un vIoU de 0.81 para vehículos, y una precisión de 0.63 y un vIoU de 0.78 para peatones, superando significativamente a las bases que tienen dificultades con las descripciones de movimiento.
• Cumplimiento de Tareas: El marco alcanza la tasa más alta de finalización de tareas en diversas categorías de edición (añadir, modificar, eliminar). La versión guiada por humanos alcanza el 87.2%, mientras que la versión impulsada por VLM alcanza el 71.1%, superando a bases como ChatSim y OmniRe que carecen de edición de peatones o control detallado.
• Validez de la Simulación: SIMSplat produce las tasas de fallo más bajas (colisiones, conducción fuera de la vía) en escenarios multiagente (20.0% de tasa de fallo total) en comparación con las bases (que oscilan entre 53.3% y 80.0%). Esto resalta la necesidad del refinamiento de trayectoria multiagente para escenarios urbanos complejos.
• Rendimiento de VLM: Los VLMs más grandes (p. ej., GPT-5, Claude-Opus-4.1) demostraron tasas de finalización de tareas y puntuaciones de plausibilidad más altas con menos iteraciones, aunque el modelo de código abierto Qwen3-VL-32B proporcionó una base sólida.

Significado y Reivindicaciones

El artículo afirma que SIMSplat proporciona una interfaz unificada que conecta de forma fluida la comprensión del lenguaje, la manipulación a nivel de objeto y la simulación multiagente reactiva. Al incrustar la semántica del lenguaje directamente en el grafo de escena 4D Gaussian, el marco elimina la necesidad de localización heurística de objetos y guía manual.

Los autores sostienen que este enfoque cierra la brecha entre los comandos de lenguaje natural y las complejas dinámicas de conducción, permitiendo:

• Generación escalable de diversos escenarios críticos para la seguridad (incluyendo interacciones con peatones) sin intervención manual.
• Simulaciones reactivas donde toda la escena responde coherentemente a las ediciones, en lugar de solo a objetos aislados.
• Alta fidelidad tanto en el renderizado visual como en la plausibilidad del comportamiento, validada por las tasas de fallo más bajas en interacciones multiagente.

Este trabajo posiciona la representación 4D Gaussian alineada con el lenguaje como una base suficiente y efectiva para la próxima generación de simulación de escenarios de conducción, unificando capacidades que anteriormente requerían sistemas coordinados manualmente.