GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation

1. Problema y Motivación

El desarrollo de simuladores de conducción fotorrealistas, editables y de alta fidelidad es crucial para entrenar y evaluar sistemas de conducción autónoma de extremo a extremo. Sin embargo, los enfoques existentes presentan limitaciones significativas:

• Simuladores basados en reconstrucción: Métodos como PVG, OmniRe o S3Gaussian reconstruyen escenas a partir de trayectorias grabadas, pero solo pueden renderizar vistas de alta calidad a lo largo de esas trayectorias específicas. No soportan la simulación desde puntos de vista libres (fuera de la trayectoria original) sin introducir artefactos geométricos (como "flotadores" o distorsiones).
• Modelos generativos híbridos: Enfoques como FreeSim o ReconDreamer intentan combinar generación y reconstrucción, pero a menudo sufren de inconsistencia de vistas, pérdida de detalles y falta de capacidad de edición de la escena.
• Modelos de mundo (World Models): Modelos como DriveDreamer-2 generan videos pero carecen de una representación 4D explícita, lo que impide un control preciso de la pose de la cámara y garantiza la consistencia 3D.

Además, un desafío central es la falta de conjuntos de datos públicos que contengan múltiples trayectorias simultáneas para entrenar modelos que generen nuevas vistas a partir de una sola trayectoria grabada.

2. Metodología: GA-Drive

GA-Drive propone un marco novedoso que desacopla la geometría de la apariencia y utiliza la generación basada en difusión para crear vistas nuevas y editables.

A. Desacoplamiento Geometría-Apariencia

La idea central es separar la estructura 3D de la escena (geometría) de su textura y color (apariencia).

• Módulo de Geometría: Se basa en OmniRe (una representación de gráficos de escena con Gaussianas 4D). Para mejorar la precisión geométrica en escenas con vistas limitadas, se introducen dos técnicas clave:
  1. Supervisión densa de profundidad: Utiliza un modelo de estimación de profundidad monoculares (Marigold) alineado con datos LiDAR dispersos para proporcionar guía geométrica en áreas sin cobertura de LiDAR.
  2. Regularización de distorsión de profundidad: Minimiza la dispersión de las Gaussianas a lo largo de los rayos, evitando la formación de "flotadores" y asegurando que las Gaussianas se agrupen cerca de la superficie real.
• Módulo de Apariencia: Una vez obtenida una geometría precisa, la síntesis de la apariencia se delega a un modelo de difusión de video.

B. Síntesis de Vistas Pseudo (Geometry-Guided Pseudo-View Synthesis)

Para entrenar el modelo de difusión sin necesidad de múltiples trayectorias reales, el sistema genera "vistas pseudo" que sirven como condiciones geométricas:

1. Se proyectan rayos desde una nueva pose de cámara hacia el espacio 3D reconstruido para obtener una nube de puntos.
2. Estos puntos se proyectan sobre las vistas originales grabadas para extraer sus colores.
3. Se implementa un control de visibilidad riguroso: si un punto está oculto en la vista original (según el mapa de profundidad renderizado), se marca como negro.
4. El resultado es una vista "pseudo" que contiene la estructura 3D correcta pero puede tener huecos o artefactos de mezcla.

C. Pipeline de Simulación de Vistas Pseudo

Dado que los conjuntos de datos públicos (como Waymo) solo tienen una trayectoria por escena, el equipo diseñó un pipeline para simular pares de entrenamiento:

• Se toman las vistas originales y se les aplican transformaciones que imitan los patrones de error de las vistas pseudo reales: ruido aleatorio (máscaras), mezcla local de píxeles y regiones ocluidas simuladas.
• Esto permite entrenar el modelo de difusión utilizando vistas reales como "ground truth" y las vistas pseudo simuladas como condiciones, escalando el entrenamiento a grandes datasets.

D. Modelo de Difusión de Video por Segmentos

Para generar trayectorias largas y coherentes:

• Se utiliza una arquitectura basada en CogVideoX.
• Se emplea un enfoque segmento a segmento: la última frame generada de un segmento se convierte en la primera frame de condición del siguiente segmento.
• Las frames restantes de condición son las vistas pseudo correspondientes a la trayectoria.
• Esto asegura la consistencia temporal y evita el "drift" (desviación) visual en trayectorias largas.

3. Contribuciones Clave

1. Desacoplamiento Geometría-Apariencia: Un marco que separa la estructura 3D de la textura, permitiendo la edición flexible de la apariencia (cambio de clima, vehículos, etc.) sin afectar la geometría subyacente, manteniendo la consistencia en todas las trayectorias.
2. Pipeline de Simulación de Vistas Pseudo: Una solución innovadora que permite entrenar modelos de difusión para síntesis de nuevas vistas utilizando únicamente conjuntos de datos de una sola trayectoria, eliminando la necesidad de grabaciones multivía costosas.
3. Rendimiento Superior: El marco supera a los métodos existentes en la síntesis de nuevas trayectorias, logrando mejores puntuaciones en métricas de consistencia espacial y realismo.

4. Resultados y Evaluación

• Métricas Cuantitativas: En el conjunto de validación de Waymo, GA-Drive superó a los baselines (PVG, S3Gaussian, DriveDreamer4D, ReconDreamer, Deformable-GS) en:
  • NTA-IoU (Intersección sobre Unión de Agentes en Trayectoria Nueva): 0.558 (el más alto), indicando una mejor localización y forma de vehículos.
  • NTL-IoU (Intersección sobre Unión de Carriles en Trayectoria Nueva): 56.83 (el más alto), mostrando una mejor consistencia de las líneas de carril.
  • FID (Fréchet Inception Distance): 49.77 (el más bajo), demostrando una mayor fotorrealismo en comparación con otros métodos.
• Resultados Cualitativos: Las comparaciones visuales muestran que GA-Drive mantiene una consistencia estructural superior en trayectorias desplazadas (ej. cambio de carril de 3-4 metros), evitando el desenfoque y las inconsistencias de forma comunes en otros métodos híbridos.
• Edición de Apariencia: Se demostró la capacidad de editar la apariencia de los videos grabados (ej. cambiar el clima a niebla o modificar el color de los coches) y propagar estos cambios consistentemente a todas las vistas generadas en nuevas trayectorias.
• Robustez: El modelo mostró ser robusto ante la corrupción de la geometría subyacente (eliminación de hasta el 80% de las Gaussianas o adición de ruido de traslación), manteniendo métricas estables gracias a la capacidad de generalización del modelo de difusión.

5. Significado e Impacto

GA-Drive representa un avance significativo en la simulación de conducción autónoma al resolver el compromiso entre la precisión geométrica y la flexibilidad de generación.

• Entrenamiento de IA: Proporciona un entorno de simulación infinito y editable para entrenar sistemas de conducción autónoma en condiciones variadas (nieve, niebla, cambios de carril) que serían costosos o peligrosos de grabar en la realidad.
• Edición de Escenas: Permite a los investigadores modificar dinámicamente el entorno de prueba sin tener que volver a reconstruir la geometría 3D, facilitando la evaluación de sistemas bajo diferentes condiciones de apariencia.
• Escalabilidad: Al no requerir múltiples trayectorias simultáneas para el entrenamiento, el método es aplicable a grandes volúmenes de datos de conducción existentes, democratizando el acceso a simuladores de alta fidelidad.

En resumen, GA-Drive establece un nuevo estándar para la generación de vistas libres en entornos de conducción, combinando la precisión de la reconstrucción 3D con la potencia creativa de los modelos de difusión.