ReinDriveGen: Reinforcement Post-Training for Out-of-Distribution Driving Scene Generation

Título: ReinDriveGen: Entrenamiento Post-Refuerzo para la Generación de Escenas de Conducción Fuera de Distribución (OOD)

1. El Problema: La Brecha de Distribución en Simuladores de Conducción

La simulación fotorealista de escenas de conducción es crucial para el desarrollo y validación de sistemas de conducción autónoma, especialmente para generar casos extremos de seguridad (corner cases) como colisiones, derrapes o peatones cruzando inesperadamente.

El desafío fundamental identificado por los autores es la brecha de distribución entre el entrenamiento y la inferencia:

• Limitación de los métodos actuales: Los simuladores basados en reconstrucción (NeRF, 3D Gaussian Splatting) o generación de video (Diffusion) se entrenan con datos de conducción reales.
• El problema de la edición: Cuando se intenta editar una escena (cambiar la trayectoria de un vehículo, simular un giro de 360° o un vuelco), las nuevas condiciones de entrada se desvían significativamente de la distribución de entrenamiento (Out-of-Distribution o OOD).
• Falta de Supervisión: Para estos casos editados, no existe un "video de verdad fundamental" (ground truth) real que sirva de referencia. El ajuste fino supervisado (SFT) estándar falla porque no puede aprender a generar lo que nunca ha visto, resultando en artefactos geométricos, texturas irreales y problemas de iluminación, especialmente en los vehículos editados.

2. Metodología: Un Enfoque Híbrido

ReinDriveGen propone un marco unificado con dos componentes principales para abordar la edición de escenas y la mejora de calidad en condiciones OOD:

A. Simulador de Video Difusión Condicionado a Nubes de Puntos (Point Cloud-Conditioned Video Diffusion Simulator)

• Construcción de Escena 3D Dinámica: Se agregan nubes de puntos LiDAR de múltiples cuadros (200 cuadros para el fondo estático, menos para actores dinámicos) y se colorean proyectándolos sobre imágenes de cámara.
• Completado de Vehículos (Vehicle Completion): Dado que los vehículos a menudo están parcialmente ocultos o solo se ven desde ciertos ángulos, se utiliza un módulo de completado de nubes de puntos (basado en AdaPoinTr) para reconstruir la geometría completa de 360° de los vehículos. Esto permite mover los vehículos libremente sin crear "agujeros" geométricos.
• Renderizado y Generación: La escena 3D editada se renderiza en imágenes pseudo-2D (que pueden ser ruidosas o incompletas). Estas imágenes, junto con una imagen de referencia del original, condicionan un modelo de difusión de video (basado en VACE-1.3B) para sintetizar un video fotorealista, rellenando las áreas no observadas por el LiDAR.

B. Entrenamiento Post-Refuerzo (RL-based Post-Training)
Para superar la degradación de calidad en escenarios OOD sin supervisión de ground truth, se introduce un mecanismo de Aprendizaje por Refuerzo (RL):

• Extensión a Video: Se adapta el marco DiffusionNFT (originalmente para imágenes) a la generación de video, optimizando directamente sobre el proceso de difusión forward.
• Modelo de Preferencia Pareada (Pairwise Preference Model): En lugar de asignar una puntuación absoluta (que es propensa a sesgos), se entrena un modelo dedicado para comparar pares de recortes de vehículos.
  • Construcción de datos: Se generan videos con diferentes frecuencias de condicionamiento (cada cuadro, cada 2 cuadros, cada 4 cuadros). La degradación progresiva de la calidad crea pares naturales de "mejor" y "peor" sin anotación manual.
• Mecanismo de Recompensa Pareada (Pairwise Reward Mechanism):
  1. Para una condición OOD dada, se generan múltiples candidatos (N=16).
  2. Se realizan todas las comparaciones pareadas entre los candidatos usando el modelo de preferencia.
  3. La recompensa de un candidato se define por su tasa de victorias (cuántas veces gana en las comparaciones).
  4. Esta recompensa relativa se utiliza para optimizar la política del modelo de difusión, reforzando los patrones de alta calidad y suprimiendo los de baja calidad.

3. Contribuciones Clave

1. Simulador de Video Condicionado a Nubes de Puntos: Un sistema capaz de editar trayectorias de actores y vistas de ego-vehículo manteniendo la consistencia geométrica mediante la reconstrucción 3D explícita.
2. RL Post-Training para Video: La primera extensión de técnicas de RL basadas en preferencias pareadas al dominio de la generación de video de conducción.
3. Mecanismo de Recompensa Robusto: Un enfoque novedoso que evita el "hacking de recompensas" y los sesgos de puntuación absoluta mediante comparaciones relativas (win-rates) entre candidatos generados.
4. Superioridad en Casos Críticos: Capacidad para generar casos extremos de seguridad (giros sobre el eje, vuelcos, colisiones) que son raros o inexistentes en los datos de entrenamiento estándar.

4. Resultados

Los experimentos demuestran que ReinDriveGen supera a los métodos existentes (como Street Gaussians, DriveDreamer4D, ReconDreamer, FreeVS):

• Edición de Trayectorias: En escenarios de cambio de carril y desplazamiento lateral, el método logra un FID (Fréchet Inception Distance) significativamente menor (51.99 vs ~76-124 en otros métodos), indicando mayor realismo fotográfico.
• Consistencia Espacial: Logra las mejores puntuaciones en métricas de consistencia de agentes (NTA-IoU) y límites de carril (NTL-IoU) bajo nuevas vistas.
• Calidad Visual: Las comparaciones cualitativas muestran que el método elimina distorsiones geométricas y artefactos de textura en vehículos editados, generando iluminación y sombras plausibles incluso en regiones no observadas originalmente.
• Evolución con RL: Las abalaciones muestran que a medida que avanza el entrenamiento RL, la calidad de los vehículos en escenarios OOD (como giros sobre el eje) mejora progresivamente en geometría y textura.

5. Significado e Impacto

ReinDriveGen aborda un problema fundamental en la simulación de conducción autónoma: cómo generar datos de entrenamiento realistas para situaciones peligrosas y raras sin necesidad de recolectar esos datos en el mundo real.

• Solución a la Escasez de Datos: Permite sintetizar casos extremos de seguridad (que son intrínsecamente raros) mediante edición controlada, cerrando la brecha de distribución que limita a los modelos supervisados.
• Paradigma General: Demuestra que el entrenamiento post-refuerzo con recompensas pareadas es una estrategia viable para mejorar modelos de difusión más allá de la cobertura de sus datos de entrenamiento supervisado.
• Aplicabilidad: Ofrece una herramienta potente para la validación de políticas de conducción y la augmentación de datos, reduciendo la dependencia de simuladores físicos costosos o la recolección de datos de accidentes reales.

En resumen, ReinDriveGen combina la precisión geométrica de la reconstrucción 3D con la flexibilidad creativa de la difusión de video, potenciada por un mecanismo de RL inteligente, logrando la generación de escenas de conducción editables y fotorealistas incluso en condiciones extremas y fuera de distribución.