Causal Scene Narration with Runtime Safety Supervision for Vision-Language-Action Driving

1. Problema Identificado

Los modelos de Visión-Lenguaje-Acción (VLA) para la conducción autónoma a menudo fallan porque los sistemas actuales presentan las instrucciones de navegación y las advertencias de peligro como fragmentos de texto desconectados. Esto obliga al modelo a descubrir por sí mismo, mediante mecanismos de atención implícitos, qué restricciones ambientales son relevantes para la maniobra actual.

Los autores identifican tres debilidades principales en los sistemas VLA existentes:

1. Falta de estructura causal: Las instrucciones (ej. "girar a la izquierda") y las restricciones (ej. "peatón adelante") se presentan sin vincularlas causalmente, dificultando que el modelo entienda la relación de dependencia.
2. Ausencia de garantías de seguridad en tiempo de ejecución: Los modelos actúan como predictores de bucle abierto; una vez que se predice una acción insegura, no hay mecanismo para interceptarla antes de su ejecución.
3. Desplazamiento de distribución en modelos alineados: Los métodos de optimización de preferencias (como DPO) pueden sobreajustarse a los datos de entrenamiento, perdiendo capacidad de generalización en escenarios no vistos, y la alineación en tiempo de entrenamiento no garantiza seguridad en todos los casos.

2. Metodología Propuesta

El marco de trabajo propuesto opera en tres etapas, combinando una reestructuración de texto en tiempo de inferencia con supervisión de seguridad:

A. Narración de Escena Causal (CSN) - Tiempo de Inferencia

CSN es un pipeline que reestructura las entradas de texto del modelo VLA sin costo adicional de GPU (se ejecuta en CPU). Se basa en tres principios:

1. Anclaje Cuantitativo Físico: Reemplaza calificadores vagos (ej. "adelante", "cuidado") por valores métricos exactos (distancias en metros, velocidades en km/h).
2. Separación Estructurada de Información: Organiza el estado del entorno en una secuencia de cuatro partes que imita la cadena de razonamiento percepción-predicción-planificación: estado del vehículo, topología de la carretera, señales y un componente causal.
3. Alineación Causal Intención-Restricción: Vincula explícitamente la intención de navegación con las restricciones relevantes utilizando conectores causales naturales (ej. "BUT" para bloqueos, "YIELD_BEFORE" para conflictos temporales, "BECAUSE" para explicaciones).
   • Ejemplo: En lugar de "Girar a la izquierda. Peatón adelante", CSN genera: "Girar a la izquierda, PERO ceder al peatón que cruza desde la derecha a 12m ANTES de ejecutar el giro".

B. Supervisor de Seguridad en Tiempo de Ejecución

Se implementa una arquitectura Simplex, donde un controlador de alta garantía (HAC) protege a un controlador de alto rendimiento (HPC, el modelo VLA).

• Monitoreo Semántico: A diferencia de los supervisores basados solo en distancia física, este supervisor verifica la consistencia semántica entre las waypoints predichas por el VLA y la intención de navegación (ej. detectar si el modelo intenta girar en dirección contraria a la orden).
• Mecanismo de Intervención: Si se detecta una violación (ej. inconsistencia de dirección o vehículo atascado), el sistema cambia instantáneamente a un controlador de respaldo basado en reglas (Traffic Manager de CARLA) durante un periodo mínimo, garantizando la seguridad sin modificar los pesos del modelo.

C. Alineación en Tiempo de Entrenamiento (PL-DPO-NLL)

Como condición experimental para comparación, los autores utilizan una variante de DPO (Direct Preference Optimization) con ranking Plackett-Luce y regularización de verosimilitud negativa (NLL) para evitar el colapso de probabilidades y mejorar la alineación de seguridad en los pesos del modelo.

3. Contribuciones Clave

1. Marco CSN: Identifican la falta de enlaces intención-restricción como un cuello de botella crítico. Proponen CSN, un pipeline de enriquecimiento de texto que logra una alineación causal sin reentrenamiento ni uso de VRAM adicional.
2. Evaluación Multi-ciudad: Realizan una evaluación exhaustiva en CARLA con 16 rutas en 8 ciudades diferentes, incluyendo condiciones climáticas adversas (lluvia, niebla, noche), demostrando la robustez del enfoque.
3. Descomposición Empírica: Mediante un estudio de ablación controlado, demuestran que la mejora en el rendimiento no se debe solo a la cantidad de información, sino específicamente a la estructura causal del texto.
4. Análisis de Supervisión de Seguridad: Comparan la supervisión semántica (basada en intención) con la supervisión reactiva (basada en tiempo de colisión - TTC), demostrando que la primera es superior para sistemas VLA.

4. Resultados Principales

• Mejora en Puntuación de Conducción (Driving Score - DS):
  • En el modelo LMDrive original: +31.1% de mejora.
  • En la variante alineada con preferencias (PL-DPO-NLL): +24.5% de mejora.
• Descomposición del Beneficio:
  • En el modelo original, el 39.1% de la mejora se atribuye exclusivamente a la estructura causal (el resto es contenido informativo).
  • En el modelo alineado, este porcentaje baja al 13.5%, sugiriendo que el aprendizaje de preferencias internaliza parcialmente el razonamiento causal, reduciendo la necesidad de conectores explícitos.
• Seguridad: La supervisión semántica mejora la puntuación de infracciones (Infraction Score), mientras que el monitoreo reactivo de TTC degrada el rendimiento debido a frenadas de emergencia falsas positivas.
• Robustez: CSN mantiene su beneficio incluso con ruido de percepción significativo (errores de distancia de ±5m, ruido de velocidad de ±30% y pérdida de detección de actores del 20%).
• Interacción Negativa: Se descubrió que combinar CSN con el supervisor de seguridad disminuye el rendimiento. Esto se debe a que el supervisor aplica límites pasivos de control (clamping) que truncan las maniobras evasivas anticipatorias que CSN induce en el modelo.

5. Significado e Impacto

El trabajo demuestra que la calidad de la estructura del texto es tan crítica como la calidad de la información visual en los modelos VLA para la conducción autónoma. Al reestructurar las entradas para reflejar explícitamente las relaciones causales entre la intención del conductor y las restricciones del entorno, se puede mejorar drásticamente el rendimiento y la seguridad sin necesidad de reentrenar modelos masivos ni añadir coste computacional en GPU.

Además, el estudio destaca que los sistemas de seguridad para VLA no deben basarse únicamente en métricas físicas (distancia), sino que deben comprender la intención semántica del agente para evitar interferencias perjudiciales. La propuesta ofrece una vía práctica y eficiente para hacer que los sistemas de conducción autónoma basados en LLM sean más robustos y seguros en entornos complejos y dinámicos.