Retrieval-Augmented Safety Knowledge for Vision-Language-Action Models in Autonomous Vehicles

Resumen Técnico: Conocimiento de Seguridad Recuperado para Modelos de Visión-Lenguaje-Acción en Vehículos Autónomos

Planteamiento del Problema
Los modelos de Visión-Lenguaje-Acción (VLA) han surgido como un enfoque prometedor para la conducción autónoma de extremo a extremo, utilizando descripciones en lenguaje natural para condicionar las predicciones de trayectoria. Sin embargo, los modelos VLA estándar suelen entrenarse en conjuntos de datos a gran escala que contienen únicamente metrajes de tráfico benigno y normal. En consecuencia, carecen de exposición a la "cola larga" de interacciones peligrosas y escenarios críticos de seguridad necesarios para una planificación fiable. Aunque los escenarios de colisión son esenciales para la seguridad, son poco frecuentes en los datos del mundo real, lo que provoca que estén subrepresentados en los conjuntos de entrenamiento. La recopilación de metraje de colisiones reales suficiente para el ajuste fino (fine-tuning) es costosa y éticamente desafiante, mientras que la aumentación sintética corre el riesgo de introducir brechas de dominio. Además, los modelos de Visión-Lenguaje (VLM) existentes utilizados para la descripción de escenas suelen generar descripciones que omiten detalles críticos de seguridad, lo que conduce a predicciones de trayectoria subóptimas. Los enfoques actuales de recuperación aumentada en la conducción suelen depender de regulaciones o grafos curados en lugar de conocimiento destilado de patrones de accidentes reales.

Metodología
Los autores proponen un marco de descripción de escenas con recuperación aumentada que inyecta conocimiento de colisiones destilado en el bucle de percepción de un modelo VLA sin reentrenar el predictor de trayectoria. El marco opera en cuatro etapas:

1. Construcción de la Base de Conocimientos:

   • Políticas de Evitación de Colisiones: Los autores procesaron 1,500 videos de accidentes reales de cámaras de tablero (dashcam) del Car Crash Dataset (CCD). Utilizando un VLM (Gemini 3.1 Flash-Lite), extrajeron el detonante, el riesgo latente y la mitigación de cada accidente. Estas declaraciones originales fueron generalizadas por un modelo de lenguaje grande (Claude Fable 5) para eliminar detalles específicos de cada clip, resultando en 938 declaraciones. Estas fueron posteriormente agrupadas y desduplicadas en un banco compacto de 98 políticas canónicas de evitación de colisiones.
   • Espejo de Lateralidad de Tráfico: Un procedimiento automatizado genera variantes de tráfico de mano izquierda y mano derecha de cada política y regla para permitir la transferencia entre regiones.
   • Reglas de Tráfico: Se compiló un banco complementario de 18 reglas de conducción formales (por ejemplo, del modelo Responsibility-Sensitive Safety) que cubren distancias seguras, prioridad de paso y respuestas ante usuarios ocluidos.

2. Mecanismo de Recuperación:

   • Durante la inferencia, el fotograma de la cámara actual se incrusta (embed) utilizando un codificador de visión CLIP.
   • El sistema recupera las $k$ políticas de colisión y reglas de conducción más relevantes del banco de conocimientos offline basándose en la similitud de coseno en el espacio de incrustación compartido de CLIP.
   • Estas declaraciones recuperadas se inyectan en el prompt de un VLM ligero (el "descriptor de escenas" o captioner).

3. Generación de la Descripción (Caption):

   • El VLM descriptor genera una descripción de la escena consciente de la seguridad en un formato fijo de dos líneas (Escena Visible y Acción). El prompt incluye el conocimiento de seguridad recuperado, prohibiendo las alucinaciones y asegurando que la acción se base en evidencia visible confirmada.

4. Predicción de Trayectoria:

   • La descripción generada es codificada por un codificador de texto congelado (BGE-base-en-v1.5) y alimentada a un modelo VLA congelado (entrenado en el conjunto de datos CoVLA). El modelo VLA predice la trayectoria futura del vehículo propio (20 puntos de ruta sobre 3 segundos) basándose en la imagen, el estado del vehículo y el texto aumentado.

Contribuciones Clave

• Pipeline de Destilación Escalable: Un método para convertir 1,500 videos de colisiones reales en una base de conocimientos compacta y recuperable de 98 políticas de evitación de colisiones reutilizables y 18 reglas de conducción formales.
• Adaptación Automatizada de Regiones: Un procedimiento que espeja las políticas para tráfico de mano izquierda y derecha, permitiendo que el conocimiento destilado de datos de tráfico de mano derecha (CCD) se aplique a entornos de tráfico de mano izquierda (CoVLA) sin necesidad de re-anotación manual.
• Descripción de Escenas con Recuperación Aumentada: Un mecanismo que mejora la precisión de la predicción de la trayectoria recuperando conocimiento de seguridad relevante durante la inferencia, permitiendo que la base de conocimientos se actualice mediante la reconstrucción del índice en lugar del reentrenamiento del modelo.

Resultados Experimentales
El marco fue evaluado en el benchmark CoVLA (tráfico de mano izquierda) y cualitativamente en GTACrash (tráfico sintético de mano derecha).

• Precisión de la Predicción de Trayectoria:

  • La recuperación mejoró la predicción de la trayectoria en 27 de las 30 configuraciones probadas.
  • Para los descriptores con al menos 3B de parámetros, la recuperación redujo consistentemente el Error de Desplazamiento Promedio (ADE) en cada profundidad de recuperación.
  • La mejor configuración (LLaVA-1.5-7B con $k=5$) logró 0.932 m de ADE y 2.116 m de Error de Desplazamiento Final (FDE).
  • Esto representa una reducción del 10.2% en el ADE en comparación con el mismo modelo sin recuperación (1.038 m) y coincide con la precisión de las descripciones de verdad de campo (ground-truth) del conjunto de datos (0.931 m) con una diferencia de solo 0.001 m.
  • Comparado con descripciones aleatorias no informativas (1.532 m ADE), el enfoque con recuperación aumentada mejoró la precisión en un 39.2%.
  • El método superó al baseline de CoVLA-Agent totalmente autónomo (que utiliza un modelo de 6.7B parámetros entrenado conjuntamente) utilizando aproximadamente dos órdenes de magnitud menos de parámetros (~29M frente a ~6.7B).

• Análisis Cualitativo (GTACrash):

  • En escenarios de colisión inminente, las descripciones con recuperación de conocimiento fueron más conscientes de los peligros, recomendando acciones defensivas (por ejemplo, reducir la velocidad, ceder el paso) en comparación con las recomendaciones pasivas o inseguras de las descripciones sin recuperación.

• Estudios de Ablación:

  • Tamaño del Modelo: Los descriptores más grandes (≥3B de parámetros) se beneficiaron consistentemente de la recuperación, mientras que los modelos más pequeños (SmolVLM-256M) mostraron ganancias significativas solo cuando la recuperación estaba presente, aunque no alcanzaron el rendimiento absoluto de los modelos más grandes.
  • Profundidad de Recuperación: Para modelos ≥3B, el rendimiento generalmente mejoró o se estabilizó a medida que la profundidad de recuperación ($k$) aumentó de 1 a 5.
  • Codificador de Texto: La elección del codificador de texto congelado impactó significativamente el rendimiento. El codificador BGE-base-en-v1.5 (512 tokens) arrojó los mejores resultados (ganancia del 10.2%), superando a los codificadores de contexto más corto como CLIP ViT-B/32 (ganancia del 3.7%).

Significancia y Reivindicaciones
El artículo afirma que el conocimiento de seguridad estructurado puede incorporarse eficazmente en modelos VLA compactos a través de la recuperación en el momento de la inferencia, evitando la necesidad de un reentrenamiento costoso o de conjuntos de datos masivos cargados de colisiones. El marco demuestra que:

1. El Conocimiento de Seguridad es Transferible: El conocimiento destilado de colisiones reales en una configuración de tráfico puede adaptarse a otra mediante el espejado automatizado.
2. La Recuperación Cierra la Brecha: Las descripciones con recuperación aumentada pueden recuperar la brecha de rendimiento entre las descripciones generadas automáticamente y las descripciones de verdad de campo, dirigiendo eficazmente al VLA hacia la conciencia de la seguridad crítica.
3. Eficiencia: El enfoque logra una precisión de predicción de trayectoria de vanguardia con un overhead computacional mínimo y una fracción de los parámetros entrenables requeridos por los baselines totalmente ajustados.
4. Generalización: El método se generaliza a escenarios de colisión sintéticos fuera de la distribución, fomentando comportamientos de conducción más defensivos en situaciones peligrosas.

Los autores señalan limitaciones, incluyendo que el propio modelo VLA no aprende estrategias de evitación de colisiones a partir de los datos peligrosos (solo el descriptor es guiado por ellos), y que las recomendaciones generadas aún pueden ser excesivamente conservadoras o insuficientemente cautelosas en casos atípicos (edge cases) poco comunes. Se propone como trabajo futuro extender esto a la recuperación de video temporal y calibrar el nivel de precaución en las recomendaciones generadas.