VLM-VPI: A Vision-Language Reasoning Framework for Improving Automated Vehicle-Pedestrian Interactions

Resumen Técnico: VLM-VPI – Un Marco de Razonamiento Visión-Lenguaje para Mejorar las Interacciones entre Vehículos y Peatones

1. El Problema: Limitaciones de la Autonomía Basada en la Geometría

Los sistemas actuales de conducción autónoma (AV) enfrentan un desafío fundamental en las intersecciones urbanas: la interpretación errónea de la intención humana. La mayoría de las arquitecturas actuales operan exclusivamente en un espacio geométrico y cinemático, asumiendo que el comportamiento del peatón es continuo y predecible mediante la velocidad y la posición.

Sin embargo, las decisiones de los peatones (como ceder el paso o cruzar repentinamente) son actos semánticos y sociales que pueden ocurrir sin previo aviso cinemático. Esto genera dos problemas críticos:

• Riesgos de seguridad: Retrasos en el frenado de emergencia ante peatones que no cederán el paso.
• Ineficiencia de tráfico: Frenados innecesarios (falsas alarmas) ante peatones que sí tienen la intención de ceder el paso.
• Invisibilidad demográfica: Los sistemas actuales aplican márgenes de seguridad uniformes, ignorando que niños (impredecibles) y adultos mayores (movilidad reducida) requieren estrategias de control diferenciadas.

2. Metodología: El Marco VLM-VPI

Los autores proponen VLM-VPI (Vision–Language Model-based Vehicle–Pedestrian Interaction), un marco de razonamiento multimodal que opera en un bucle cerrado dentro del entorno de simulación CARLA. El sistema se divide en tres capas:

1. Capa de Percepción Multimodal: Captura imágenes RGB de la parte frontal del vehículo y registros cinemáticos sincronizados (posición, velocidad y distancia del vehículo y el peatón).
2. Capa de Razonamiento (Vision-Language Reasoning): Es el núcleo del sistema. Utiliza dos modelos de lenguaje de gran escala (LLM):
   • Qwen3-VL 8B: Convierte la imagen en una descripción textual estructurada del escenario (postura, mirada, orientación, edad aparente).
   • GPT-OSS 20B: Realiza el razonamiento de intención utilizando una metodología de aprendizaje de pocos ejemplos (few-shot learning). Se le proporcionan seis ejemplos reales del conjunto de datos PIE para que el modelo aprenda patrones de comportamiento humano auténticos. El modelo debe emitir un análisis visual, un análisis cinemático y una decisión final (ceder o no ceder).
3. Módulo de Control de Seguridad Escalonado: Traduce la intención y la categoría demográfica en comandos de frenado. Implementa un control adaptativo a la demografía mediante multiplicadores de seguridad ($\alpha_{demo}$):
   • Niños ($\alpha=1.4$): Márgenes de seguridad más amplios debido a su impredecibilidad.
   • Adultos ($\alpha=1.0$): El estándar de referencia.
   • Adultos Mayores ($\alpha=1.2$): Márgenes extendidos para compensar su menor velocidad de cruce.

3. Contribuciones Clave

• Cambio de Paradigma: Transición de la predicción puramente geométrica al razonamiento semántico en el espacio social.
• Metodología Few-Shot: Demostración de que el uso de pocos ejemplos de comportamiento real es más efectivo para la seguridad que entrenar modelos con grandes cantidades de datos sintéticos de simulación.
• Control Sensible al Contexto: Implementación de un marco de control que adapta los umbrales de frenado según la edad del peatón, optimizando tanto la seguridad como la fluidez del tráfico.

4. Resultados Principales

El sistema fue evaluado en 112 escenarios de CARLA y 24 escenarios del mundo real (PIE):

• Precisión de Intención: VLM-VPI alcanzó un 92.3% de precisión, superando significativamente a los modelos basados en reglas (78.4%), modelos de trayectoria supervisados (73.5-82.4%) y configuraciones de LLM zero-shot (88.4%).
• Seguridad (TTC - Tiempo para la Colisión): El uso de control adaptativo redujo los conflictos en un 60% para niños y un 54.5% para adultos mayores en comparación con el control uniforme. El tiempo medio mínimo de TTC mejoró de 1.92 s a 4.47 s.
• Eficiencia de Tráfico: Se redujo la tasa de falsas alarmas (frenados innecesarios) del 7.4% al 2.8%. Además, el tiempo de travesía de la intersección en escenarios donde el peatón cede el paso se redujo de 11.2 s a 8.9 s.
• Transferibilidad (Sim-to-Real): El sistema mantuvo una precisión del 87.5% en datos del mundo real, demostrando que el razonamiento semántico es robusto frente al cambio de dominio.

5. Significado e Impacto

Este trabajo demuestra que la integración de modelos de lenguaje y visión permite a los vehículos autónomos "entender" el contexto social de una interacción. Al dotar al vehículo de una capacidad de razonamiento interpretable (el sistema puede explicar por qué decidió frenar), se sientan las bases para sistemas de conducción más seguros, eficientes y, sobre todo, capaces de proteger de manera diferenciada a las poblaciones más vulnerables de la sociedad.