Resumen Técnico: Robusto-2: Evaluación de Humanos y VLMs para la Conducción Autónoma en Lima y Nueva York

Declaración del Problema

A medida que la tecnología de los vehículos autónomos (SDC) evoluciona de heurísticas codificadas rígidamente hacia sistemas modulares impulsados por modelos de Visión-Lenguaje-Acción (VLA) con Modelos de Visión-Lenguaje (VLMs) como núcleos cognitivos, una pregunta crítica sigue abierta: ¿qué tan bien se generalizan estos sistemas a nuevas geografías y escenarios de casos límite fuera de la distribución (OOD)?

Los modelos fundacionales multimodales actuales están predominantemente entrenados con datos del hemisferio occidental, específicamente de los Estados Unidos. Esto plantea preocupaciones de seguridad respecto a su despliegue en entornos complejos y caóticos donde los datos de entrenamiento son escasos o inexistentes. Mientras que ciudades como San Francisco y Shenzhen tienen despliegues activos de SDC, ubicaciones como Lima, Perú, y Nueva York, EE. UU., siguen siendo entornos desafiantes donde actualmente no operan flotas de SDC. El artículo investiga la brecha de generalización transcultural entre conductores humanos y VLMs cuando se exponen a escenarios de conducción de estas distintas geografías.

Metodología

Los autores presentan Robusto-2, un estudio de evaluación que emplea un diseño factorial completo ($2 \times 3$) que involucra tres poblaciones:

1. Conductores humanos de Lima, Perú.
2. Conductores humanos de la ciudad de Nueva York, EE. UU.
3. Diez VLMs distintos de diversas startups y organizaciones.

Recolección y Selección de Datos

• Estímulos: El estudio utiliza metraje de cámaras de tablero (dashcam) grabadas con la misma configuración de cámara tanto en Lima como en NYC. A partir de las grabaciones originales, se extrajeron 200 clips de cinco segundos (100 por ciudad).
• Pipeline de Selección de OOD: Para asegurar la selección de escenarios desafiantes y fuera de la distribución (OOD), los autores alimentaron 200 clips a múltiples VLMs con 20 preguntas de VQA. Calcularon los embeddings de las respuestas y seleccionaron los 10 clips de cada ciudad que exhibieron la mayor varianza en las respuestas de los modelos. Estos clips de alta dispersión fueron interpretados como escenas OOD y se utilizaron como estímulos finales para la encuesta.
• Participantes: El estudio reclutó a 10 participantes humanos de Lima y 10 de NYC. Todos los humanos fueron verificados como estudiantes universitarios (de 18 a 30 años) con licencias de conducir válidas. Los 30 sistemas (20 humanos + 10 VLMs) recibieron las mismas 20 preguntas en inglés.

Marco de Preguntas de Visión-Lenguaje (VQA)

La evaluación utilizó una estructura de cuatro bloques de preguntas:

1. Factuales (Q1–Q5): Preguntas sobre clima, hora, señales de tráfico y flujo (únicas por video).
2. Calificaciones (Q6–Q10): Evaluaciones cuantitativas subjetivas (escala 1–10) de desorden (clutter), peligro, probabilidad de encontrar escenarios similares y el desempeño esperado de vehículos autónomos frente a conductores humanos.
3. Contrafácticas e Hipotéticas (Q11–Q15): Preguntas creativas que exploran escenarios de colisión sin una verdad de referencia (ground truth).
4. Razonamiento (Q16–Q20): Preguntas de razonamiento complejo sobre el derecho de paso y la seguridad de los peatones, diseñadas para sondear las capacidades de Cadena de Pensamiento (Chain-of-Thought).

Técnicas de Análisis

• Análisis de Embeddings: Las respuestas fueron proyectadas en un espacio 2D utilizando Análisis de Componentes Principales (PCA) y analizadas mediante Análisis de Similitud Representacional (RSA) para visualizar patrones de convergencia/divergencia.
• Análisis de Sesgo Sistemático: Se aplicó el Escalamiento Multidimensional (MDS) a las distancias L1 de las puntuaciones de calificación. Los VLMs fueron instigados 20 veces por par de video-pregunta para construir diagramas de violín distribucionales.
• Similitud Semántica: Un marco de "LLM como Juez" (usando Qwen3-4B en modo de pensamiento) realizó comparaciones por pares de las respuestas, calificando la alineación en una escala de -2 (desacuerdo fuerte) a 2 (acuerdo fuerte).

Resultados Clave

1. Geografía vs. Tipo de Pregunta

El análisis reveló que los patrones de respuesta estaban modulados principalmente por el tipo de preguntas realizadas (por ejemplo, Factuales vs. Razonamiento) más que por la geografía de los datos del video.

• Invarianza Geográfica: No hubo una diferencia significativa en las respuestas (tanto de humanos como de VLMs) basada en si el video era de Lima o de NYC. Los autores atribuyen esto a la naturaleza altamente OOD de los clips seleccionados, lo que probablemente superó los matices geográficos.
• Consistencia Humana: Los humanos de Lima y NYC demostraron patrones de respuesta muy similares independientemente de la fuente del video.

2. Divergencia entre Humanos y VLMs

• Convergencia/Divergencia: Los humanos y los VLMs divergieron en sus respuestas, pero esta divergencia dependió de la categoría de la pregunta.
• Modulación Geográfica de la Divergencia: Mientras que los patrones humanos fueron consistentes a través de las geografías, la brecha entre humanos y VLMs fue ligeramente más pronunciada en el contexto de Lima en comparación con NYC. Específicamente, los VLMs parecieron estar más alejados del grupo de humanos en Lima que en NYC.
• Consistencia de los VLMs: Diferentes VLMs compartieron patrones de respuesta similares independientemente de sus datos de entrenamiento o procedimientos específicos, lo que respalda la hipótesis de la Representación Platónica.

3. Hallazgos Específicos sobre Calificaciones

• Percepción de Peligro (Q8): Los VLMs mostraron una alta similitud al calificar los niveles de peligro en ambas geografías.
• Autoconciencia (Q9): Al preguntarles qué tan bien manejaría la escena un vehículo autónomo, los VLMs mostraron la mayor distancia (disimilitud) a través de las geografías, lo que sugiere una sensibilidad al contexto geográfico al evaluar las capacidades de conducción autónoma.

Contribuciones Clave

1. Dataset Robusto-2: La publicación de un dataset factorial completo que contiene metraje de cámaras de tablero de Lima y NYC, anotado con respuestas de VQA de 20 humanos y 10 VLMs.
2. Benchmark Transcultural: Un diseño de estudio novedoso que controla la geografía al incluir sujetos humanos tanto de la región de "entrenamiento" (EE. UU./NYC) como de una región "no nativa" (Lima), abordando los sesgos presentes en estudios previos (por ejemplo, Robusto-1) que comparaban hablantes no nativos con modelos entrenados en EE. UU.
3. Marco Metodológico: Un proceso de selección de clips de video OOD basado en la varianza del desacuerdo de los modelos, asegurando que el benchmark se enfoque en casos límite en lugar de escenarios de conducción promedio.

Significado y Reivindicaciones

El artículo afirma que, si bien existe una brecha entre la cognición humana y la de las máquinas, no hay una brecha de generalización transcultural significativa entre geografías (Lima vs. NYC) para humanos o VLMs cuando enfrentan escenarios de conducción altamente caóticos y OOD.

Los autores enfatizan que sus hallazgos sugieren que tanto los humanos como los VLMs navegan estos entornos caóticos de "maneras igualmente caóticas". Esto implica que la falta de especificidad geográfica en las respuestas de los modelos puede deberse a la dificultad inherente de los escenarios OOD, en lugar de un fallo en la adaptación cultural.

Limitaciones y Modestia:
Los autores señalan explícitamente la escala modesta del estudio (20 clips, 20 preguntas, 30 sujetos, totalizando ~12,000 puntos de datos). Reconocen que, aunque el volumen de datos es bajo en comparación con los estudios agregados de la multitud (crowd-sourced), el diseño permite una disección única de las diferencias inter-sistemas que a menudo se oscurecen en los conjuntos de datos agregados de "Mega-Humanos". El principal cuello de botella identificado fue la recolección de datos de alta calidad de conductores humanos, no la computación de las respuestas de los VLMs. Los autores planean expandir este trabajo para incluir poblaciones más grandes y datos de cinco continentes en iteraciones futuras.