Resumen Técnico: ¿De dónde viene la respuesta? Evaluación de la identificación de evidencia visual a nivel de vista en MLLMs multivista para la conducción autónoma

Planteamiento del problema

Los Modelos de Lenguaje Multimodales (MLLM) han demostrado un sólido rendimiento en evaluaciones de razonamiento visual. Sin embargo, las métricas de evaluación estándar se centran casi exclusivamente en la corrección de la respuesta final, fallando al verificar si el razonamiento del modelo está fundamentado en la evidencia visual correcta. Esta limitación es particularmente crítica en escenarios de conducción autónoma que involucran entradas multivista (por ejemplo, cámaras de visión periférica). En estos entornos, un modelo puede generar una respuesta plausible o incluso correcta basándose en sesgos lingüísticos, atajos del conjunto de datos o evidencia alucinada, mientras atribuye incorrectamente dicha respuesta a una vista de cámara específica. Estos comportamientos de "vista incorrecta/respuesta correcta" socavan la confianza en los sistemas críticos para la seguridad, ya que un razonamiento fiable requiere no solo una conclusión correcta, sino también la identificación correcta de la fuente visual de apoyo.

Metodología

Diseño del Benchmark

Los autores introducen un benchmark de diagnóstico para evaluar la identificación de evidencia visual a nivel de vista en MLLMs multivista. El benchmark se construye sobre el conjunto de datos NuScenes, utilizando seis vistas de cámara sincronizadas (Front, Front Left, Front Right, Back, Back Left, Back Right) por escena.

• Construcción del Conjunto de Datos: El conjunto de datos comprende 122 pares de pregunta-respuesta (QA) centrados en conflictos derivados de 73 escenas. El proceso de construcción implica:

  1. Minería de Conflictos: Minería automática de eventos candidatos (cruce de peatones, frenado, corte de trayectoria, cambio de carril, giro y Car-to-Car Front Turn-Across-Path) a partir de características cinemáticas y geométricas.
  2. Proyección de Vistas: Proyección de las cajas delimitadoras (bounding boxes) 3D de los actores involucrados sobre los seis planos de cámara para identificar la visibilidad.
  3. Generación de QA: Creación de preguntas dirigidas a tres tipos de razonamiento: causalidad, razonamiento contrafáctico e predicción de intención.
  4. Anotación: Cada par de QA se asocia con una "vista de oro" (golden view) verificada manualmente (el único canal de cámara que proporciona la evidencia más directa) o se etiqueta como NONE si ninguna vista proporciona evidencia suficiente. Se excluyen los casos ambiguos.

• Configuraciones de Evaluación: El benchmark evalúa los modelos bajo tres protocolos distintos para aislar diferentes modos de fallo:

  1. Selección de Vista: El modelo recibe las seis vistas y debe predecir la cámara de apoyo (o NONE).
  2. Oracle QA: El modelo recibe solo la imagen de la vista de oro y debe responder a la pregunta. Esto aísla la capacidad de razonamiento cuando se proporciona la fuente visual correcta.
  3. Predicción Conjunta: El modelo recibe las seis vistas y debe predecir simultáneamente la vista de apoyo y la respuesta en una sola pasada.

• Métricas:

  • Precisión de Vista (View Accuracy): Coincidencia exacta con la etiqueta de la vista de oro.
  • Precisión de Respuesta (Answer Accuracy): Coincidencia exacta para preguntas de opción múltiple (MC); equivalencia semántica juzgada por un LLM para respuestas de texto libre.
  • Éxito Conjunto (Joint Success): Precisión estricta que requiere que tanto la selección de la vista como la respuesta sean correctas.

Configuración Experimental

Los autores evaluaron una gama de MLLMs propietarios (GPT-5.4, Gemini, Claude) y de código abierto (Qwen2.5-VL, Qwen3-VL, InternVL3). Todos los modelos fueron probados en un entorno zero-shot utilizando un protocolo de prompting unificado sin ajuste fino específico para la tarea.

Resultados Clave

• Rendimiento de Selección de Vista: Los modelos propietarios demostraron capacidades superiores de identificación de vistas, con Claude logrando la precisión media más alta (82.62%), seguido de GPT-5.4 (77.54%) y Gemini (74.10%). Los modelos de código abierto mostraron una varianza significativa; Qwen3-VL e InternVL3 se agruparon alrededor del 61.5%, mientras que Qwen2.5-VL cayó al 12.62%, rindiendo cerca de un nivel de base aleatorio.
• La Brecha Oracle-a-Conjunto (Oracle-to-Joint Gap): Se observó una caída constante de rendimiento al pasar de Oracle QA (donde se proporciona la vista correcta) a la Predicción Conjunta. Por ejemplo, la precisión de opción múltiple de Claude cayó de 89.3% (Oracle) a 73.2% (Conjunto). Esto indica que la identificación de la vista es un cuello de botella primario para el razonamiento fundamentado de extremo a extremo; los modelos a menudo fallan al localizar la evidencia antes de intentar razonar.
• Fenómeno de Vista Incorrecta/Respuesta Correcta: El análisis reveló que una parte significativa de las respuestas correctas fueron generadas con selecciones de vista incorrectas. En todos los modelos, 192 de 732 ensayos de opción múltiple resultaron en una respuesta correcta a pesar de seleccionar la vista errónea. Esto sugiere que las métricas de evaluación basadas solo en la respuesta sobreestiman sustancialmente las capacidades de razonamiento fundamentado de estos modelos.
• Sesgos Regionales y de Razonamiento: Los modelos funcionaron mejor en las vistas frontal y trasera que en las vistas laterales, donde la ambigüedad entre cámaras adyacentes es mayor. Además, la precisión de la identificación de la vista disminuyó notablemente para las preguntas de predicción de intención en comparación con las de causalidad o contrafácticas, lo que sugiere que la previsión del comportamiento futuro requiere una localización de evidencia más sutil.

Significación y Reivindicaciones

El artículo afirma que su contribución principal es el cambio del paradigma de evaluación de la plausibilidad de la respuesta hacia el razonamiento fundamentado en la evidencia. Al separar explícitamente la identificación de la fuente visual de la corrección de la respuesta, el benchmark expone fallos de fundamentación que los benchmarks tradicionales pasan por alto.

• Utilidad Diagnóstica: Los autores posicionan el benchmark como una "sonda de diagnóstico controlada" en lugar de un recurso de entrenamiento a gran escala o un ranking de rendimiento saturado. Su tamaño compacto (122 pares de QA) es intencional, diseñado para probar si los MLLM existentes pueden identificar fuentes de evidencia bajo prompts multivista realistas.
• Implicaciones de Seguridad: En la conducción autónoma, un razonamiento fiable requiere no solo una decisión correcta, sino también una atribución correcta de por qué se tomó esa decisión (es decir, qué vista de sensor la respalda). El benchmark destaca que los modelos pueden "alucinar" la atribución de la evidencia, un modo de fallo crítico para sistemas de seguridad vital.
• Limitaciones: Los autores reconocen que el benchmark se limita a entradas de cámara (excluyendo LiDAR/radar), se centra en escenarios de conflicto en lugar de conducción general, y depende de un juez LLM para la evaluación de texto libre. Advierten que, debido a que el benchmark deriva de NuScenes, los modelos pueden haber encontrado datos relacionados durante el preentrenamiento, lo que podría sesgar las estimaciones de rendimiento absoluto.

En resumen, el artículo demuestra que, si bien los MLLM a menudo pueden responder correctamente a preguntas relacionadas con la conducción, frecuentemente fallan al identificar la vista de cámara específica que justifica sus respuestas, una brecha que los métodos de evaluación estándar no logran detectar.