M$^3$-VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering

1. Planteamiento del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLM) actuales sobresalen en la percepción a nivel superficial y el razonamiento de sentido común, pero luchan con la comprensión detallada de entidades y el razonamiento complejo multi-salto en escenarios del mundo real. Las actuales benchmarks de Respuesta a Preguntas Visuales (VQA) (por ejemplo, OK-VQA, A-OKVQA) se centran principalmente en:

• Categorías de grano grueso: Objetos básicos en lugar de entidades nombradas específicas (por ejemplo, "un perro" frente a "una raza específica de perro").
• Razonamiento de entidad única: Las preguntas suelen girar en torno a una entidad principal.
• Inferencia simple: La mayoría de las preguntas requieren solo uno o dos pasos de razonamiento.

Estas limitaciones no logran desafiar a los MLLM en tareas que requieren la integración de información de múltiples fuentes visuales y textuales, cadenas de lógica secuencial y la recuperación de conocimientos externos específicos.

2. Metodología: La Benchmark M3-VQA

Los autores introducen M3-VQA, un nuevo conjunto de datos y marco de evaluación diseñado para probar tres capacidades fundamentales simultáneamente: comprensión Multimodal, interacción Multi-Entidad y razonamiento Multi-Salto.

A. Construcción del Conjunto de Datos

• Fuentes: Las imágenes se obtienen de conjuntos de datos de grano fino (por ejemplo, CelebTo para celebridades, FGVD para vehículos, LogosInTheWild) y se recopilan manualmente mediante búsquedas web para asegurar escenas diversas con múltiples entidades.
• Vinculación de Entidades: Las entidades se mapean a IDs de Wikidata y se vinculan a las páginas de Wikipedia correspondientes, creando una base de conocimientos rastreable.
• Generación de Preguntas:
  • Multi-Salto Paralelo: Las preguntas requieren razonamiento independiente sobre múltiples entidades (visuales o textuales) seguido de una síntesis (por ejemplo, comparar los orígenes de dos animales diferentes en una imagen).
  • Multi-Salto Secuencial: Las preguntas utilizan "entidades puente" donde la respuesta a una subpregunta se convierte en la entrada para la siguiente (por ejemplo, Identificar un estadio $\rightarrow$ Determinar el deporte que se juega allí $\rightarrow$ Encontrar el país de origen de ese deporte).
• Escala y Complejidad: El conjunto de datos contiene 13,125 tripletes (Imagen, Pregunta, Respuesta).
  • Entidades: Promedio de 2.8 entidades por pregunta (rango hasta 4+).
  • Saltos: Promedio de 3.1 saltos de razonamiento (rango hasta 4+).
  • Base de Conocimientos: Una base de conocimientos multimodal curada de ~2 millones de páginas de Wikipedia con anotaciones de evidencia de oro (oraciones/secciones específicas que respaldan la respuesta).

B. Protocolos de Evaluación

Los autores evalúan 16 MLLM líderes (incluyendo GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA-OneVision) bajo tres configuraciones distintas:

1. Original (Sin Evidencia): El modelo depende únicamente de su conocimiento interno y la imagen.
2. Oráculo (Evidencia de Oro): Se proporciona al modelo la evidencia exacta de la verdad fundamental (oración/sección) requerida para responder.
3. KB (Aumentada con Recuperación): El modelo debe recuperar evidencia relevante de la base de conocimientos externa utilizando dos estrategias:
   • Recuperación Heurística: Búsqueda de texto/imagen de un solo intento usando la consulta completa.
   • Recuperación Agéntica: Un marco de múltiples agentes (Planificador, Ejecutor, Solucionador) que descompone preguntas complejas, segmenta imágenes y recupera información de forma iterativa.

C. Métricas

• Intersección sobre Unión (IoU): Se utiliza para manejar preguntas con múltiples respuestas válidas o alias, proporcionando una medida de precisión más robusta que la coincidencia exacta.
• Rastreabilidad: La capacidad de vincular la respuesta final con los pasos de evidencia específicos.

3. Contribuciones Clave

1. Nueva Benchmark: M3-VQA es la primera benchmark de VQA que exige simultáneamente reconocimiento detallado de múltiples entidades, razonamiento multi-salto paralelo y secuencial, y recuperación desde una base de conocimientos multimodal a gran escala.
2. Marco de Evaluación Exhaustivo: Introduce un protocolo de prueba riguroso que compara modelos sin conocimiento, con conocimiento perfecto (Oráculo) y con mecanismos de recuperación, aislando dónde fallan los modelos (adquisición de conocimientos vs. razonamiento).
3. Marco de Recuperación Agéntica: El artículo propone y valida un enfoque de Recuperación Agéntica que supera a los métodos heurísticos tradicionales al descomponer consultas complejas y realizar planificación iterativa.
4. Recursos Abiertos: El conjunto de datos, el código y la base de conocimientos están disponibles públicamente para fomentar más investigación.

4. Resultados Experimentales

La evaluación de 16 modelos revela brechas significativas en las capacidades actuales de los MLLM:

• Rendimiento Deficiente sin Conocimiento Externo:
  • Incluso el mejor modelo (Qwen2.5-VL-72B) alcanza solo un 32.6% de precisión en la configuración "Original".
  • Los modelos de lenguaje puros funcionan peor que los modelos de visión-lenguaje, confirmando que las descripciones de imágenes por sí solas son insuficientes para detalles de entidades de grano fino.
• Papel Crítico de la Evidencia:
  • Proporcionar evidencia de oro (configuración Oráculo) mejora significativamente el rendimiento (por ejemplo, Qwen2.5-VL-72B alcanza 58.4%).
  • Sin embargo, incluso con evidencia perfecta, los modelos no alcanzan el 100%, lo que indica que las capacidades de razonamiento (integrar hechos multi-salto) siguen siendo un cuello de botella, no solo la recuperación de conocimientos.
• Estrategias de Recuperación:
  • La Recuperación Agéntica supera significativamente a la Recuperación Heurística. Para Qwen2.5-VL-72B, la Recuperación Agéntica logró 38.9% frente al 36.6% de la Heurística.
  • Los métodos heurísticos sufren de "consultas sobrecargadas" al tratar con múltiples entidades, mientras que los métodos agénticos descomponen con éxito el problema.
• Impacto de la Complejidad:
  • La precisión disminuye monótonamente a medida que aumenta el número de saltos de razonamiento y entidades.
  • Curiosamente, en la configuración "Original", los modelos a veces funcionan mejor en preguntas de mayor salto porque el texto de la pregunta en sí contiene los nombres de las entidades necesarias (conocimiento general), mientras que el razonamiento visual detallado falla sin evidencia.

5. Significado y Direcciones Futuras

• Nuevo Estándar para el Razonamiento: M3-VQA establece una barra más alta para evaluar MLLM, avanzando más allá de la percepción simple hacia el razonamiento complejo y estructurado requerido en aplicaciones del mundo real (por ejemplo, diagnóstico médico, análisis de documentos legales, investigación científica).
• Destacando la "Brecha de Razonamiento": Los resultados demuestran que los modelos actuales dependen fuertemente de información externa y luchan por realizar la integración lógica de múltiples pasos incluso cuando esa información se proporciona.
• Avance en la Generación Aumentada por Recuperación (RAG): El éxito de la Recuperación Agéntica sugiere que los futuros MLLM deben incorporar planificación y razonamiento iterativo en lugar de una simple recuperación de un solo intento para manejar tareas multimodales complejas.
• Limitaciones: El conjunto de datos es actualmente solo en inglés y depende de Wikipedia. El trabajo futuro debería expandirse a otros idiomas y dominios especializados (por ejemplo, biomédico, legal).

En conclusión, M3-VQA expone las limitaciones actuales de los MLLM en la comprensión detallada y el razonamiento complejo, proporcionando una vía crítica para desarrollar agentes multimodales más robustos, integrados con conocimientos y capaces de razonamiento.