WikiVQABench: A Knowledge-Grounded Visual Question Answering Benchmark from Wikipedia and Wikidata

Resumen Técnico: WikiVQABench

Enunciado del Problema
Las actuales pruebas de evaluación para la Respuesta a Preguntas Visuales (VQA) enfatizan predominantemente tareas basadas en la percepción que pueden resolverse únicamente mediante el contenido visual, como el reconocimiento de objetos o la descripción de escenas. Sin embargo, los escenarios del mundo real a menudo requieren conocimiento externo no directamente observable en una imagen para responder correctamente. Las pruebas de evaluación existentes que incorporan conocimiento (por ejemplo, OK-VQA, A-OKVQA) adolecen de limitaciones que incluyen dominios de entidades restringidos, formatos de respuesta abiertos que dificultan la evaluación estandarizada y una falta de aplicación explícita que garantice que las preguntas requieran conocimiento externo más allá de la inferencia visual. Además, muchos conjuntos de datos existentes se basan en conocimiento implícito o texto no estructurado, careciendo de una verdad fundamental verificable derivada de fuentes estructuradas y legibles por máquinas.

Metodología
Los autores presentan WikiVQABench, una prueba de evaluación curada por humanos construida mediante la integración sistemática de imágenes de Wikipedia, subtítulos de artículos y conocimiento estructurado de Wikidata. El proceso de construcción del conjunto de datos sigue un riguroso proceso de cuatro etapas:

1. Fuente de Datos y Alineación de Entidades: El proceso utiliza el conjunto de datos Imagen Texto basado en Wikipedia (WIT). Para cada imagen, se identifica el artículo de Wikipedia asociado para resolver las entidades principales a identificadores de Wikidata (Nodos Q).
2. Recuperación y Filtrado de Conocimiento: Las consultas SPARQL recuperan tripletes factuales (sujeto-predicado-objeto) conectados a las entidades resueltas. Una estrategia de filtrado elimina metadatos de baja saliencia (por ejemplo, identificadores, URLs) y atributos protegidos (por ejemplo, raza, religión, género). Los tripletes restantes se verbalizan en declaraciones de lenguaje natural.
3. Generación Basada en LLM: Un Modelo de Lenguaje Grande (LLM) compacto y de código abierto (Granite-3.3-8B-Instruct) genera instancias candidatas de VQA de opción múltiple. Se solicita al modelo que sintetice preguntas basadas en el subtítulo de la imagen y los tripletes verbalizados, asegurando que las preguntas estén directamente relacionadas con la imagen pero no hagan referencia explícita al texto fuente. El formato de salida incluye una respuesta correcta y tres distractores.
4. Curación Humana y Control de Calidad: Todas las instancias generadas son revisadas por humanos mediante una interfaz de usuario personalizada. Los anotadores verifican la corrección factual, la coherencia entre texto e imagen y, crucialmente, aseguran que la respuesta correcta no pueda derivarse únicamente de pistas visuales (haciendo cumplir la necesidad de conocimiento). De las 2,369 instancias generadas, solo 344 (14.5%) fueron aceptadas, lo que refleja un proceso de control de calidad estricto.

Contribuciones Clave

• Una Nueva Prueba de Evaluación: WikiVQABench proporciona 344 pares de VQA de opción múltiple curados, fundamentados en conocimiento estructurado (Wikidata) y contenido visual (Wikipedia), diseñados específicamente para probar el razonamiento consciente del conocimiento.
• Rigor Metodológico: El artículo propone una metodología de construcción híbrida que combina la generación automatizada por LLM con una estricta curación humana para garantizar una verdad fundamental verificable y la necesidad de conocimiento aplicada.
• Evaluación Exhaustiva: Los autores evalúan 15 Modelos Visuales-Lingüísticos (VLM) que van desde 256M hasta 90B parámetros, estableciendo un rendimiento de referencia a través de diferentes escalas y arquitecturas.
• Recursos Abiertos: El conjunto de datos y el código de evaluación se han publicado públicamente para facilitar la investigación reproducible en el razonamiento visual fundamentado en conocimiento.

Resultados
La evaluación de 15 VLM revela una brecha significativa de rendimiento, demostrando la capacidad de la prueba para discriminar las capacidades de los modelos:

• Rango de Rendimiento: La precisión varía ampliamente desde un 24.7% (SmolVLM-256M) hasta un 75.6% (InternVL3-78B).
• Efectos de Escala: Si bien los modelos más grandes generalmente tienen un mejor rendimiento, se observa una meseta notable en el rango de 8B a 90B parámetros (precisión del 63% al 66%), lo que sugiere que la escala por sí sola es insuficiente para dominar el razonamiento intensivo en conocimiento sin avances arquitectónicos en la integración del conocimiento.
• Análisis de Dificultad: La prueba mantiene una distribución de dificultad equilibrada con una puntuación media de 7.0 (de 15 modelos fallando una pregunta), desafiando efectivamente a los modelos a través del espectro de capacidades.
• Rendimiento de Referencia: Los modelos más pequeños (256M) tienen un rendimiento cercano al azar (25% para opción múltiple de 4 vías), lo que indica que los VLM actuales de pequeña escala carecen de la capacidad para integrar el reconocimiento visual con conocimiento externo estructurado.

Significado
El artículo afirma que WikiVQABench aborda una brecha crítica en la evaluación de VQA al hacer cumplir explícitamente el requisito de conocimiento externo. A diferencia de pruebas anteriores que podrían permitir que los modelos tengan éxito mediante percepción superficial o correlaciones espurias, WikiVQABench asegura que la resolución correcta dependa del razonamiento sobre propiedades y relaciones de entidades utilizando hechos estructurados. Los autores postulan que esta prueba de evaluación es esencial para exponer debilidades de granularidad fina en los modelos actuales y guiar el desarrollo futuro hacia una comprensión semántica más robusta y fundamentada en conocimiento. Los resultados destacan que, aunque se ha logrado progreso, integrar la evidencia visual con conocimiento externo estructurado sigue siendo un desafío sustancial incluso para los modelos actuales más grandes.