WikiVQABench: A Knowledge-Grounded Visual Question Answering Benchmark from Wikipedia and Wikidata

Resumo Técnico: WikiVQABench

Declaração do Problema
As atuais bancas de avaliação de Resposta a Perguntas Visuais (VQA) enfatizam predominantemente tarefas baseadas em percepção, solucionáveis apenas através do conteúdo visual, como reconhecimento de objetos ou descrição de cenas. No entanto, cenários do mundo real frequentemente exigem conhecimento externo não diretamente observável em uma imagem para responder corretamente. As bancas de avaliação conscientes de conhecimento existentes (por exemplo, OK-VQA, A-OKVQA) sofrem de limitações, incluindo domínios de entidades restritos, formatos de resposta de resposta aberta que dificultam a avaliação padronizada e a falta de uma aplicação explícita de que as perguntas exigem conhecimento externo além da inferência visual. Além disso, muitos conjuntos de dados existentes dependem de conhecimento implícito ou texto não estruturado, carecendo de verdade fundamental verificável derivada de fontes estruturadas e legíveis por máquina.

Metodologia
Os autores introduzem o WikiVQABench, uma banca de avaliação curada manualmente, construída pela integração sistemática de imagens da Wikipedia, legendas de artigos e conhecimento estruturado do Wikidata. O pipeline de construção do conjunto de dados segue um processo rigoroso de quatro etapas:

1. Fonte de Dados e Alinhamento de Entidades: O pipeline utiliza o conjunto de dados Imagem-Texto baseado na Wikipedia (WIT). Para cada imagem, o artigo da Wikipedia associado é identificado para resolver as entidades primárias para identificadores do Wikidata (QNodes).
2. Recuperação e Filtragem de Conhecimento: Consultas SPARQL recuperam tripletas factuais (sujeito-predicado-objeto) conectadas às entidades resolvidas. Uma estratégia de filtragem remove metadados de baixa saliência (por exemplo, IDs, URLs) e atributos protegidos (por exemplo, raça, religião, gênero). As tripletas restantes são verbalizadas em declarações em linguagem natural.
3. Geração Baseada em LLM: Um Modelo de Linguagem Grande (LLM) compacto e de código aberto (Granite-3.3-8B-Instruct) gera instâncias candidatas de VQA de múltipla escolha. O modelo é instruído a sintetizar perguntas com base na legenda da imagem e nas tripletas verbalizadas, garantindo que as perguntas estejam diretamente relacionadas à imagem, mas não referenciem explicitamente o texto de origem. O formato de saída inclui uma resposta correta e três distratores.
4. Curadoria Humana e Controle de Qualidade: Todas as instâncias geradas passam por revisão humana por meio de uma interface personalizada. Os anotadores verificam a correção factual, a consistência entre texto e imagem e, crucialmente, garantem que a resposta correta não possa ser derivada apenas de pistas visuais (aplicando a necessidade de conhecimento). De 2.369 instâncias geradas, apenas 344 (14,5%) foram aceitas, refletindo um processo rigoroso de controle de qualidade.

Principais Contribuições

• Uma Nova Banca de Avaliação: O WikiVQABench fornece 344 pares de VQA de múltipla escolha curados, fundamentados em conhecimento estruturado (Wikidata) e conteúdo visual (Wikipedia), especificamente projetados para testar o raciocínio consciente de conhecimento.
• Rigor Metodológico: O artigo propõe uma metodologia de construção híbrida, combinando geração automatizada por LLM com curadoria humana estrita para garantir verdade fundamental verificável e a aplicação da necessidade de conhecimento.
• Avaliação Abrangente: Os autores avaliam 15 Modelos Visuais-Linguísticos (VLMs) variando de 256M a 90B de parâmetros, estabelecendo desempenho de referência em diferentes escalas e arquiteturas.
• Recursos Abertos: O conjunto de dados e o código de benchmarking foram lançados publicamente para facilitar a pesquisa reproduzível em raciocínio visual fundamentado em conhecimento.

Resultados
A avaliação de 15 VLMs revela uma lacuna significativa de desempenho, demonstrando a capacidade da banca de discriminar as capacidades dos modelos:

• Faixa de Desempenho: A precisão varia amplamente de 24,7% (SmolVLM-256M) a 75,6% (InternVL3-78B).
• Efeitos de Escala: Embora modelos maiores geralmente apresentem melhor desempenho, há um platão notável na faixa de 8B a 90B de parâmetros (63%–66% de precisão), sugerindo que a escala sozinha é insuficiente para dominar o raciocínio intensivo em conhecimento sem avanços arquitetônicos na integração de conhecimento.
• Análise de Dificuldade: A banca mantém uma distribuição equilibrada de dificuldade com uma pontuação média de 7,0 (dos 15 modelos falhando em uma pergunta), desafiando efetivamente os modelos em todo o espectro de capacidades.
• Desempenho de Referência: Os menores modelos (256M) performam próximos ao acaso aleatório (25% para múltipla escolha de 4 opções), indicando que os atuais VLMs de pequena escala carecem da capacidade de integrar reconhecimento visual com conhecimento externo estruturado.

Significado
O artigo afirma que o WikiVQABench aborda uma lacuna crítica na avaliação de VQA ao aplicar explicitamente a exigência de conhecimento externo. Diferentemente de bancas anteriores que podem permitir que os modelos tenham sucesso por meio de percepção superficial ou correlações espúrias, o WikiVQABench garante que a resolução correta dependa do raciocínio sobre propriedades e relações de entidades usando fatos estruturados. Os autores postulam que esta banca de avaliação é essencial para expor fraquezas de granularidade fina nos modelos atuais e orientar o desenvolvimento futuro para uma compreensão semântica mais robusta e fundamentada em conhecimento. Os resultados destacam que, embora tenha havido progresso, integrar evidências visuais com conhecimento externo estruturado permanece um desafio substancial até mesmo para os maiores modelos atuais.