WikiVQABench: A Knowledge-Grounded Visual Question Answering Benchmark from Wikipedia and Wikidata

Technische Samenvatting: WikiVQABench

Probleemstelling
Huidige benchmarks voor Visuele Vraagbeantwoording (VQA) leggen de nadruk voornamelijk op perceptiegebaseerde taken die uitsluitend via visuele inhoud oplosbaar zijn, zoals objectherkenning of beschrijving van scènes. Echter vereisen realistische scenario's vaak externe kennis die niet direct in een afbeelding waarneembaar is om correct te kunnen antwoorden. Bestaande kennisbewuste benchmarks (bijv. OK-VQA, A-OKVQA) kampen met beperkingen, waaronder beperkte entiteitsdomeinen, open antwoordformaten die gestandaardiseerde evaluatie belemmeren, en een gebrek aan expliciete afdwinging dat vragen externe kennis vereisen die verder gaat dan visuele inferentie. Bovendien vertrouwen veel bestaande datasets op impliciete kennis of ongestructureerde tekst, zonder verifieerbare grondwaarheid afgeleid van gestructureerde, machineleesbare bronnen.

Methodologie
De auteurs introduceren WikiVQABench, een door mensen samengestelde benchmark die tot stand is gekomen door systematische integratie van Wikipedia-afbeeldingen, artikelbijschriften en gestructureerde kennis uit Wikidata. Het proces voor datasetconstructie volgt een rigoureuze vierfasenprocedure:

1. Data Bron en Entiteitsuitlijning: De pijplijn maakt gebruik van de op Wikipedia gebaseerde Image Text (WIT)-dataset. Voor elke afbeelding wordt het bijbehorende Wikipedia-artikel geïdentificeerd om primaire entiteiten op te lossen naar Wikidata-identificatoren (QNodes).
2. Kennisopvraging en Filtering: SPARQL-query's halen feitelijke triples (onderwerp-predicaat-object) op die verbonden zijn met de opgeloste entiteiten. Een filterstrategie verwijdert metadata met lage relevantie (bijv. ID's, URL's) en beschermde attributen (bijv. ras, religie, geslacht). De overgebleven triples worden verbaal omgezet naar natuurlijke taalzinnen.
3. LLM-gebaseerde Generatie: Een compact, open-source Groot Taalmodel (Granite-3.3-8B-Instruct) genereert kandidaat-VQA-instanties met meerkeuzevragen. Het model wordt geprompt om vragen te synthetiseren op basis van de afbeeldingbijschrift en de verbaal omgezette triples, waarbij wordt gegarandeerd dat de vragen direct gerelateerd zijn aan de afbeelding maar de bron tekst niet expliciet refereren. Het uitvoerformaat omvat één correct antwoord en drie afleidende opties.
4. Menselijke Curatie en Kwaliteitscontrole: Alle gegenereerde instanties ondergaan menselijke beoordeling via een aangepaste UI. Annotators verifiëren feitelijke juistheid, visueel-tekstuele consistentie en, cruciaal, zorgen ervoor dat het correcte antwoord niet alleen uit visuele aanwijzingen kan worden afgeleid (afdwinging van kennisnoodzaak). Van de 2.369 gegenereerde instanties werden slechts 344 (14,5%) geaccepteerd, wat een strenge kwaliteitscontroleprocedure weerspiegelt.

Belangrijkste Bijdragen

• Een Nieuwe Benchmark: WikiVQABench biedt 344 samengestelde VQA-paren met meerkeuzevragen die zijn verankerd in gestructureerde kennis (Wikidata) en visuele inhoud (Wikipedia), specifiek ontworpen om kennisbewust redeneren te testen.
• Methodologische Rigor: Het artikel stelt een hybride constructiemethodologie voor die geautomatiseerde LLM-generatie combineert met strikte menselijke curatie om verifieerbare grondwaarheid en afgedwongen kennisnoodzaak te waarborgen.
• Uitgebreide Evaluatie: De auteurs evalueren 15 Vision-Language Models (VLM's) variërend van 256M tot 90B parameters, waarmee een basisprestatie wordt vastgesteld over verschillende schalen en architecturen heen.
• Open Bronnen: De dataset en de benchmarking-code zijn publiek vrijgegeven om reproduceerbaar onderzoek in visueel redeneren op basis van kennis te faciliteren.

Resultaten
De evaluatie van 15 VLM's onthult een aanzienlijke prestatiekloof, wat de discriminatiekracht van de benchmark voor modelcapaciteiten aantoont:

• Prestatiebereik: De nauwkeurigheid varieert sterk van 24,7% (SmolVLM-256M) tot 75,6% (InternVL3-78B).
• Schalingseffecten: Hoewel grotere modellen over het algemeen beter presteren, is er een opmerkelijk plateau in het bereik van 8B–90B parameters (63%–66% nauwkeurigheid), wat suggereert dat schaal alleen onvoldoende is voor het beheersen van kennisintensief redeneren zonder architecturale vooruitgang in kennisintegratie.
• Moeilijkheidsanalyse: De benchmark behoudt een gebalanceerde moeilijkheidsverdeling met een gemiddelde score van 7,0 (waarbij 15 modellen een vraag niet beantwoorden), waardoor modellen effectief worden uitgedaagd over het hele spectrum van capaciteiten.
• Basisprestaties: De kleinste modellen (256M) presteren dicht bij willekeurige kans (25% voor meerkeuzevragen met 4 opties), wat aangeeft dat huidige kleine VLM's niet in staat zijn visuele herkenning te integreren met externe gestructureerde kennis.

Betekenis
Het artikel beweert dat WikiVQABench een kritieke kloof in VQA-evaluatie aanpakt door expliciet de vereiste voor externe kennis af te dwingen. In tegenstelling tot eerdere benchmarks die modellen toestaan te slagen via oppervlakkige perceptie of schijnbare correlaties, zorgt WikiVQABench ervoor dat correcte oplossing afhankelijk is van redeneren over entiteits eigenschappen en relaties met behulp van gestructureerde feiten. De auteurs stellen dat deze benchmark essentieel is om fijne zwaktes in huidige bloot te leggen en toekomstige ontwikkeling te sturen naar robuustere, op kennis gebaseerde semantische begrip. De resultaten benadrukken dat hoewel vooruitgang is geboekt, het integreren van visueel bewijs met gestructureerde externe kennis een aanzienlijke uitdaging blijft, zelfs voor de grootste huidige modellen.