WikiVQABench: A Knowledge-Grounded Visual Question Answering Benchmark from Wikipedia and Wikidata

Riepilogo Tecnico: WikiVQABench

Enunciato del Problema
I benchmark attuali per la Risposta alle Domande Visive (VQA) enfatizzano prevalentemente compiti basati sulla percezione risolvibili attraverso il solo contenuto visivo, come il riconoscimento di oggetti o la descrizione di scene. Tuttavia, gli scenari del mondo reale richiedono spesso conoscenze esterne non direttamente osservabili in un'immagine per rispondere correttamente. I benchmark esistenti basati sulla conoscenza (ad esempio, OK-VQA, A-OKVQA) soffrono di limitazioni tra cui domini di entità ristretti, formati di risposta aperti che ostacolano una valutazione standardizzata e una mancanza di applicazione esplicita del requisito che le domande richiedano conoscenze esterne oltre all'inferenza visiva. Inoltre, molti dataset esistenti si basano su conoscenze implicite o testi non strutturati, privi di verità fondamentale verificabile derivata da fonti strutturate e leggibili dalle macchine.

Metodologia
Gli autori introducono WikiVQABench, un benchmark curato manualmente costruito integrando sistematicamente immagini di Wikipedia, didascalie degli articoli e conoscenze strutturate da Wikidata. La pipeline di costruzione del dataset segue un rigoroso processo in quattro fasi:

1. Fonte dei Dati e Allineamento delle Entità: La pipeline utilizza il dataset Wikipedia-based Image Text (WIT). Per ogni immagine, viene identificato l'articolo di Wikipedia associato per risolvere le entità primarie agli identificatori di Wikidata (QNodes).
2. Recupero e Filtraggio delle Conoscenze: Le query SPARQL recuperano triple fattuali (soggetto-predicato-oggetto) collegate alle entità risolte. Una strategia di filtraggio rimuove i metadati a bassa salienza (ad esempio, ID, URL) e gli attributi protetti (ad esempio, razza, religione, genere). Le triple rimanenti vengono verbalizzate in affermazioni in linguaggio naturale.
3. Generazione Basata su LLM: Un modello linguistico di grandi dimensioni (LLM) compatto e open-source (Granite-3.3-8B-Instruct) genera istanze candidate di VQA a scelta multipla. Il modello viene sollecitato a sintetizzare domande basate sulla didascalia dell'immagine e sulle triple verbalizzate, assicurando che le domande siano direttamente correlate all'immagine ma non facciano riferimento esplicito al testo sorgente. Il formato di output include una risposta corretta e tre distrattori.
4. Cura Umana e Controllo di Qualità: Tutte le istanze generate subiscono una revisione umana tramite un'interfaccia utente personalizzata. Gli annotatori verificano la correttezza fattuale, la coerenza testo-visiva e, crucialmente, assicurano che la risposta corretta non possa essere derivata esclusivamente da indizi visivi (applicando la necessità di conoscenza). Su 2.369 istanze generate, solo 344 (14,5%) sono state accettate, riflettendo un rigoroso processo di controllo di qualità.

Contributi Chiave

• Un Nuovo Benchmark: WikiVQABench fornisce 344 coppie VQA a scelta multipla curate, basate su conoscenze strutturate (Wikidata) e contenuto visivo (Wikipedia), specificamente progettate per testare il ragionamento consapevole della conoscenza.
• Rigorosità Metodologica: Il documento propone una metodologia di costruzione ibrida che combina la generazione automatizzata tramite LLM con una rigorosa cura umana per garantire una verità fondamentale verificabile e l'applicazione della necessità di conoscenza.
• Valutazione Completa: Gli autori valutano 15 Modelli Linguaggio-Visivo (VLM) che vanno da 256M a 90B parametri, stabilendo le prestazioni di base attraverso diverse scale e architetture.
• Risorse Aperte: Il dataset e il codice di benchmarking sono rilasciati pubblicamente per facilitare la ricerca riproducibile nel ragionamento visivo basato sulla conoscenza.

Risultati
La valutazione di 15 VLM rivela un divario significativo nelle prestazioni, dimostrando la capacità del benchmark di discriminare le capacità dei modelli:

• Gamma di Prestazioni: L'accuratezza varia ampiamente dal 24,7% (SmolVLM-256M) al 75,6% (InternVL3-78B).
• Effetti di Scalabilità: Sebbene i modelli più grandi generalmente performino meglio, si osserva un plateau notevole nella gamma di 8B–90B parametri (accuratezza dal 63% al 66%), suggerendo che la scala da sola è insufficiente per padroneggiare il ragionamento intensivo in conoscenza senza avanzamenti architetturali nell'integrazione della conoscenza.
• Analisi della Difficoltà: Il benchmark mantiene una distribuzione equilibrata della difficoltà con un punteggio medio di 7,0 (su 15 modelli che falliscono una domanda), sfidando efficacemente i modelli attraverso tutto lo spettro delle capacità.
• Prestazioni di Base: I modelli più piccoli (256M) performano vicino al caso casuale (25% per scelta multipla a 4 opzioni), indicando che i VLM su piccola scala attuali mancano della capacità di integrare il riconoscimento visivo con conoscenze esterne strutturate.

Significato
Il documento afferma che WikiVQABench colma una lacuna critica nella valutazione VQA applicando esplicitamente il requisito di conoscenze esterne. A differenza di benchmark precedenti che potrebbero permettere ai modelli di avere successo tramite percezione superficiale o correlazioni spurie, WikiVQABench garantisce che la risoluzione corretta dipenda dal ragionamento sulle proprietà e sulle relazioni delle entità utilizzando fatti strutturati. Gli autori sostengono che questo benchmark è essenziale per esporre debolezze fini nei modelli attuali e guidare lo sviluppo futuro verso una comprensione semantica più robusta e basata sulla conoscenza. I risultati evidenziano che, sebbene siano stati compiuti progressi, l'integrazione di prove visive con conoscenze esterne strutturate rimane una sfida sostanziale anche per i più grandi modelli attuali.