💻 computer science

M $^3$ -VQA: A Benchmark for Multimodal, Multi-Entity, Multi-Hop Visual Question Answering

Dit artikel introduceert M $^3$ -VQA, een nieuw benchmarkontworpen om multimodale grote taalmodellen te evalueren op fijnkorrelig entiteitsbegrip en complexe multi-hop-resoneren door hen te verplichten informatie te synthetiseren uit meerdere visuele en tekstuele bronnen, wat aanzienlijke huidige beperkingen in kennisverwerving blootlegt en de superioriteit van redeneringsbewuste ophaalmethoden benadrukt.

Oorspronkelijke auteurs: Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiatong Ma, Longteng Guo, Yuchen Liu, Zijia Zhao, Dongze Hao, Xuanxu Lin, Jing Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer moeilijke toets maakt, maar in plaats van alleen naar een afbeelding te kijken en een simpele vraag te beantwoorden zoals "Wat is de kleur van de kat?", word je geconfronteerd met een complex mysterie dat vereist dat je tegelijkertijd detective, bibliothecaris en meester in logische puzzels bent.

Dit is het verhaal van M3-VQA, een nieuwe "toets" die door onderzoekers is ontwikkeld om te testen hoe slim onze huidige AI-"hersenen" (zogenaamde Multimodale Grootte Taalmodellen) werkelijk zijn.

Hier volgt een uiteenzetting van wat het paper zegt, met behulp van eenvoudige analogieën:

1. Het Probleem: De Oude Toetsen Waren Te Gemakkelijk

Denk aan eerdere AI-toetsen als een spelletje "Ik zie iets". Je wijst naar een rode auto en de AI zegt: "Dat is een auto." Of je vraagt: "Is de hond blij?" en de AI raadt op basis van het gezicht van de hond.

De onderzoekers zeggen dat deze oude toetsen lijken op het trainen van een piloot in een simulator zonder wind of turbulentie. Ze zijn te simpel. Het echte leven is rommelig. In de echte wereld kun je bijvoorbeeld naar een foto van een drukke straat kijken en vragen: "Wie van deze drie personen draagt een shirt van het merk dat ook het stadion op de achtergrond sponsort?"

Om dat te beantwoorden, moet de AI:

Drie verschillende personen opsporen.
Een klein logo op een shirt lezen.
Weten welk merk dat is.
Weten welk stadion dat merk sponsort.
Die twee feiten met elkaar verbinden.

De meeste huidige AI's falen hierin. Ze raken verdwaald in de details of kunnen de puntjes niet verbinden.

2. De Nieuwe Toets: M3-VQA

De onderzoekers hebben een nieuwe, veel moeilijkere toets gebouwd genaamd M3-VQA. Denk hierbij aan een meervoudig niveau ontsnappingskamer voor AI.

Het heeft drie speciale "moeilijke modi":

Multi-Entiteit: De vragen gaan niet over slechts één ding. Ze gaan over een hele cast van personages (mensen, dieren, logo's, gebouwen) tegelijk. Het is alsof je vraagt: "Wie is de oudste persoon in deze kamer, en wat is het favoriete eten van de jongste persoon?"
Multi-Hop Redenering: Het antwoord staat niet direct in de afbeelding. De AI moet een "sprong" maken om een aanwijzing te vinden, dan nog een "sprong" om de volgende aanwijzing te vinden, zoals een schattenjacht.
- Sprong 1: "Wat voor vogel is dit?" -> Antwoord: Een Pinguïn.
- Sprong 2: "Waar leven pinguïns?" -> Antwoord: Antarctica.
- Sprong 3: "Wat is de hoofdstad van dat land?" -> Antwoord: (Wacht, Antarctica heeft geen hoofdstad!)
De Bewijsbibliotheek: De onderzoekers gaven de AI niet alleen een afbeelding; ze gaven haar een enorme bibliotheek met boeken (Wikipedia-pagina's) en een lijst met exacte zinnen (gouden bewijs) die de antwoorden bevatten. Dit stelt hen in staat om te zien of de AI daadwerkelijk de juiste pagina's leest of gewoon raadt.

3. De Resultaten: De AI Kwam vast te zitten

De onderzoekers testten 16 van de slimste beschikbare AI-modellen (inclusief grote namen zoals GPT-4o en verschillende versies van Qwen en InternVL).

Het Slechte Nieuws:
Toen de AI gedwongen werd om uitsluitend door naar de afbeelding en de vraag te kijken (zonder externe hulp), presteerden ze vreselijk. De beste haalde slechts ongeveer 32% van de antwoorden goed.

Analogie: Het is alsof je een student vraagt een wiskundeprobleem op te lossen zonder rekenmachine of schoolboek, en ze blijven steken in basisrekenkunde. De AI "weet" gewoon niet genoeg feiten over de wereld om zelf de puntjes te verbinden.

Het Goede Nieuws (met een addertje onder het gras):
Toen de onderzoekers de AI de exacte zinnen uit de bibliotheek gaven die de antwoorden bevatten (het "Gouden Bewijs"), steeg de score aanzienlijk.

Analogie: Als je de student de pagina uit het schoolboek geeft met het antwoord onderstreept, kunnen ze het probleem oplossen. Dit bewijst dat de AI kan redeneren, maar slecht is in het vinden van de informatie in de eerste plaats.

De Beste Strategie:
De onderzoekers probeerden twee manieren om de AI te helpen de informatie te vinden:

Heuristiek Retrieval: Dit is alsof je een enorm net in de bibliotheek gooit in de hoop de juiste vis te vangen. Vaak vangt het te veel onzin.
Agentische Retrieval: Dit is alsof je de AI een slimme detective-agent geeft. De agent breekt de grote vraag op in kleine stappen, zoekt naar één aanwijzing en gebruikt die aanwijzing vervolgens om naar de volgende te zoeken.
- Resultaat: De "Slimme Detective"-aanpak werkte veel beter. Het toonde aan dat wanneer AI wordt geleerd stap voor stap na te denken en haar zoektocht te plannen, ze veel slimmer wordt.

4. De Conclusie

Het paper concludeert dat hoewel onze AI-modellen beter worden in zien en spreken, ze nog steeds slecht zijn in diep, complex detectivewerk.

Ze worstelen om de juiste feiten te vinden in een enorme bibliotheek.
Ze worstelen om meerdere feiten in een keten met elkaar te verbinden.
Ze hebben hulp nodig (zoals een "Gouden Bewijs"-hint of een "Slimme Detective"-plan) om deze moeilijke puzzels op te lossen.

De onderzoekers zeggen dat deze nieuwe toets (M3-VQA) een noodzakelijke "stress-test" is om ons precies te laten zien waar AI zwak is, zodat we betere systemen kunnen bouwen die de complexe, meerlagige wereld waarin we leven werkelijk kunnen begrijpen.

Kortom: Huidige AI is als een zeer goed gelezen student die is vergeten hoe je de catalogus van de bibliotheekkaarten gebruikt. Ze kennen de feiten als je hen het boek geeft, maar ze kunnen het boek niet zelf vinden als de vraag ingewikkeld wordt. M3-VQA is de toets die dit bewijst, en het suggereert dat we hen betere zoek- en redeneervaardigheden moeten leren.

1. Probleemstelling

Huidige Multimodale Grootte Taalmodellen (MLLM's) blinken uit in oppervlakkige waarneming en gezond verstand-resoneren, maar worstelen met gedetailleerd begrip van entiteiten en complexe meerstapsredenering in real-world scenario's. Bestaande Visual Question Answering (VQA)-benchmarks (bijv. OK-VQA, A-OKVQA) richten zich voornamelijk op:

Grofgemiddelde categorieën: Basisobjecten in plaats van specifieke benoemde entiteiten (bijv. "een hond" versus "een specifiek hondenras").
Redenering rond één entiteit: Vragen draaien meestal om één primaire entiteit.
Eenvoudige inferentie: De meeste vragen vereisen slechts één of twee redeneerstappen.

Deze beperkingen slagen er niet in MLLM's uit te dagen op taken die integratie van informatie uit meerdere visuele en tekstuele bronnen, sequentiële logische ketens en het ophalen van specifieke externe kennis vereisen.

2. Methodologie: De M3-VQA Benchmark

De auteurs introduceren M3-VQA, een nieuw dataset- en evaluatiekader ontworpen om drie kerncapaciteiten simultaan te testen: Multimodaal begrip, Multi-Entiteit interactie en Multi-Hop redenering.

A. Dataset Constructie

Bronnen: Afbeeldingen zijn afkomstig uit fijnkorrelige datasets (bijv. CelebTo voor beroemdheden, FGVD voor voertuigen, LogosInTheWild) en handmatig verzameld via webzoekopdrachten om diverse, multi-entiteitsscènes te waarborgen.
Entiteit Linking: Entiteiten worden gekoppeld aan Wikidata-ID's en gelinkt aan corresponderende Wikipedia-pagina's, waardoor een traceerbare kennisbasis ontstaat.
Vraaggeneratie:
- Parallelle Multi-Hop: Vragen vereisen onafhankelijke redenering over meerdere entiteiten (visueel of tekstueel) gevolgd door synthese (bijv. het vergelijken van de oorsprong van twee verschillende dieren in een afbeelding).
- Sequentiële Multi-Hop: Vragen gebruiken "brug-entiteiten" waarbij het antwoord op een deelvraag de invoer wordt voor de volgende (bijv. Identificeer een stadion $\rightarrow$ Bepaal de sport die daar wordt gespeeld $\rightarrow$ Vind het oorsprongsland van die sport).
Schaal & Complexiteit: De dataset bevat 13.125 (Afbeelding, Vraag, Antwoord) tripletten.
- Entiteiten: Gemiddeld 2,8 entiteiten per vraag (variërend tot 4+).
- Hops: Gemiddeld 3,1 redeneerhops (variërend tot 4+).
- Kennisbasis: Een samengestelde multimodale kennisbasis van ongeveer 2 miljoen Wikipedia-pagina's met gouden bewijsannotaties (specifieke zinnen/secties die het antwoord ondersteunen).

B. Evaluatieprotocollen

De auteurs evalueren 16 toonaangevende MLLM's (waaronder GPT-4o, Qwen2.5-VL, InternVL2.5, LLaVA-OneVision) onder drie distincte instellingen:

Origineel (Geen Bewijs): Het model vertrouwt uitsluitend op interne kennis en de afbeelding.
Orakel (Gouden Bewijs): Het model krijgt het exacte grondwaarheidsbewijs (zin/sectie) dat nodig is om het antwoord te geven.
KB (Retrieval-Augmented): Het model moet relevante bewijzen ophalen uit de externe kennisbasis met behulp van twee strategieën:
- Heuristische Retrieval: Single-shot tekst/afbeeldingzoekopdracht met de volledige query.
- Agentische Retrieval: Een multi-agentkader (Planner, Executor, Solver) dat complexe vragen ontleedt, afbeeldingen segmenteert en iteratief informatie ophaalt.

C. Metrieken

Intersection over Union (IoU): Gebruikt om vragen met meerdere geldige antwoorden of aliasnamen te behandelen, en biedt een robuustere nauwkeurigheidsmaat dan exacte overeenkomst.
Traceerbaarheid: Het vermogen om het uiteindelijke antwoord terug te koppelen aan specifieke bewijsstappen.

3. Belangrijkste Bijdragen

Nieuwe Benchmark: M3-VQA is de eerste VQA-benchmark die gelijktijdig gedetailleerde multi-entiteitsherkenning, parallelle en sequentiële multi-hop redenering en retrieval uit een grootschalige multimodale kennisbasis vereist.
Uitgebreid Evaluatiekader: Het introduceert een rigoureus testprotocol dat modellen vergelijkt zonder kennis, met perfecte kennis (Orakel) en met retrievalmechanismen, en isoleert waar modellen falen (kennisverwerving versus redenering).
Agentisch Retrieval Kader: Het artikel stelt een Agentische Retrieval-benadering voor en valideert deze, die traditionele heuristische methoden overtreft door complexe queries te ontleden en iteratieve planning uit te voeren.
Open Bronnen: De dataset, code en kennisbasis zijn publiek beschikbaar gesteld om verder onderzoek te stimuleren.

4. Experimentele Resultaten

De evaluatie van 16 modellen onthult significante gaten in de huidige MLLM-capaciteiten:

Slechte Prestaties zonder Externe Kennis:
- Zelfs het beste model (Qwen2.5-VL-72B) bereikt slechts 32,6% nauwkeurigheid in de "Originele" instelling.
- Pure taalmodellen presteren slechter dan visueel-taalmodellen, wat bevestigt dat afbeeldingsbeschrijvingen alleen onvoldoende zijn voor gedetailleerde entiteitsinformatie.
Kritieke Rol van Bewijs:
- Het verstrekken van gouden bewijs (Orakel-instelling) verbetert de prestaties aanzienlijk (bijv. Qwen2.5-VL-72B bereikt 58,4%).
- Echter, zelfs met perfect bewijs bereiken modellen niet 100%, wat aangeeft dat redeneercapaciteiten (integratie van multi-hop feiten) een knelpunt blijven, niet alleen kennisretrieval.
Retrieval Strategieën:
- Agentische Retrieval presteert aanzienlijk beter dan Heuristische Retrieval. Voor Qwen2.5-VL-72B bereikte Agentische Retrieval 38,9% versus Heuristische 36,6%.
- Heuristische methoden lijden onder "overbelaste queries" bij het omgaan met meerdere entiteiten, terwijl agentische methoden het probleem succesvol ontleeden.
Impact van Complexiteit:
- De nauwkeurigheid daalt monotoon naarmate het aantal redeneerhops en entiteiten toeneemt.
- Interessant is dat in de "Originele" instelling modellen soms beter presteren op vragen met meer hops, omdat de vraagtekst zelf de benodigde entiteitsnamen bevat (algemene kennis), terwijl fijnkorrelig visueel redeneren faalt zonder bewijs.

5. Betekenis en Toekomstige Richtingen

Nieuwe Standaard voor Redenering: M3-VQA legt een hogere lat voor het evalueren van MLLM's, en gaat voorbij aan eenvoudige waarneming naar complexe, gestructureerde redenering die vereist is in real-world toepassingen (bijv. medische diagnose, juridische documentanalyse, wetenschappelijk onderzoek).
Benadrukken van de "Redeneringskloof": De resultaten tonen aan dat huidige modellen zwaar afhankelijk zijn van externe informatie en moeite hebben om meerstaps logische integratie uit te voeren, zelfs wanneer die informatie wordt verstrekt.
Vooruitgang in Retrieval-Augmented Generation (RAG): Het succes van Agentische Retrieval suggereert dat toekomstige MLLM's planning en iteratief redeneren moeten integreren in plaats van eenvoudige one-shot retrieval om complexe multimodale taken te hanteren.
Beperkingen: De dataset is momenteel alleen in het Engels en vertrouwt op Wikipedia. Toekomstig werk moet uitbreiden naar andere talen en gespecialiseerde domeinen (bijv. biomedisch, juridisch).

Kortom, M3-VQA blootlegt de huidige beperkingen van MLLM's in fijnkorrelig begrip en complexe redenering, en biedt een kritieke weg voor het ontwikkelen van robuustere, kennisgeïntegreerde en redeneringsbekwame multimodale agenten.