💻 computer science

VKnowU: Evaluating Visual Knowledge Understanding in Multimodal LLMs

Het artikel introduceert VKnowU, een uitgebreide benchmark voor het evalueren van visueel kennisbegrip in Multimodale Grote Taalmodellen, en stelt VideoKnow+ voor, een op reinforcement learning gebaseerd model dat de prestaties op deze benchmark en andere video-begriptaken aanzienlijk verbetert door expliciet gestructureerde visuele kennis te integreren.

Oorspronkelijke auteurs: Tianxiang Jiang, Sheng Xia, Yicheng Xu, Linquan Wu, Xiangyu Zeng, Limin Wang, Yu Qiao, Yi Wang

Gepubliceerd 2026-07-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Tianxiang Jiang, Sheng Xia, Yicheng Xu, Linquan Wu, Xiangyu Zeng, Limin Wang, Yu Qiao, Yi Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotvriend hebt die video's kan bekijken en vragen erover kan beantwoorden. Al een lange tijd is deze robot erg goed in het herkennen van dingen. Als je hem een video laat zien van een hond die een bal achtervolgt, kan hij je vertellen: "Dat is een hond," "Dat is een bal," en "De hond rent."

Maar er is een probleem: de robot begrijpt de wereld niet echt zoals mensen dat doen. Hij weet niet intuïtief dat als je een bal laat vallen, deze naar beneden zal vallen (zwaartekracht), of dat een glazen beker breekbaar is en kan breken als je hem laat vallen, of dat een persoon die fronsend kijkt waarschijnlijk verdrietig is. Hij ziet de pixels, maar hij mist het "gezond verstand" dat erachter schuilgaat.

Dit artikel introduceert een nieuwe manier om robots te testen en te leren over dit ontbrekende "gezonde verstand", wat de auteurs Visuele Kennis noemen.

Het Probleem: De Robot is "Blind" voor Gezond Verstand

De auteurs hebben een enorme test gemaakt genaamd VKnowU (Visual Knowledge Understanding). Zie dit als een eindexamen voor robots, maar in plaats van wiskunde of geschiedenis, gaan de vragen over hoe de wereld werkt en hoe mensen denken.

De test is verdeeld in twee hoofdonderwerpen:

Wereldgericht (De Natuurkundeles): Weet de robot dat een zware doos moeilijker op te tillen is dan een veer? Weet hij dat een muntje op de grond zal vallen?
Mensgericht (De Psychologieles): Begrijpt de robot dat een jongen die naar een rommelige kamer kijkt, misschien van plan is om een nog grotere bende te maken? Weet hij dat als volwassenen binnenkomen, ze geschokt kunnen zijn?

De Resultaten: Toen ze deze test voorlegden aan de slimste beschikbare robots (zoals die van Google, OpenAI en open-source teams), scoorden de robots slecht. Ze waren vooral slecht in de "Natuurkundeles". Ze konden de scène perfect beschrijven, maar faalden in het voorspellen van wat er daarna zou gebeuren of het begrijpen van de materialen van objecten. Ze "zagen" wel, maar "begrepen" niet.

De Oplossing: De Robot Leren om te "Zien, Denken, Antwoorden"

Om dit op te lossen, hebben de auteurs een nieuwe trainingsmethode gebouwd genaamd VideoKnow+. Ze realiseerden zich dat robots probeerden antwoorden te raden op basis van hun taaltraining (zoals het raden van het antwoord op een raadsel zonder naar de afbeelding te kijken).

Ze introduceerden een nieuwe regel voor de robot: "Zien, Denken, Antwoorden."

Zien: Voordat de robot antwoord geeft, moet hij eerst precies beschrijven wat hij in de video ziet, met de focus op de visuele aanwijzingen.
Denken: Daarna gebruikt hij die visuele aanwijzingen om te redeneren.
Antwoorden: Ten slotte geeft hij het antwoord.

Ze creëerden ook een speciaal "beloningssysteem". Stel je een leraar voor die de robot beoordeelt. Als de robot probeert het antwoord te raden met alleen woorden, geeft de leraar een lage score. Maar als de robot een beschrijving schrijft die bewijst dat hij het visuele bewijs heeft gezien (zoals "De doos is van hout, dus hij is zwaar"), geeft de leraar een hoge score. Dit dwingt de robot om echt aandacht te besteden aan de video, in plaats van alleen aan zijn interne database met feiten.

De Uitkomst

Na training met deze nieuwe methode en een enorme nieuwe dataset van video's (genaamd VKnowQA), werd de robot veel beter.

Hij verbeterde zijn score op de "Visuele Kennis"-test met een aanzienlijke marge.
Hij werd ook beter in andere algemene videotests, wat bewees dat het leren begrijpen van de wereld hem helpt op veel verschillende gebieden.

Het Grotere Plaatje

Het artikel betoogt dat voor robots om echt intelligent te worden, ze moeten stoppen met alleen "patroonherkenning" (het herkennen van objecten) en moeten beginnen met "wereldbegrip". Net zoals een menselijk kind leert dat vuur heet is en glas breekbaar is door de wereld te observeren, moeten robots deze "visuele waarheden" leren om de kloof te overbruggen tussen simpelweg een afbeelding zien en echt begrijpen wat er in die afbeelding gebeurt.

Kortom: Het artikel bouwde een test om aan te tonen dat robots slecht zijn in gezond verstand, en bouwde vervolgens een nieuwe trainingsmethode die hen dwingt om naar het bewijs te kijken voordat ze gokken, waardoor ze veel slimmer en betrouwbaarder worden.

Technische Samenvatting: VKnowU

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben bewezen bekwaam te zijn in het herkennen van objecten en attributen, maar missen vaak een intuïtief, menselijk begrip van de onderliggende fysieke en sociale principes die de wereld beheersen. Deze kloof vertegenwoordigt een tekortkoming in visuele kennis—een hoogwaardige, visueel gegronde semantische laag die perceptie en redenering overbrugt. Hoewel huidige modellen uitblinken in fijne perceptie door middel van multi-schaal kenmerken of hoogresolutie inputs, worstelen ze met de ingebedde, intuïtieve kennis die vereist is voor dieper redeneren, zoals het voorspellen van fysieke trajecten of het afleiden van subjectieve intenties. Gevolgelijk vertrouwen MLLM's vaak op broze taalprioriteiten, wat leidt tot hallucinaties en slechte prestaties bij taken die een werkelijk wereldbegrip vereisen.

Methodologie

1. VKnowU: Een Uitgebreide Benchmark

Om de kloof tussen perceptuele nauwkeurigheid en cognitief redeneren kwantitatief te meten, introduceren de auteurs VKnowU, een video-benchmark bestaande uit 1.249 video's en 1.680 meerkeuzevragen. De benchmark is gestructureerd rond acht kerndimensies van visuele kennis, gecategoriseerd in twee domeinen:

Wereld-centrisch (Fysica):
- Intuïtieve Fysica: Het beoordelen van fysieke plausibiliteit (bijv. zwaartekracht, objectpermanentie).
- Object Affordance: Het bepalen van functionele toepassingen op basis van structurele eigenschappen.
- Object Materiaal: Het identificeren van materiaalsamenstelling via intrinsieke of gedragsmatige aanwijzingen.
- Ruimtelijk Bewustzijn: Het afleiden van relatieve posities en navigatie.
Mens-centrisch (Psychologisch/Sociaal):
- Event Anticipation: Het afleiden van waarschijnlijke opeenvolgende gebeurtenissen op basis van sociale normen.
- Mentale Toestand: Het afleiden van interne psychologische toestanden en affectieve atmosferen.
- Sociale Relatie: Het afleiden van interpersoonlijke relaties en rollen.
- Subjectieve Intentie: Het reconstrueren van onderliggende doelen achter geobserveerde acties.

Dataset Constructie:
Om ervoor te zorgen dat de benchmark strikt visuele kennis evalueert in plaats van taalprioriteiten of audio-aanwijzingen, hanteerden de auteurs een rigoureuze QA Reformulatie Pipeline:

Minimaliseren van Audio-afhankelijkheid: Vragen die oplosbaar waren via audio-transcripties (gelijkenis > 0,3) werden verwijderd.
Verminderen van Taalbias: Vragen die oplosbaar waren door tekst-alleen LLM's (Pass@10 ≥ 0,5) werden uitgesloten.
Verbeteren van Foutieve Kandidaten: Distractoren werden gereconstrueerd om semantisch plausibel maar incorrect te zijn, om eliminatiestrategieën te voorkomen.
Menselijke Verificatie: Een laatste handmatige controle zorgde voor duidelijkheid en afstemming op specifieke competenties in visuele kennis.

2. VideoKnow+: Een Baseline Model voor Visuele Kennis

Om de geïdentificeerde tekortkomingen aan te pakken, stellen de auteurs VideoKnow+ voor, een baseline model dat ontworpen is om expliciet visuele kennis te integreren. De aanpak volgt een See–Think–Answer paradigma:

Gestructureerde Output: Het model wordt gedwongen een zelfstandige visuele beschrijving te genereren ("See") voordat het gaat redeneren ("Think") en antwoorden ("Answer"). Dit dwingt het model om zijn redenering te verankeren in waargenomen visueel bewijs.
Reinforcement Learning (RL): Het model wordt getraind met behulp van GRPO (Group Relative Policy Optimization) met een gespecialiseerde Visuele Kennis Beloning ( $r_v$ ). Een externe bevroren MLLM fungeert als verifieerder om te bepalen of de gegenereerde visuele beschrijving voldoende is om het antwoord af te leiden zonder verdere redenering.
VKnowQA: Een nieuwe grootschalige trainingscorpus (VKnowQA-30K en VKnowQA-CS-12K) werd geconstrueerd om de training van VideoKnow+ te ondersteunen, waarbij er geen sprake is van data-lekken met de evaluatie-benchmark.

Belangrijkste Resultaten

Evaluatie van SOTA MLLM's op VKnowU

De auteurs evalueerden 28 state-of-the-art MLLM's (inclusief open-source en propriëtaire modellen zoals GPT-4o, Gemini-3.0 en InternVL3.5).

Algemene Kloof: Zelfs het best presterende model (Gemini-3.0-Pro) behaalde 76,3%, wat 16,7% achterloopt op menselijke prestaties (93,0%).
Wereld-centrisch Tekort: De kloof is het meest uitgesproken bij fysieke taken. Modellen liepen achter op mensen met 37,0% bij Intuïtieve Fysica en 32,7% bij Ruimtelijk Bewustzijn, waarbij sommige modellen nauwelijks boven willekeurige gokken uitkwamen in deze categorieën.
Mens-centrische Prestaties: Modellen presteerden relatief beter op mens-centrische taken (best: 81,9%), waarschijnlijk door de prevalentie van sociale narratieven in de instructie-tuning data.
Schaalanalyse: Het vergroten van de LLM-backbone grootte (bijv. van 4B naar 8B) leverde slechts marginale winst op VKnowU op (+1,3%) vergeleken met algemene benchmarks, wat suggereert dat de prestaties beperkt worden door visuele gronding in plaats van de capaciteit van het taalmodel.

Prestaties van VideoKnow+

Het trainen van VideoKnow+ op VKnowQA met de See–Think–Answer structuur en de visuele kennis beloning leverde significante verbeteringen op:

VKnowU: Behaalde een verbetering van +3,7% ten opzichte van de baseline (Qwen2.5-VL-7B).
Generalisatie: Toonde consistente winst over andere video-benchmarks:
- MVBench: +5,4%
- Video-MME: +7,0%
- MMVU: +5,7%
Ablatie: De combinatie van Supervised Fine-Tuning (SFT) voor het gestructureerde formaat en GRPO met de visuele kennis beloning ( $r_v$ ) bleek de meest effectieve strategie te zijn.

Betekenis en Claims

Het artikel claimt dat visuele kennis een ontbrekende hoeksteen is voor het ontwikkelen van generaliseerbare MLLM's. De auteurs argumenteren dat:

Huidige Beperkingen: Standaard next-token voorspellingsdoelstellingen moeite hebben om impliciete fysieke dynamiek en sociale nuances enkel uit tekst-gealigneerde supervisie te vangen.
De Brug: Visuele kennis dient als een cruciale intermediaire laag die de overmatige afhankelijkheid van taalprioriteiten vermindert en hallucinaties mitigeert.
Leerbaarheid: De resultaten laten zien dat visuele kennis leerbaar is. Door het redeneerproces expliciet te structureren (See–Think–Answer) en het model te belonen voor het gronden van antwoorden in visueel bewijs, kunnen MLLM's een robuustere en meer mensachtige verstandhouding bereiken.
Diagnostisch Instrument: VKnowU biedt een precies diagnostisch instrument dat fysieke gronding scheidt van sociaal redeneren, en onthult dat dit grotendeels onafhankelijke cognitieve subsystemen zijn in huidige modellen.

Dit werk positioneert de expliciete integratie van visuele kennis als een noodzakelijke stap om MLLM's te laten evolueren van louter "zien" naar echt "begrijpen" van de fysieke en sociale wereld.