V-DyKnow: A Dynamic Benchmark for Time-Sensitive Knowledge in Vision Language Models

Dit artikel introduceert V-DyKnow, een nieuw dynamisch benchmark voor het evalueren van tijdgevoelige feitelijke kennis in Vision-Language Models, waarbij wordt aangetoond dat deze modellen vaak verouderde informatie produceren en dat bestaande methoden voor kennisupdates over verschillende modaliteiten ontoereikend zijn.

De kern

V-DyKnow: Een Spiegel voor de Verouderde Kennis van AI

Stel je voor dat je een zeer slimme, maar wat verouderde bibliothecaris hebt. Deze bibliothecaris (de AI) heeft miljoenen boeken gelezen en kan alles vertellen over de wereld. Maar er is een probleem: de boeken in zijn bibliotheek zijn niet bijgewerkt. Ze bevatten informatie uit 2018, 2020 of 2022. Als je hem vraagt: "Wie is de president van Frankrijk?", antwoordt hij misschien nog steeds met de naam van iemand die dat in 2020 was, terwijl de situatie nu anders is.

Dit is precies het probleem dat de onderzoekers van de Universiteit van Trento hebben onderzocht met hun nieuwe test, genaamd V-DyKnow.

Hier is hoe het werkt, vertaald in alledaags taal:

1. Het Probleem: De "Gevallen Foto"

De meeste moderne AI-modellen (zowel die met tekst als die met plaatjes) worden getraind op een "snapshot" van de wereld. Het is alsof je een foto maakt van een drukke markt en die foto als enige waarheid gebruikt. Maar op de echte markt verandert er constant iets: mensen komen en gaan, winkels sluiten, leiders wisselen.

De AI denkt dat de foto de hele waarheid is. Als je haar vraagt naar iets dat op de foto staat, geeft ze het antwoord dat op de foto staat, zelfs als het in het echt al jaren geleden is veranderd.

2. De Nieuwe Test: V-DyKnow

De onderzoekers hebben een nieuwe testbedacht, V-DyKnow. In plaats van de AI alleen tekst te geven, geven ze haar plaatjes.

• De Oude Manier: Je vraagt: "Wie is de CEO van Apple?" (Tekst).
• De Nieuwe Manier: Je toont een foto van het Apple-logo en vraagt: "Wie is de CEO van dit bedrijf?" (Plaatje).

De test kijkt of de AI nog steeds de oude, verouderde antwoorden geeft, of dat ze de huidige, echte wereld kent. Ze hebben 139 feiten getest, zoals: "Wie is de president van dit land?" (met een vlag of wapen), "Welk team speelt deze voetballer?" (met een foto van de speler) en "Wie is de baas van dit bedrijf?" (met een logo).

3. De Verbluffende Resultaten

Wat bleek eruit? De AI's zijn vaak verouderd, zelfs als ze heel slim lijken.

• De "Bril" van de AI: Als je de AI een tekst geeft, werkt het vaak redelijk goed. Maar als je een plaatje geeft, wordt het een ramp. Het is alsof de AI een bril op heeft die alleen tekst scherp ziet, maar plaatjes wazig maakt. Ze herkennen het plaatje misschien wel (ze weten dat het een Apple-logo is), maar hun "geheugen" over wie de baas is, is verouderd.
• Verouderde Feiten: Veel AI's gaven antwoorden die in 2020 waar waren, maar nu niet meer. Ze lijken vast te zitten in een tijdreis naar het verleden.
• De "Kloof": Er is een groot gat tussen wat de AI weet als je het vraagt in woorden, en wat ze weten als je het vraagt met een plaatje. Het is alsof ze twee verschillende hersenen hebben: één die tekst begrijpt en één die plaatjes ziet, en die twee praten niet goed met elkaar.

4. Proberen het te Fixen (De "Plekken")

De onderzoekers probeerden ook om de AI's te "repareren". Ze gebruikten methoden om nieuwe feiten in het geheugen van de AI te plakken, zonder de hele AI opnieuw te hoeven leren.

• Resultaat: Het werkte niet goed. Het was alsof je probeert een nieuw adres in een oude telefoon te schrijven, maar de oude nummers blijven maar doorgaan. De AI's verwarren de nieuwe informatie met de oude, of ze vergeten het nieuwe adres direct weer.
• De "Google" Methode: Als je de AI wel de juiste informatie toestuurt tijdens het gesprek (zoals een zoekmachine die het antwoord vindt), gaat het beter. Maar dit betekent dat de AI zelf nog steeds niets heeft geleerd; ze is gewoon afhankelijk van een hulpmiddel.

5. Wat betekent dit voor ons?

De boodschap is duidelijk: Onze slimme AI's zijn niet zo actueel als we denken.

Ze zijn getraind op een wereld die niet meer bestaat. Als je een AI vraagt naar de huidige situatie in de wereld, moet je oppassen. Ze kunnen je vertellen wat er in 2022 gebeurde, terwijl we nu in 2025 zitten.

De conclusie in één zin:
V-DyKnow toont aan dat we AI's moeten leren om niet alleen naar "oude foto's" van de wereld te kijken, maar om de wereld als een levend, veranderend verhaal te zien, vooral als ze naar plaatjes kijken. Zolang we dat niet doen, blijven ze verouderde bibliothecarissen met een verouderde kaart van de stad.

Technische samenvatting

Probleemstelling

Bestaande Vision-Language Models (VLMs) worden getraind op statische datasets die momentopnames van de wereld bevatten (tekst en afbeeldingen). Hierdoor wordt feitelijke kennis in deze modellen impliciet behandeld als tijdloos. In werkelijkheid evolueren feiten echter voortdurend (bijvoorbeeld wisselende regeringen, wisselende CEO's van bedrijven, of nieuwe sportteams).
De huidige evaluatiebenchmarks zijn statisch en gebruiken vaste "ground truth"-antwoorden. Dit leidt tot twee fundamentele problemen:

1. Verouderde kennis: Modellen geven vaak antwoorden die historisch correct waren maar nu verouderd zijn, omdat ze gebaseerd zijn op de trainingssnapshot in plaats van de huidige werkelijkheid.
2. Modale discrepantie: Er is een significant prestatieverschil tussen het beantwoorden van vragen op basis van tekst versus visuele input. Modellen kunnen een entiteit correct herkennen in een afbeelding, maar falen vervolgens bij het ophalen van de bijbehorende, actuele feitelijke kennis.

Methodologie: V-DyKnow Benchmark

Om deze problemen te adresseren, stellen de auteurs V-DyKnow voor, de eerste visuele dynamische benchmark voor het evalueren van tijdgevoelige feitelijke kennis in VLMs.

• Dataverzameling: De benchmark bevat 139 tijdgevoelige feiten (triplets: onderwerp, eigenschap, attribuut) afkomstig uit Wikidata. Deze omvatten landen (47), atleten (28) en organisaties (22).
• Visuele Prompts: In tegenstelling tot traditionele benchmarks, worden entiteiten hier gepresenteerd als afbeeldingen (bijv. vlaggen, wapenschilden, portretten, logo's) in plaats van tekst. De vraag luidt bijvoorbeeld: "Wie is de huidige CEO van dit bedrijf?" vergezeld van het Apple-logo.
• Validatie: Antwoorden worden niet vergeleken met een statische ground truth, maar met de huidige status van de wereld op het moment van evaluatie (gebaseerd op Wikidata). Antwoorden worden geclassificeerd als:
  • Correct: Huidig geldig attribuut.
  • Verouderd (Outdated): Eerder geldig, maar nu verouderd.
  • Irrelevant: Nooit geldig of foutief.
• Protocol: Om de invloed van prompt-lexicalisatie te minimaliseren, wordt elke vraag gesteld met drie licht verschillende formuleringen. De "Upper-Bound" strategie wordt gebruikt (de beste respons van de drie telt mee).
• Analyse van Veroudering: Er wordt een extra taak toegevoegd voor visuele entiteitsherkenning om te onderscheiden of fouten ontstaan door slechte beeldherkenning of door gebrek aan feitelijke kennis.

Belangrijkste Resultaten

De auteurs hebben negen state-of-the-art VLMs (zoals LLaVA, Qwen, GPT-4/5) geëvalueerd. De resultaten tonen ernstige tekortkomingen aan:

1. Prevalentie van Verouderde Feiten: VLMs geven zeer vaak verouderde antwoorden. Bij veel modellen overtreffen verouderde antwoorden de correcte antwoorden.
2. Modale Kloof (Visual-Textual Gap): Feitelijke kennis is aanzienlijk minder betrouwbaar wanneer de entiteit visueel wordt gepresenteerd vergeleken met tekstuele input. Zelfs wanneer modellen de entiteit correct herkennen (hoge score op entiteitsherkenning), falen ze vaak bij het ophalen van de actuele feitelijke informatie.
   • Voorbeeld: LLaVA-1.5 en Molmo vertonen een enorme kloof; ze geven veel "irrelevante" antwoorden op visuele prompts.
3. Effectiviteit van Knowledge Editing: Bestaande methoden om kennis bij te werken (Knowledge Editing zoals GRACE, WISE, IKE) werken slecht in multimodale scenario's:
   • WISE en GRACE: Falen bijna volledig om verouderde feiten te updaten (slechts ~3-5% succes) en verhogen vaak hallucinaties.
   • IKE (In-Context Learning): Werkt goed, maar vereist dat de juiste feiten deterministisch worden ingevoerd, wat niet realistisch is voor dynamische systemen.
   • Multimodal RAG: Toont betere resultaten, maar is afhankelijk van de kwaliteit van de zoekopdracht en kan nog steeds conflicteren met de interne parametrische kennis van het model.
4. Oorzaakanalyse:
   • Data-interval: De analyse van de tijdsintervallen van de antwoorden suggereert dat de parametrische kennis van de modellen voornamelijk overeenkomt met staten van de wereld uit 2013-2019, zelfs bij modellen die na 2023 zijn uitgebracht.
   • Mechanistische Analyse: Bij succesvolle edits (via WISE/GRACE) worden voornamelijk de laatste lagen van het model aangepast. Bij mislukte edits interfereert de bestaande kennis met de nieuwe input, wat suggereert dat verouderde feiten diep verankerd zijn in de modelarchitectuur.

Bijdragen

1. V-DyKnow Benchmark: Een nieuw, dynamisch benchmark dat tijdgevoelige feitelijke kennis evalueert over verschillende modaliteiten (visueel vs. tekstueel) en input-perturbaties.
2. Systematische Evaluatie: De eerste uitgebreide analyse van tijdgevoelige kennis in state-of-the-art VLMs, die een groot prestatiekloof en de prevalentie van verouderde feiten aantoont.
3. Analyse van Update-methoden: Een kritische evaluatie van bestaande aanpassingsmethoden (editing en RAG), die aantoont dat deze onvoldoende zijn voor consistente updates over modaliteiten heen.
4. Oorzaakonderzoek: Een diepgaande analyse van de bronnen van verouderde voorspellingen via data-analyse en mechanistische interpretatie, die de link legt tussen modeloutput en trainingssnapshots.

Betekenis en Conclusie

Dit paper benadrukt een fundamentele beperking in huidige VLMs: ze zijn statische repositories van kennis die niet kunnen bijbenen met een dynamische wereld. De resultaten tonen aan dat multimodale training vaak de feitelijke recall van de onderliggende taalmodellen verslechtert en dat bestaande alignment-methoden onvoldoende zijn om kennis consistent bij te werken.

De auteurs concluderen dat er nieuwe leerparadigma's nodig zijn die expliciet tijdvaliditeit modelleren, dynamische kennisbronnen integreren en continue updates ondersteunen zonder bestaande representaties te verstoren. V-DyKnow dient als een cruciaal hulpmiddel voor toekomstig onderzoek naar dynamische feitelijke kennis in vision-language modellen.