MemeBench: What LVLMs Miss When Interpreting Culture-Dependent Memes
Dit artikel introduceert MemeBench, een diagnostische benchmark die het VIKR-schema gebruikt om de specifieke culturele kennisgebreken in de interpretatie van memes door Large Vision-Language Models te evalueren en bloot te leggen, waarbij wordt aangetoond dat hoewel entiteitsgestuurde retrieval de kennisintegratie verbetert, dit momenteel ten koste gaat van de visuele dekking.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kamer binnenloopt vol mensen die een taal spreken die je niet kent, maar je kunt hun gezichten, hun kleding en de objecten die ze vasthouden zien. Je bent een superintelligente robot, ontworpen om precies te beschrijven wat je ziet. Je kunt zeggen: "Die persoon draagt een rode hoed," of "Ze houden een gouden beker vast." Je bent perfect in het beschrijven van de pixels. Maar dan wijst iemand naar een foto van een kat met een piepklein smoking en zegt: "Dit is een meme over hoe katten denken dat ze het internet bezitten." Als jij het internet niet kent, de cultuur van kattenbezitters niet begrijpt, of de grap niet snapt, zeg je misschien alleen: "Het is een kat in een pak." Je hebt de foto perfect beschreven, maar je hebt de essentie volledig gemist.
Dit is de kloof die onderzoekers proberen te overbruggen met Large Vision-Language Models (LVLMs). Dit zijn AI-systemen die zowel afbeeldingen kunnen "zien" als erover kunnen "spreken". Lange tijd dachten we dat als een AI een afbeelding accuraat kon beschrijven, het de afbeelding ook begreep. Maar dit artikel betoogt dat beschrijven niet hetzelfde is als interpretatie. Het is het verschil tussen het lezen van de woorden van een grap en daadwerkelijk begrijpen waarom die grappig is. Om een meme te begrijpen, heb je meer nodig dan alleen je ogen; je hebt een bibliotheek aan culturele kennis, inside jokes en de geschiedenis van een gemeenschap nodig die niet op de afbeelding zelf staat geschreven. Als een AI die verborgen bibliotheek niet kan raadplegen, is het als een toerist die wel een kaart kan lezen, maar de lokale straattaal of de geschiedenis van de monumenten niet kent.
Maak kennis met MemeBench, een nieuwe diagnostische tool ontwikkeld door onderzoekers van Bilibili, de Vrije Universiteit van Fudan en de Peking Universiteit om precies te testen waar deze AI-modellen vastlopen. Zie MemeBench als een "culturele popquiz" voor AI, specifiek gericht op de wilde, snel veranderende wereld van anime, strips, games en internet subculturen (vaak ACG genoemd). De onderzoekers verzamelden 1.253 memes in zowel het Chinees als het Engels. Maar in plaats van de AI alleen te vragen: "Is dit grappig?" of "Wat is het antwoord?", vroegen ze de AI om een volledige uitleg te schrijven. Vervolgens braken ze die uitleg af in vier specifieke ingrediënten met behulp van een systeem dat ze VIKR noemen:
- Visueel: Heb je gezien wat er daadwerkelijk in de afbeelding zit?
- Identiteit: Wist je wie of wat de personages zijn? (Bijv. Is dat een generieke ninja, of is het specifiek Naruto?)
- Kennis: Kende je de achtergrond of de culturele regel die dit grappig maakt?
- Redenering: Heb je de verbanden gelegd om de grap uit te leggen?
De onderzoekers testten 26 verschillende AI-modellen, van de grootste commerciële modellen tot open-source experimenten. Hier is de grote verrassing die ze vonden: Elk model was beter in het beschrijven van de afbeelding dan in het begrijpen van de grap. Zelfs het slimste AI-model in de test kon de visuele details met hoge nauwkeurigheid beschrijven, maar wanneer het aankwam op de culturele kennis die nodig is om de meme te interpreteren, struikelde het. Het beste model had nog steeds een "kloof" van 22,6% tussen hoe goed het de afbeelding zag en hoe goed het de cultuur kende. Het is alsoast het hebben van een paar ogen die perfect werken, maar een brein dat de handleiding van de wereld mist.
Het artikel voert ook een argument tegen het idee dat het simpelweg geven van meer "redeneerstappen" (de AI vertellen om "stap voor stap te denken") dit probleem oplost. Dat doet het niet. De modellen misten nog steeds de culturele context. Echter, de onderzoekers vonden wel een manier om te helpen. Ze introduceerden een methode genaamd KAR (Knowledge-Aware Retrieval). Stel je voor dat de AI, voordat de AI de grap probeert te vertellen, snel de specifieke karakternamen en geschiedenis mag opzoeken in een gespecialiseerde encyclopedie (die ze CultureBase noemden) voordat het het algemene web doorzoekt. Dit maakte de AI niet alleen slimmer, maar ook preciezer. Het hielp de AI om de ontbrekende culturele stukjes (Identiteit en Kennis) te vinden zonder de visuele beschrijving te verstoren.
Kortom, dit artikel suggereert dat hoewel AI erg goed wordt in het zijn van een camera, het nog steeds worstelt met het zijn van een cultuurcriticus. De modellen falen niet omdat ze niet kunnen zien; ze falen omdat ze het verhaal achter de afbeelding niet kennen. Door MemeBench te gebruiken, kunnen onderzoekers nu precies aanwijzen welk deel van de uitleg ontbreekt—of het nu de naam van het personage is, de geschiedenis van de gebeurtenis, of de logica van de grap—in plaats van alleen een enkele score te geven. Dit helpt ontwikkelaars bij het bouwen van AI die niet alleen de wereld beschrijft, maar ook de cultuur erin echt begrijpt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.