M-QUEST -- Meme Question-Understanding Evaluation on Semantics and Toxicity

Deze paper introduceert M-QUEST, een semantisch raamwerk en benchmark met 609 vraag-antwoordparen voor 307 memes, die dient om multimodale toxiciteit te evalueren en de commonsense-resoningscapaciteiten van grote taalmodellen te testen op hun vermogen om de betekenis en intentie van memes te interpreteren.

De kern

M-QUEST: De "Meme-Vertaler" die probeert te begrijpen waarom een grapje kwetsend is

Stel je voor dat internetmemes niet zomaar grappige plaatjes zijn, maar meer zoals geheime codes of puzzels. Om een meme echt te begrijpen, moet je niet alleen kijken naar wat er op de foto staat (de visuele kant) en wat er geschreven staat (de tekst), maar je moet ook weten wie de mensen zijn, waarom ze die foto hebben gekozen, en welke geheime kennis je nodig hebt om de grap te snappen.

Soms zijn deze memes onschuldig grappig, maar soms zijn ze giftig, kwetsend of haatdragend. Het probleem voor computers (kunstmatige intelligentie) is dat ze vaak denken dat een meme gewoon een plaatje is, terwijl ze de "giftige" lading missen die voor mensen heel duidelijk is.

De auteurs van dit paper hebben een nieuw systeem bedacht, genaamd M-QUEST, om te testen of computers deze complexe "meme-puzzels" echt kunnen oplossen.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Meme-Vertaalboek" (Het Raamwerk)

Vroeger keken computers alleen naar de tekst (zoals een woordenboek) of alleen naar de foto (zoals een objectherkenning). Maar een meme is meer dan de som der delen.

De onderzoekers hebben een 10-stappenplan bedacht om een meme te ontleden, net als een detective die een moordzaak oplost:

• Wat zie je? (De foto, de tekst).
• Wat is de scène? (Hoe staan de dingen ten opzichte van elkaar?).
• Wat moet je weten? (De achtergrondkennis: "Wie is die beroemdheid?" of "Wat betekent die historische gebeurtenis?").
• Wat is het gevoel? (Is het boos, verdrietig, sarcastisch?).
• Wat is het doel? (Wil de maker iemand kwetsen of gewoon lachen?).
• En nog veel meer...

Dit raamwerk is als een super-vertaalboek dat zegt: "Om deze meme te begrijpen, moet je niet alleen de woorden lezen, maar ook de context, de emotie en de verborgen boodschappen."

2. De "Meme-Examen" (Het Benchmark)

Om te testen of slimme computers (zoals de nieuwste AI-modellen) dit kunnen, hebben de onderzoekers een examen gemaakt: M-QUEST.

• Ze hebben 307 memes geselecteerd (vooral die met een kwetsende lading).
• Voor elke meme hebben ze vragen bedacht die niet zomaar "Is dit giftig?" vragen, maar "Waarom is dit giftig?".
• Bijvoorbeeld: "Is dit een grap over een groep mensen, of is het een aanval op hun identiteit?"

Het examen bestaat uit 609 vragen. Het is alsof je een AI een schooltoets geeft waarbij het niet alleen het juiste antwoord moet kiezen, maar ook de redenering moet uitleggen.

3. De "Leerlingen" (De AI-modellen)

Ze hebben 8 verschillende AI-modellen (de "leerlingen") op dit examen getest. Sommige modellen zijn als leerlingen die alleen uit het hoofd leren (ze kunnen tekst herkennen, maar begrijpen de context niet). Andere zijn als slimme leerlingen die kunnen redeneren (ze kunnen verbanden leggen tussen een foto en een tekst).

Wat bleek eruit?

• De "blinde" modellen: De oudere modellen (zoals BLIP2) haalden nauwelijks een voldoende. Ze zagen de foto en de tekst, maar snapten niet waarom het kwetsend was. Het was alsof ze een boek in een vreemde taal lazen zonder het te begrijpen.
• De "slimme" modellen: De nieuwste modellen (zoals de Qwen-familie) haalden uitstekende cijfers. Ze konden de sarcasme, de ironie en de verborgen haat snappen. Ze konden zeggen: "Dit lijkt grappig, maar eigenlijk wordt hier een groep mensen uitgesloten."

4. De Grote Les: Redeneren is Koning

De belangrijkste ontdekking van dit paper is dit: Grootte is niet alles, maar redeneren wel.

Het maakt niet uit hoeveel "hersenen" (parameters) een AI heeft. Als de AI niet is getraind om te redeneren (zoals een mens die nadenkt over "waarom" en "hoe"), dan faalt hij bij memes.

• Een AI die alleen tekst herkent, ziet een grapje.
• Een AI die kan redeneren, ziet dat het grapje eigenlijk een aanval is op een kwetsbare groep.

Waarom is dit belangrijk?

In de echte wereld gebruiken we AI om social media te bewaken. Als we AI gebruiken om haatzaaiende content te verwijderen, maar die AI snapt de nuance niet, dan:

1. Laat hij giftige memes staan (want hij denkt dat het grappig is).
2. Of hij verwijdert onschuldige memes (want hij denkt dat ze kwetsend zijn).

M-QUEST is dus als een trainingskamp voor AI. Het helpt ons te zien welke AI's echt "menselijk" kunnen denken over complexe sociale situaties en welke AI's nog steeds als een robot reageren die alleen oppervlakkige patronen ziet.

Kortom: Memes zijn complexe kunstwerken van taal en beeld. Om ze te begrijpen (en te filteren op giftigheid), hebben we AI nodig die niet alleen kijkt, maar ook denkt. Dit paper leert ons hoe we die AI kunnen testen en verbeteren.

Technische samenvatting

Probleemstelling

Internetmeme's vormen een krachtige vorm van online communicatie, maar hun multimodale aard (combinatie van tekst en beeld) en afhankelijkheid van gemeenschappelijke kennis (common sense) maken geautomatiseerde detectie van toxiciteit uiterst uitdagend. Bestaande onderzoek richt zich vaak op geïsoleerde elementen zoals tekst (via OCR), visuele objecten, of emotie-analyse. Er ontbreekt echter een overkoepelend architecturaal kader dat de semantische lagen van een meme formeel kan identificeren en gebruiken voor een grondige zin-constructie (sense-making). Het is niet triviaal om te beantwoorden waarom een meme giftig is; dit vereist het ontleden van concepten die variëren van zichtbare elementen tot impliciete culturele context, analogieën en de intentie van de maker. Zonder een gestructureerde benadering blijven state-of-the-art Vision-Language Models (VLMs) beperkt in hun vermogen om deze complexe, vaak impliciete, toxiciteit te begrijpen.

Methodologie

De auteurs presenteren een tweeledige aanpak: de ontwikkeling van een semantisch raamwerk en de creatie van een bijbehorend benchmark.

1. Semantisch Raamwerk (Framework)
Op basis van een literatuuroverzicht hebben de auteurs een raamwerk ontwikkeld met 10 semantische dimensies die nodig zijn om een meme te interpreteren en toxiciteit te beoordelen:

• Fundamenteel: Tekstueel Materiaal, Visueel Materiaal.
• Contextueel: Scène (ruimtelijke relaties), Achtergrondkennis (wereldkennis, stereotypen, feiten), Doelgemeenschap.
• Semantisch/Pragmatisch: Emotie, Algemene Intentie, Semiotische Projectie (waar de kijker zich in projecteert), Analogische Mapping (relaties tussen beeld en tekst, bv. metaforen).
• Einddoel: Toxiciteitsbeoordeling (de synthese van de bovenstaande dimensies).

2. Constructie van de M-QUEST Benchmark
De benchmark is semi-automatisch gegenereerd via een neuro-symbolisch proces:

• Stap 1: Kennisextractie (Knowledge Extraction): Een VLM (Qwen3-VL-8b-Instruct) analyseert memes uit de Hateful Memes-dataset en vult een kennisbank (KB) in voor elk van de 10 dimensies. De volgorde is cruciaal: eerst basisdimensies, daarna complexere dimensies die afhankelijk zijn van eerdere output.
• Stap 2: Vraag-Genereatie: Op basis van de gegenereerde kennis wordt een VLM geprompt om meerkeuzevragen (Q&A) te genereren die focussen op toxiciteit en de onderliggende redenen (de andere dimensies).
• Stap 3: Menselijke Validatie: Menselijke beoordelaars valideren de gegenereerde vragen en antwoorden op plausibiliteit en juistheid.
• Resultaat: De uiteindelijke benchmark, M-QUEST, bevat 609 vraag-antwoordparen voor 307 memes. Dit omvat een subset ToxM-QUEST (gericht op toxiciteit) en een uitgebreide versie die alle 10 dimensies dekt.

3. Evaluatie
Acht open-source VLMs (waaronder BLIP2, InstructBLIP, LLaVA-v1.5/1.6, Pixtral-12B, en de Qwen-familie) werden getest in een zero-shot setting. De prestaties werden gemeten op:

• Algemene nauwkeurigheid.
• Groepsnauwkeurigheid (het correct beantwoorden van zowel de toxiciteitsvraag als de redeneringsvraag voor dezelfde meme).
• Prestaties per semantische dimensie.

Belangrijkste Bijdragen

1. Semantisch Raamwerk: Een formeel, operationeel kader dat 10 dimensies integreert om meme-toxiciteit te analyseren, inclusief de innovatieve concepten van Semiotische Projectie en Analogische Mapping.
2. M-QUEST Benchmark: Een compositional benchmark die toxiciteit koppelt aan onderliggende redeneringen, wat een diepere analyse mogelijk maakt dan eerdere benchmarks die zich vaak beperkten tot classificatie.
3. Empirische Analyse: Een uitgebreide evaluatie van 8 VLMs die inzicht geeft in de sterke en zwakke punten van huidige modellen bij het interpreteren van multimodale toxiciteit.

Resultaten

De experimentele resultaten tonen duidelijke verschillen in prestaties:

• Architectuur en Training: Modellen met instruction-tuning en redeneercapaciteiten (zoals de Qwen-familie) presteren aanzienlijk beter dan modellen zonder deze functies (zoals BLIP2 of InstructBLIP). De Qwen2.5-VL-7B bereikte de hoogste algehele nauwkeurigheid (86,38%), gevolgd door Qwen3-VL-8B.
• Grootte vs. Kwaliteit: Modelgrootte is niet de enige determinant; de combinatie van een goed afgestemde visuele encoder (zoals CLIP bij Pixtral) en instructie-tuning is kritischer.
• Dimensie-specifieke prestaties:
  • Modellen presteren goed op perceptieve taken (Visueel/Tekstueel Materiaal, Scène).
  • Er is een significante daling in prestaties bij taken die impliciete redenering vereisen, zoals het afleiden van Toxiciteit, Algemene Intentie en Analogische Mapping.
  • Groepsnauwkeurigheid (het koppelen van redenering aan toxiciteitsoordeel) is vaak lager dan de som van de individuele prestaties, wat aangeeft dat modellen moeite hebben met consistente cross-dimensionale coherentie.
• Foutpatronen: Kwalitatieve analyses tonen aan dat sommige modellen (zoals eerdere Qwen-versies) neigen naar letterlijke interpretaties en impliciete sociale kritiek of ironie missen. Andere modellen (zoals LLaVA en Qwen3) tonen beter vermogen om subtiele, impliciete relaties tussen beeld en tekst te begrijpen.

Betekenis en Toekomstperspectief

De studie concludeert dat het begrijpen van meme-toxiciteit een "AI-complete" taak is die mensachtig redeneren en gemeenschappelijke kennis vereist.

• Implicaties: Succesvolle detectie van giftige content vereist meer dan alleen visuele of tekstuele analyse; het vereist een model dat instructies kan volgen en complexe, multimodale redeneringen kan uitvoeren.
• Beperkingen: De huidige generatie VLMs heeft moeite met het genereren van hoogwaardige Q&A-paren zonder menselijke tussenkomst, wat de schaalbaarheid van datasetcreatie beperkt. Ook zijn de relaties tussen de semantische dimensies in het huidige raamwerk nog niet volledig geformaliseerd.
• Toekomst: De auteurs pleiten voor verdere ontwikkeling van modellen met expliciete wereldmodellen, verbeterde QA-generatie via multi-agent systemen, en een uitbreiding van het raamwerk met meta-dimensionen zoals ethiek, moraal en juridische aspecten.

Het paper levert een cruciale basis voor toekomstig onderzoek op het snijvlak van multimodale contentveiligheid en gemeenschappelijke redenering.