💬 NLP

Memes-as-Replies: Can Models Select Humorous Manga Panel Responses?

Deze paper introduceert MaMe-Re, een benchmark van 100.000 menselijk geannoteerde manga-panels en sociale media-posts voor het selecteren van humoristische reacties, en onthult dat hoewel grote taalmodellen sociale nuances beginnen te begrijpen, ze nog steeds worstelen met het effectief benutten van visuele informatie en het onderscheiden van subtiele verschillen in humor.

Oorspronkelijke auteurs: Ryosuke Kohita, Seiichiro Yoshioka

Gepubliceerd 2026-02-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ryosuke Kohita, Seiichiro Yoshioka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je op sociale media zit, zoals X (voorheen Twitter). Iemand post een foto van een sok met een gat erin en zegt: "Tja, tijd om afscheid te nemen."

Een slimme vriend antwoordt niet met tekst, maar met een plaatje uit een stripverhaal (een manga). In dat plaatje schreeuwt een personage: "GEEF JE HEM OOP?" alsof de sok een geliefde is. Plotseling is het grappig! De humor zit niet in het plaatje zelf, maar in hoe je het plaatje gebruikt om op die specifieke opmerking te reageren.

Dit is precies waar dit onderzoek over gaat. De auteurs van CyberAgent hebben een nieuw spelletje bedacht om te kijken of computers ook zo'n grappig antwoord kunnen kiezen.

Hier is de uitleg, vertaald naar alledaags Nederlands:

1. Het Grote Experiment: "De Grappigste Repliek"

De onderzoekers hebben een enorme database gemaakt, genaamd MAME-RE.

Het idee: Ze hebben 250 sociale media-berichten (zoals de sok-voorbeeld) en 400 plaatjes uit een gratis stripverhaal.
De taak: Ze hebben 100.000 combinaties gemaakt. Voor elk bericht moesten ze uit de 400 plaatjes het grappigste antwoord kiezen.
De jury: 2.325 mensen hebben hieraan meegewerkt. Ze keken naar een combinatie en zeiden simpelweg: "Ja, dit is grappig" of "Nee, dit is saai."

Het is alsof je een grote wedstrijd organiseert waar je moet raden welke grap het beste past bij een bepaalde situatie.

2. Wat hebben ze getest?

Ze hebben gekeken of slimme computers (zoals de AI's die we nu kennen) dit ook kunnen. Ze hebben twee strategieën getest:

De "Woordenzoeker" (Sim-select): Deze computer kijkt alleen naar de betekenis van de woorden. Als iemand zegt "Ik ben verdwaald", zoekt hij een plaatje met het woord "verdwaald" of "niet begrijpen".
- Resultaat: Dit werkt redelijk goed om iets te vinden dat past, maar het is vaak saai. Het is alsof je een woordenboek opent om een grap te maken; het klopt, maar het is niet echt grappig.
De "Situatiebegrijper" (Pref-select): Deze computer (een grote taalmodel) leest de situatie en probeert te begrijpen waarom iets grappig zou zijn. Hij denkt na over ironie, overdrijving en sociale hints.
- Resultaat: Deze doet het beter! Hij kan bijvoorbeeld begrijpen dat als iemand zegt "Ik geef het op", een plaatje met een koude, afwijzende reactie juist grappig is omdat het tegenovergestelde is van wat je verwacht.

3. De Verrassende Ontdekkingen (De "Aha!"-momenten)

A. Plaatjes helpen niet altijd
Je zou denken: "Als ik de computer het plaatje laat zien, ziet hij dan de grappige gezichtsuitdrukking?"

Het antwoord: Nee, niet echt. Sterker nog, soms werd de computer er slechter van als hij het plaatje mocht zien.
De analogie: Het is alsof je iemand vraagt een grap te vertellen. Als je hem alleen de tekst geeft, weet hij de toon. Als je hem ook een foto van de grap toont, raakt hij in de war over welke tekst hij moet kiezen. De computer begrijpt het plaatje wel, maar weet niet hoe hij het moet gebruiken om een grap te maken.

B. Het verschil tussen "Passend" en "Grappig"
Computers zijn goed in het vinden van iets dat past. Als iemand zegt "Ik ben moe", kiezen ze een plaatje van een slapend dier.
Maar grappig zijn gaat over verrassing. Een echt grappig antwoord breekt met de verwachting. De computers vinden het heel moeilijk om te kiezen tussen twee plaatjes die beide "passen", maar waarvan één net een beetje grappiger is dan de ander.

C. De "Verdwijnende Grap"
In een experiment gaven ze de computer een lijst met plaatjes. Als er één heel duidelijk grappig plaatje tussen zat en de rest saai was, kon de computer dat vinden.
Maar als ze de lijst vulden met plaatjes die allemaal een beetje grappig waren en op elkaar leken, raakte de computer in de war. Hij kon het fijne verschil in "wits" niet meer zien.

De analogie: Het is alsof je vraagt aan iemand om de lekkerste appel te kiezen uit een mand. Als er één appel rot is en de rest goed, is dat makkelijk. Maar als je vraagt om de allerlekkerste appel uit een mand met 100 appels die allemaal bijna even lekker zijn, wordt het heel lastig.

4. Waarom is dit belangrijk?

Vandaag de dag gebruiken mensen memes (plaatjes) om te praten, te plagen en te flirten. Computers zijn nu vooral goed in het schrijven van tekst. Dit onderzoek laat zien dat we computers nog moeten leren om de sociale dans van internet te begrijpen.

Het is niet genoeg om gewoon een plaatje te sturen dat bij de tekst past. Je moet het plaatje sturen dat de sfeer van het gesprek op een grappige manier verandert.

Conclusie

Deze onderzoekers hebben een nieuw bordspel bedacht (MAME-RE) om te testen hoe goed AI is in het kiezen van grappige plaatjes.

Wat kunnen ze al? Ze begrijpen de context beter dan voorheen en kunnen ironie snappen.
Wat kunnen ze nog niet? Ze vinden het lastig om de beste grap te kiezen als er veel vergelijkbare opties zijn, en ze weten niet goed hoe ze plaatjes moeten gebruiken om grappig te zijn.

Kortom: Computers zijn nu als een student die net een grapje heeft geleerd. Hij kan het woord "grappig" gebruiken, maar hij is nog niet de meester van de stand-upcomedy. Er is nog veel werk te doen voordat een robot echt kan lachen om een grap die jij maakt.

Probleemstelling

Memes zijn een integraal onderdeel van moderne webcommunicatie, maar worden in computationeel onderzoek voornamelijk behandeld als statische objecten (bijvoorbeeld voor detectie van haatzaaiende inhoud of het genereren van captions). Er is echter een aanzienlijke kennislacune rondom de interactieve functie van memes: het gebruik ervan als humoristische antwoorden binnen een dialoog.

Het centrale probleem dat dit paper adresseert, is de moeilijkheid voor AI-modellen om de juiste, grappige meme te selecteren als reactie op een specifieke sociale context. Humor is hier geen intrinsieke eigenschap van de afbeelding, maar een emergente kwaliteit die ontstaat door de interactie tussen de meme en de conversatiecontext. Bestaande modellen worstelen met het begrijpen van subtiele sociale cues zoals ironie, overdrijving en impliciete culturele kennis die nodig zijn voor dit type humor.

Methodologie

1. Taaldefinitie: Meme Reply Selection
De auteurs formaliseren de taak als het selecteren van de grappigste meme $m$ uit een verzameling $M$ , gegeven een context $c$ . Het doel is het maximaliseren van een scorefunctie $s(c, m)$ die de grappigheid meet.

2. Het MAME-RE Benchmark
Om deze taak te evalueren, introduceren de auteurs MAME-RE (Manga Meme Reply Benchmark):

Data: 100.000 unieke paren bestaande uit 250 synthetisch gegenereerde sociale media-berichten (contexten) en 400 manga-panelen uit de serie Black Jack ni Yoroshiku (onder een vrije licentie).
Anotatie: Elke context-meme-paar is beoordeeld door 5 verschillende crowdworkers op een binair "grappig/niet-grappig" schema. Dit resulteerde in 500.000 annotaties van 2.325 unieke annotatoren.
Design: Het datasetontwerp is volledig exhaustief (elke context is gekoppeld aan elke meme), wat unieke inzichten mogelijk maakt in hoe de grappigheid van één beeld verandert afhankelijk van de context.

3. Experimentele Opzet
De auteurs testen twee hoofdbenaderingen:

Similarity-based Selection (sim-select): Kies de meme met de hoogste cosine-ähnelijkheid in de embedding-ruimte tussen context en meme. Dit omvat tekst-embeddings, LLM-embeddings, multimodale embeddings en Vision-Language Model (VLM) embeddings.
Preference-based Selection (pref-select): Gebruik Large Language Models (LLMs) die direct de grappigheid van een kandidaat beoordelen op basis van de context (via prompts, vergelijkbaar met multiple-choice vragen).

4. Experimenten

Exp1: Vergelijking van baselines (sim-select vs. pref-select) en het effect van visuele informatie (tekst vs. afbeelding).
Exp2: Een "retrieve-and-rerank" architectuur (eerst top-k zoeken via similariteit, dan herschikken via LLM).
Exp3: Een gecontroleerde test waarbij modellen moeten kiezen tussen één duidelijk grappige meme en meerdere niet-grappige opties.
Exp4: Een test van de gevoeligheid voor kandidaat-ähnelijkheid (kunnen modellen de beste kiezen uit een set semantisch zeer vergelijkbare kandidaten?).

Belangrijkste Resultaten

LLM's tonen vooruitgang in sociale cues:
- De pref-select methode (gebaseerd op LLMs zoals GPT-5) presteert beter dan sim-select methoden. LLM's lijken complexe sociale cues zoals ironie en overdrijving te kunnen vangen, terwijl similariteitsmethoden vaak vastlopen op oppervlakkige semantische matching.
- De beste LLM (GPT-5) bereikte een Score@1 van 0,325, wat significant hoger is dan willekeurige selectie (0,255), maar nog steeds laag in absolute zin.
Visuele informatie helpt niet (en kan schaden):
- Het toevoegen van visuele informatie (directe afbeeldingen of tekstuele beschrijvingen van panelen) verbeterde de prestaties niet consistent. In sommige gevallen daalde de prestatie zelfs.
- Dit onthult een kloof tussen het begrijpen van visuele inhoud en het effectief gebruiken daarvan voor contextuele humor. Modellen die direct met pixels werken (VLM's) presteerden slechter dan tekst-only modellen.
Moeilijkheid bij subtiele verschillen:
- In gecontroleerde scenario's (Exp3) met duidelijk onderscheidbare grappige opties, benaderden LLM's menselijke prestaties.
- Echter, in realistische scenario's met semantisch vergelijkbare kandidaten (Exp4 en Exp2), daalde de prestatie drastisch. Modellen hebben moeite om de subtiele verschillen in "wits" te onderscheiden die een reactie echt grappig maken.
Retrieve-and-Rerank faalt:
- De hybride aanpak (eerst zoeken, dan herschikken) leverde geen significante verbetering op. De herschikkingstap (reranker) slaagde er niet in om de beste optie te vinden uit een set van hoog-gerelateerde kandidaten, wat suggereert dat de moeilijkheid ligt in de discriminatie van subtiele humor, niet in het vinden van relevante content.

Bijdragen

Paradigmaverschuiving: Het paper stelt voor memes te behandelen als interactieve communicatie in plaats van statische content, wat een nieuw onderzoeksgebied opent voor webwetenschap.
MAME-RE Benchmark: De introductie van een schaalbaar, open-source benchmark met 100.000 menselijk geannoteerde paren, volledig gebaseerd op vrije licenties, wat reproduceerbaarheid en hergebruik garandeert.
Empirische Analyse: De eerste uitgebreide analyse van de uitdagingen voor huidige modellen in het begrijpen van multimodale, contextuele humor, met specifieke focus op de beperkingen van visuele verwerking en het onderscheiden van subtiele nuances.

Significantie en Toekomstperspectief

De bevindingen van dit paper hebben belangrijke implicaties voor de ontwikkeling van sociale AI-agenten:

Kloof in Multimodaal Begrip: Hoewel modellen visuele content kunnen analyseren, missen ze het vermogen om deze dynamisch in te zetten voor humoristische interactie. Dit suggereert dat nieuwe architecturen nodig zijn die visuele herkenning koppelen aan contextuele inferentie, in plaats van alleen bestaande multimodale encoders te schalen.
Subtiele Nuances: De grootste uitdaging voor toekomstig werk ligt niet in het vinden van relevante content, maar in het onderscheiden van subtiele verschillen in grappigheid tussen zeer vergelijkbare opties.
Sociale Bewustwording: Voor het bouwen van echt sociale chatbots is het cruciaal om niet alleen semantische relevantie te garanderen, maar ook de sociale dynamiek en impliciete culturele kennis te modelleren die nodig is voor humor.

Het paper concludeert dat het selecteren van contextueel grappige antwoorden een open uitdaging blijft voor huidige modellen, maar dat MAME-RE een fundamenteel kader biedt om deze voortgang te meten en te stimuleren.