Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges
Deze enquête biedt een uitgebreid overzicht van computationele humor in multimodale grote taalmodellen, waarbij het veld wordt georganiseerd door capaciteiten variërend van herkenning tot generatie, de huidige datasets en evaluatieprotocollen synthetiseert, en de belangrijkste uitdagingen identificeert zoals culturele beperkingen en veiligheidszorgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je door een enorme, bruisende bibliotheek loopt waar de boeken niet alleen woorden op een pagina zijn, maar plaatjes die praten, zingen en grappen maken. Dit is de wereld van Multimodale Large Language Models (MLLM's). Zie deze AI-systemen als superintelligente studenten die bijna elk boek hebben gelezen en bijna elke afbeelding hebben bekeken. Ze zijn ongelooflijk goed in het beschrijven van wat ze zien: "Dat is een hond," of "Dat is een brandend huis." Ze kunnen een foto van een kat perfect koppelen aan het woord "kat" met een perfecte nauwkeurigheid.
Maar hier komt het lastige deel: menselijke communicatie gaat niet alleen over feiten. Het gaat over grappen, sarcasme en memes. Een meme kan een kat laten zien die in een doos zit, maar de grap is niet dat de kat in een doos zit; de grap is dat de kat eruitziet als een koning die over een klein koninkrijk regeert, of dat de doos eigenlijk een ruimteschip is. Om de grap te begrijpen, moet je de verborgen betekenis begrijpen, de culturele verwijzingen, en het feit dat de afbeelding doet alsof het iets anders is. Deze paper onderzoekt waarom onze superintelligente AI-studenten nog steeds verschrikkelijk zijn in het begrijpen van deze grappen, zelfs als ze de afbeelding perfect kunnen beschrijven. Het is alsof je een robot hebt die elk ingrediënt in een taart kan opnoemen, maar geen idee heeft waarom de taart grappig is of waarom hij zo lekker smaakt.
De Grote Kloof in Grappengestuurde Begrip
Deze paper is een enorme rapportcijferlijst voor AI op het gebied van multimodale humor. De auteurs, een team van onderzoekers van universiteiten, hebben gekeken naar hoe goed AI grappige afbeeldingen, cartoons en memes begrijpt. Ze ontdekten dat hoewel AI heel goed is geworden in de "makkelijke" dingen — zoals het herkennen van een hond of een auto — het nog steeds worstelt met de "moeilijke" dingen: uitzoeken waarom iets grappig is.
De onderzoekers hebben het probleem georganiseerd in drie niveaus, als het beklimmen van een ladder:
Niveau 1: Herkenning (Het "Wat")
Dit is de onderste trede. Kan de AI zien of een afbeelding grappig is of niet? Kan het de hond in de afbeelding aanwijzen? De paper laat zien dat AI hier eigenlijk best goed in is. Het kan vaak zeggen: "Ja, die meme is grappig," of "Dat is een politicus." Het is als een student die de clou in een grapjesboek kan aanwijzen, maar niet weet waarom het grappig is.Niveau 2: Interpretatie en Redeneren (Het "Waarom")
Dit is de middelste trede, en hier wordt het rommelig. Kan de AI uitleggen waarom de grap werkt? Begrijpt het dat de grap een specifieke politicus belachelijk maakt, of dat het een culturele verwijzing gebruikt uit de jaren '90 televisie? De paper stelt vast dat AI hier enorm mee worstelt. Het geeft vaak antwoorden die weliswaar goed klinken, maar eigenlijk fout zijn, of het mist de plank volledig. Het is als een student die een grap kan herhalen, maar hem zo uitlegt dat de humor doodslaat omdat de verborgen betekenis is gemist.Niveau 3: Generatie (Het "Maken")
Dit is de bovenste trede. Kan de AI een grappige meme maken of een grappige bijtek schrijven? De paper behandelt dit als een nieuwe grens. Om een goede grap te maken, moet je eerst de regels van humor begrijpen. De onderzoekers ontdekten dat AI vaak probeert grappen te maken die gewoon... saai zijn. Ze zijn misschien grammaticaal correct, maar ze zijn niet echt grappig omdat de AI het mechanisme van humor niet echt "begrijpt".
De Drie Grote Problemen
De auteurs identificeerden drie hoofdoorzaken waarom AI zoveel moeite heeft met grappen:
- De "Shortcut" Valstrik: AI-modellen zijn slim, maar ze zijn ook lui. Ze leren vaak het antwoord te raden door naar gemakkelijke patronen te zoeken. Bijvoorbeeld, als een afbeelding het gezicht van een politicus en een verdrietige wolk bevat, kan de AI "verdrietig" of "grappig" raden, simpelweg omdat het die combinatie eerder heeft gezien, zonder het verhaal daadwerkelijk te begrijpen. De paper suggereert dat veel huidige tests te makkelijk zijn, waardoor de AI kan "valsspelen" door deze shortcuts te gebruiken in plaats van echt na te denken.
- De Culturele Blinde Vlek: Grappen leunen op gedeelde kennis. Als je niet weet wie een specifieke beroemdheid is, of wat er onlangs in het nieuws was, begrijp je de grap niet. De paper wijst erop dat AI voornamelijk getraind is op Engelse en Westerse internetcultuur. Het is als een student die alleen grappen uit één land kent en volledig de weg kwijt is wanneer iemand een grap uit een andere cultuur vertelt. Het mist de "inside jokes" die humor laten werken.
- Het "Verhaal" Probleen: Veel grappige zaken, zoals stripstrips, vertellen een verhaal over verschillende panelen heen. De grap gebeurt omdat van wat er in het eerste paneel gebeurde in vergelijking met het laatste paneel. De paper vond dat AI vaak slecht is in het leggen van de verbanden tussen deze panelen. Het bekijkt elk plaatje afzonderlijk in plaats van het hele verhaal te zien, waardoor het de timing en de verrassing mist die een stripstrip grappig maakt.
Wat de Paper Eigenlijk Vond
De onderzoekers hebben niet alleen geraden; ze hebben veel verschillende AI-modellen getest op een reeks verschillende grap-datasets. Ze ontdekten dat:
- AI wordt beter in het spotten van grappige zaken, maar ligt nog steeds ver achter op mensen als het gaat om het uitleggen ervan.
- De beste modellen (zoals sommige zeer grote, dure modellen) kunnen ongeveer 80% van de herkenningsopdrachten goed uitvoeren, maar hun prestaties dalen aanzienlijk wanneer ze gevraagd worden de grap uit te leggen of de juiste titel voor een cartoon te kiezen.
- Mensen zijn nog steeds de koningen van de comedy. In de tests waarbij mensen met AI werden vergeleken, begrepen mensen de grappen consistent veel beter, vooral wanneer de grappen een begrip van sociale normen of culturele referenties vereisten.
De paper waarschuwt ons ook voor de toekomst. Naarmate AI beter wordt in het maken van grappen, zou het per ongelt gemeen of schadelijke grappen kunnen maken omdat het het verschil niet begrijpt tussen "grappig" en "kwetsend". Het is als het geven van een microfoon voor stand-up comedy aan een robot zonder hem empathie te leren.
De Kern van het Verhaal
Deze paper is een reality check. Het vertelt ons dat hoewel onze AI-vrienden geweldig worden in het beschrijven van de wereld, ze nog steeds erg verward zijn over de betekenis achter de grappen van de wereld. Ze kunnen de hond zien, maar ze begrijpen niet waarom de hond een hoed draagt en zich als een mens gedraagt. Om dit op te lossen, zeggen de auteurs dat we moeten stoppen met alleen testen of AI het juiste antwoord kan raden, en moeten beginnen met testen of het daadwerkelijk het verhaal, de cultuur en de reden achter de lach begrijpt. Tot die tijd kan de AI misschien een grap vertellen, maar zal hij waarschijnlijk niet weten wanneer hij moet lachen om zijn eigen punchline.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.