💬 NLP

On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

Dit artikel introduceert HOMER, een nieuw door humortheorie gedreven multi-role LLM-framework dat gebruikmaakt van script-opposities, retrieval-augmented hiërarchische verbeelding en gerichte bijschriftgeneratie om bestaande state-of-the-art methoden aanzienlijk te overtreffen in het creëren van grappige multimodale afbeeldingenbijschriften.

Oorspronkelijke auteurs: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een grap moet vertellen. Je zou kunnen denken: "Geef hem gewoon een plaatje en vraag hem om grappig te zijn!" Maar hier is de crux: voor een computer is "grappig" een ongrijpbaar, verwarrend concept. Het gaat niet alleen om het beschrijven van wat je ziet; het gaat om het begrijpen van de verborgen regels van de wereld, het opmerken wanneer die regels worden overtreden, en vervolgens je brein verdraaien om de verrassing in die overtreding te vinden. Dit is de kern van multimodale humorgeneratie, een vakgebied waar wetenschappers proen proberen AI te helpen het verschil te begrijpen tussen een normale koffiekop en een koffiekop ter grootte van een badkuip.

Om dit te doen, vertrouwen de onderzoekers in dit artikel op een klassiek idee uit de humortheorie genaamd Script Opposition (Script-tegenspraak). Denk aan een "script" als een mentaal filmscript dat we allemaal uit ons hoofd kennen, zoals "naar een vergadering gaan" of "koffie drinken." Humor ontstaat vaak wanneer twee van deze scripts op een vreemde manier op elkaar botsen—zoals een serieuze zakelijke vergadering waar iedereen uit gigantische mokken drinkt. Het artikel suggereert dat om een computer echt grappig te maken, hij niet zomaar kan gokken; hij heeft een gestructureerd plan nodig om deze botsingen te vinden, wilde verbindingen te bedenken en vervolgens een punchline te schrijven die alles samenbindt.

Het artikel introduceert een nieuw systeem genaamd HOMER (Humor-theory-driven Multi-role LLM collaboration framework with humor retrieval). In plaats van één AI te vragen om "grappig te zijn" en op het beste te hopen, fungeert HOMER als een klein, gespecialiseerd komisch schrijversteam. Het splitst de taak op in drie duidelijke rollen, die elk worden gespeeld door een andere AI-agent die samenwerkt:

De Conflictdetective (Conflicting-script Extractor): Deze agent kijkt naar de afbeelding en de scènebeschrijving om de "glitch" in de realiteit te vinden. Als de afbeelding een vergaderruimte laat zien met normale stoelen maar één gigantische, overmaatse koffiekop, dan ziet deze agent de botsing tussen "normaal kantoor" en "gigantische kop". Hij identificeert de kern van de tegenstrijdigheid die de grap mogelijk maakt.
De Wilde Verbeeldingskracht (Hierarchical Imaginator): Zodra het conflict is gevonden, gaat deze agent op een creatieve jacht. Hij neemt het vreemde object (de gigantische kop) en bouwt een boom van associaties. Hij kan denken: Kop → Koffie → Melk → Koe. Maar hij gokt niet zomaar; hij controleert een enorme database van echte menselijke grappen om te zien welke verbindingen daadwerkelijk grappig landen. Hij snoeit de saaie ideeën weg en houdt de ideeën over die de meeste "humorpotentie" hebben.
De Punchline-schrijver (Caption Generator): Ten slotte neemt deze agent het conflict, de boom van de wilde verbeelding en de scènebeschrijving en schrijft de eigenlijke bijschrift. Hij combineert alle aanwijzingen in een korte, gevatte zin die de absurditeit uitlegt.

Het artikel stelt vast dat deze teambenadering aanzienlijk beter werkt dan een enkele AI die alles tegelijk probeert te doen. Wanneer getest op duizenden echte cartoon-bijschriften uit de New Yorker (een beroemd tijdschrift dat bekend staat om zijn grappige tekeningen), presteerde HOMER consequent beter dan andere top AI-modellen. Sterker nog, gemiddeld waren de bijschriften van HOMER ongeveer 7% vaker in staat om te winnen van door mensen geschreven bijschriften vergeleken met de op één na beste methode.

De auteurs pleiten tegen het idee dat het simpelweg laten "harder nadenken" of "meer redeneren" van een AI (zoals het gebruiken van complexe stapsgewijze logische ketens) genoeg is om humor te genereren. Ze laten zien dat zonder een specifieke gids over hoe humor werkt (zoals het zoeken naar script-tegenspraken) en zonder een gestructureerde manier om creatieve ideeën te verkennen, AI de neiging heeft om bijschriften te produceren die logisch zijn, maar niet echt grappig. Door het proces onder te verdelen in deze specifieke, door theorie gedreven stappen, creëert HOMER bijschriften die origineler en oprecht amusanter aanvoelen, wat bewijst dat je soms, om grappig te zijn, een beetje structuur en een hoop verbeeldingskracht nodig hebt.

Technische Samenvatting: HOMER – Een Conflict-Script Gebaseerd Multi-Role Framework voor Humoristische Bijschriftgeneratie

Probleemdefinitie

Het artikel behandelt de uitdaging van multimodale humorgeneratie, specifiek de taak van het genereren van grappige bijschriften voor afbeeldingen (bijv. cartoons). Hoewel Large Language Models (LLMs) hebben gedemonstreerd over capaciteiten in visueel begrip en redeneren, worstelen ze vaak met de creativiteit, originaliteit en diepe logische redenering die nodig zijn voor echte humor. Bestaande benaderingen die vertrouwen op generieke prompting, zelfverbetering via redeneerketens (bijv. Chain-of-Thought), of taakspecifieke tuning, leggen vaak slechts oppervlakkige humoristische taal vast in plaats van de onderliggende logische structuren van humor. Bijgevolg produceren deze modellen vaak bijschriften die semantisch accuraat zijn, maar die de kwaliteit van de "punchline", interpreteerbaarheid en creatieve verbeeldingskracht missen die nodig zijn om menselijk niveau van humor te evenaren.

Methodologie: HOMER Framework

De auteurs stellen HOMER voor (Humor-Theory-Driven Multi-Role LLM Collaboration Framework augmented with Humor Retrieval). Het framework is geworteld in de General Theory of Verbal Humor (GTVH), die humor modelleert via vijf kennisbronnen: script-tegenspraak (script opposition), situatie, doelwit (target), narratieve strategie en taal. HOMER operationaliseert deze theorie via drie gecoördineerde LLM-gebaseerde rollen:

1. Conflicting-Script Extractor

Deze module analyseert de invoerafbeelding om twee kritieke componenten af te leiden:

Situatiebeschrijving ( $D$ ): Een gedetailleerde contextuele achtergrond inclusief locatie, personages, expressies en acties.
Conflicting Scripts ( $C$ ): De kern van het humormechanisme. De extractor identificeert paren van contrasterende of incongruente semantische kaders (scripts) binnen de situatie (bijv. "normale koffiekopjes" vs. "oversized kopjes"). Deze script-tegenspraak vestigt de verwachtingsschendingslogica die essentieel is voor humor.

2. Hierarchical Imaginator

Zodra de humoristische fundering ( $D$ en $C$ ) is vastgesteld, identificeert deze module sleutelentiteiten als humortargets en breidt het de creatieve ruimte uit via een tweeledige aanpak:

Deep-Pattern Imagination (Backbone Chains): De LLM voert multi-view vrije associaties uit (lokale en globale views) om logische ketens van gerelateerde entiteiten te genereren (bijv. koffiekopjes $\to$ melk $\to$ koe). Deze ketens vormen de ruggengraat van "imaginatiebomen".
Broad-Pattern Imagination (Retrieval-Augmented): Om repetitieve of beperkte outputs te voorkomen, haalt het framework relevante grappen op uit een gecureerde database van 335.570 one-liners. Het construeert queries gebaseerd op de backbone-entiteiten en de humoristische context.
HOMER-Pruning: Een scoringsmechanisme filtert de opgehaalde entiteiten om hoogwaardige imaginatie te waarborgen. De score $H(e, \varepsilon)$ $H (e, ε)$ combineert drie factoren:
1. Relevance-Opposition ( $H_{rel}$ ): Balanceert semantische gelijkenis met conceptuele tegenspraak (incongruentie) met behulp van WordNet-relaties.
2. Humor-Frequency ( $H_{freq}$ ): Prioriteert entiteiten die frequent voorkomen in relevante grappen.
3. POS-Diversity ( $H_{div}$ ): Moedigt lexicale ambiguïteit aan (bijv. woorden met meerdere woordsoorten) om woordspelingen te faciliteren.

3. Caption Generator

De laatste module synthetiseert de situatiebeschrijving, de conflicterende scripts en een gekozen pad uit de imaginatieboom. Het construeert een prompt $\Phi(C, D, P_i, \Omega)$ die de vijf GTVH-kennisbronnen incorporeert (inclusief narratieve strategie en linguïstische stijlopties) om het uiteindelijke grappige bijschrift te genereren.

Belangrijkste Bijdragen

Theorie-gestuurd Mechanisme: In tegenstelling tot eerdere methoden die vertrouwen op heuristische redenering, modelleert HOMER de humorgeneratie expliciet met behulp van het GTVH-framework, wat een interpreteerbaar, stapsgewijs proces biedt van script-tegenspraak tot bijschriftgeneratie.
Multi-Role Samenwerking: Het framework deelt de complexe taak op in gespecialiseerde rollen (Extractie, Imaginatie, Generatie), wat gerichte controle mogelijk maakt over de humoristische logica en materialen.
Retrieval-Augmented Imaginatie: De introductie van een "hierarchical imaginator" die LLM-gestuurde diepe associaties combineert met humor-relevante retrieval uit een grote grapdatabase, vergroot de creatieve ruimte aanzienlijk buiten de intrinsieke kennis van het model.
Kwantitatieve Scoring voor Humor: Het voorstel van de $H(e, \varepsilon)$ scoringsfunctie biedt een principieel methoden om associaties te filteren en te selecteren op basis van relevantie, tegenspraak, frequentie en diversiteit.

Experimentele Resultaten

Het framework werd geëvalueerd op twee New Yorker Cartoon benchmark datasets: Humor in AI en Electronic Sheep.

Prestaties: HOMER presteerde significant beter dan state-of-the-art baselines (inclusief HumorousAI, CLoT, LoL en Phunny) en geavanceerde redeneerstrategieën (CoT, Few-shot, Self-consistency).
- Op de Humor in AI dataset (Top 10 groep), behaalde HOMER een pass@1 van 66,41%, een verbetering van ~6,9% ten opzichte van de beste baseline (HumorousAI op 62,11%).
- Op de Electronic Sheep dataset (High-Humor groep), behaalde HOMER een pass@1 van 75,53%, een verbetering van ~12,1% ten opzichte van de beste baseline.
Menselijke Evaluatie: In een studie met 12 beoordelaars die de methoden scoorden, kreeg HOMER de hoogste gemiddelde humorrating (3,54/5,0 op Humor in AI en 3,31/5,0 op Electronic Sheep), waarmee het alle baselines overtrof.
Ablatie-studies: Het verwijderen van een van de drie kernmodules (Situatiebeschrijving, Conflicting Scripts of Imagination Trees) resulteerde in een prestatievermindering, wat de noodzaak van het volledige framework bevestigt. De "Relevance-Opposition" score werd geïdentificeerd als bijzonder cruciaal.
Generalisatie: De methode demonstreerde robuuste generalisatie op een aparte Meme-dataset (ImgFlip), waarbij het concurrenten met gemiddeld ~5,4% versloeg.
Veiligheid: Toxiciteitsdetectie met Detoxify toonde verwaarloosbare schadelijke inhoud (som van toxiciteitsscores < 0,03), wat aangeeft dat het framework veilige bijschriften genereert.

Betekenis en Claims

Het artikel claimt dat HOMER een veelbelovend pad biedt voor theorie-gegronde multimodale humorgeneratie. De primaire betekenis ligt in de verschuiving van het paradigma van "black-box" redeneren naar een interpreteerbaar, modulair framework dat expliciet gebruikmaakt van humortheorie. Door humorgeneratie op te splitsen in scriptextractie, imaginatieve expansie en gestructureerde synthese, laten de auteurs zien dat het mogelijk is om een hogere creativiteit en originaliteit te bereiken dan huidige LLM's door middel van louter prompting kunnen produceren. De resultaten suggereren dat het integreren van externe humoristische kennis (via retrieval) en gestructureerde theoretische begeleiding (via GTVH) essentieel is om de beperkingen van de inherente humormechanismen van LLM's te overwinnen. De auteurs blijven bescheiden en merken op dat het framework nog steeds moeite heeft met puur formele of niet-humoristische afbeeldingen waar script-tegenspraak moeilijk te detecteren is, waarmee ze erkennen dat humor een uitdagend domein blijft voor AI.