💬 NLP

Re-defining Humor Data Objects for AI Humor Research

Dit artikel herdefinieert humor in AI-onderzoek als een contextafhankelijke sociale interactie door een verbeterde prompting-strategie voor LLM's te ontwikkelen om hoogwaardige humorverklaringen te genereren, waardoor een schaalbare dataset voor datasynthese wordt gecreëerd en het begrip van humor als sociaal gedrag wordt bevorderd.

Oorspronkelijke auteurs: Anna Arnett, Bang Nguyen, Meng Jiang

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Anna Arnett, Bang Nguyen, Meng Jiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe een grap te begrijpen. Lange tijd behandelden onderzoekers humor als een simpele lichtschakelaar: of de grap was "aan" (grappig) of "uit" (niet grappig). Ze keken alleen naar de tekst en vroegen: "Is dit een grap? Ja of Nee?"

Maar de auteurs van dit paper betogen dat humor geen lichtschakelaar is; het is meer als een live theatervoorstelling. Je kunt een toneelstuk niet begrijpen door alleen het script te lezen; je moet weten wie de acteurs zijn, wat het publiek doet, en wat er net voor de clou is gebeurd.

Hier is een eenvoudige uiteenzetting van wat ze deden, met behulp van alledaagse analogieën:

1. Het Probleem: Het "Blinde" Script

De onderzoekers begonnen met een stapel transcripties van grappige momenten (zoals TED Talks of sitcoms). Ze merkten een groot probleem op: de tekst miste vaak de belangrijkste onderdelen.

De Analogie: Stel je voor dat je een transcriptie leest van een goochelshow die alleen zegt: "De goochelaar zwaait met zijn hand. Het publiek lacht."
- Als je de robot bent, denk je misschien: "Oké, met handen zwaaien is grappig."
- Maar in werkelijkheid lachte het publiek omdat de goochelaar een konijn uit een hoed haalde, of omdat hij een gek gezicht trok. De transcriptie vertelde je dat niet.
- De oude manier van werken dwong de AI om te raden (of te "hallucineren") wat er gebeurd was, vaak met verkeerde resultaten.

2. De Oplossing: Een Nieuwe "Grappige Rapportkaart"

In plaats van een grap simpelweg te labelen als "grappig", bedacht het team een nieuwe manier om humor te beschrijven, die ze een Humor Reasoning Data Object noemen. Denk hierbij aan een gedetailleerde Grappige Rapportkaart met vijf specifieke secties:

De Opbouw (Context): Wat gebeurde er voordat de grap werd verteld?
De Clou (Poging): Wat zei de persoon eigenlijk?
De Reactie: Lachte het publiek (1) of bleef het stil (0)?
De Uitleg: Waarom lachten ze? (Dit is het belangrijkste nieuwe onderdeel).
De "Redding" (Herstel): Als de grap flopte, hoe repareerde de persoon het dan? (bijv. "Oeps, mijn fout," of het onderwerp veranderen).

3. Het Experiment: De AI Leren "Te Denken"

Het team gebruikte een Large Language Model (een geavanceerde AI) om deze Rapportkaarten in te vullen. Ze probeerden twee verschillende manieren om de AI dit te laten doen:

Prompt 1 (De Optimist): Ze vroegen de AI: "Hier is de tekst. Leg uit waarom dit grappig is."
- Het Resultaat: De AI deed haar best, maar wanneer de tekst aanwijzingen miste (zoals een visuele aanwijzing of een culturele referentie), verzon de AI verhalen om de gaten op te vullen. Het was alsof een student het antwoord op een toets raadt omdat hij de vraag niet goed heeft gelezen.
- Succespercentage: Slechts ongeveer 55% van de uitleg was goed.
Prompt 2 (De Scepticus): Ze veranderden de instructies. Ze vertelden de AI: "Voordat je uitlegt, controleer of de tekst daadwerkelijk genoeg informatie bevat. Als de tekst een afbeelding, een gebaar of een belangrijk detail mist, geef het toe en zeg dat de uitleg onmogelijk is."
- Het Resultaat: De AI werd veel slimmer. Ze stopte met dingen verzinnen. Als het transcript een visuele aanwijzing miste, markeerde ze de data als "gebroken" in plaats van een nepreden te bedenken.
- Succespercentage: Dit steeg naar 87% correcte uitleg.

4. De Grote Overwinning: Schaalvergroting

Zodra ze de instructies (de "Prompt") hadden gecorrigeerd, gebruikten ze de AI om 307 nieuwe, hoogwaardige grap-uitleggingen te genereren.

Waarom dit belangrijk is: Ze hebben niet alleen de AI gerepareerd; ze hebben een nieuwe dataset gecreëerd. Dit is alsof je een enorme bibliotheek bouwt van "Grappige Rapportkaarten" die niet alleen de grap bevat, maar ook de redenering erachter en een waarschuwingslabel als de tekst te rommelig was om te begrijpen.
De Kernboodschap: Het paper bewijst dat je geen slimmere robot nodig hebt om humor beter te begrijpen; je moet de robot alleen de juiste vragen stellen. Door de AI te dwingen haar eigen werk te controleren en toe te geven wanneer informatie ontbreekt, schoot de kwaliteit van de humor-uitleggingen omhoog.

Samenvatting

Het paper is in wezen een handleiding over hoe je AI moet stoppen met "dingen te verzinnen" bij het uitleggen van grappen. Door humor te behandelen als een complexe sociale interactie (met context, reacties en uitleg) in plaats van een simpele "ja/nee"-label, en door de AI strikte regels te geven om te volgen, creëerden ze een veel betrouwbaardere manier om te bestuderen hoe machines menselijk gelach begrijpen.

Technische Samenvatting: Herdefiniëren van Humordata-objecten voor AI-onderzoek naar Humor

Probleemstelling

Bestaand AI-onderzoek naar humor behandelt humor voornamelijk als een binaire classificatietaken ("aanwezig" of "niet aanwezig") op basis van tekstuele objecten. Deze aanpak negeert de psychologische definitie van humor als sociaal gedrag dat interactie, context en uitleg omvat. Huidige datasets missen doorgaans de rijke structurele elementen die nodig zijn om te begrijpen waarom humor slaagt of faalt, zoals de betrokken sociale rollen (verteller versus ontvanger), de specifieke redenering achter een reactie, of herstelstrategieën voor mislukte pogingen. Bovendien vertrouwen bestaande humordatasets vaak op transcripties van multimodale bronnen (bijvoorbeeld TED-talks, sitcoms) die cruciale visuele aanwijzingen, timing of voordracht weglaten, wat leidt tot een onvolledige context voor AI-modellen.

Methodologie

De auteurs stellen een herdefinitie van het "humor"-data-object voor en een pijplijn voor het genereren van gestructureerde humorredeneringsdata met behulp van Large Language Models (LLM's).

1. Het Humordata-object

Het paper definieert een humordatapunt als een vijftal $(C, X; Y, R; Z)$ :

$C$ (Context): Sociaal dialoog of voorafgaande context.
$X$ (Poging): De humoristische uiting of punchline van de verteller.
$Y$ (Reactie): Een binaire label die aangeeft of de ontvanger humor ervoer ($1$) of niet ($0$).
$R$ (Redenering): De uitleg van de ontvanger voor de reactie, met details over waarom de humor slaagde of faalde.
$Z$ (Herstel): De reactie van de verteller op een mislukte poging (bijvoorbeeld een verontschuldiging, afleiding), gemarkeerd als 'n.v.t.' als $Y=1$ .

Het voorlopige werk richtte zich voornamelijk op het genereren van $R$ (de uitleg).

2. Datasetconstructie en Promptiteratie

De onderzoekers maakten gebruik van bestaande datasets met waarneembare reacties, specifiek de SMILE-dataset (TED+sitcoms). Ze extraheerden lokale tekstuele context ( $C$ ), de kandidaat-punchline ( $X$ ) en de waargenomen reactie ( $Y$ ).

Om de redenering ( $R$ ) te genereren, hanteerde het team een iteratieve promptstrategie met een LLM (basismodel: gpt-4o-mini):

Prompt 1 (Initieel): Vroeg het model om een gestructureerde JSON-uitvoer te genereren met stap-voor-stap redenering, een causaal flowchart, een uiteindelijke uitleg en een hallucinatievlag. Deze prompt ging ervan uit dat de tekst voldoende was en dwong vaak een uitleg af, zelfs wanneer de context ontbrak.
Prompt 2 (Herzien): Ontwikkeld na handmatige beoordeling van 31 voorbeelden die aanzienlijke fouten blootlegden. Deze prompt vereiste expliciet dat het model:
1. Beoordeelde of het transcript alleen voldoende was om de humoruitleg te ondersteunen.
2. Datakwaliteitsproblemen markeerde, zoals ontbrekende context, uitlijningsfouten of multimodale afhankelijkheid.
3. Geen hallucinaties van uitleg produceerde wanneer de tekst ontoereikend was.

3. Evaluatie en Schaalvergroting

Het team evalueerde handmatig de output van beide prompts tegen dezelfde 31 voorbeelden. Criteria voor evaluatie waren grondigheid (afhankelijkheid van $C$ en $X$ ), volledigheid, identificatie van het ware humormechanisme en de afwezigheid van niet-onderbouwde feiten. Na het succes van Prompt 2 schaalde het team het generatieproces op om een dataset van 307 uitlegvoorbeelden te produceren.

Belangrijkste Resultaten

Promptverbetering: Handmatige evaluatie op de testset van 31 voorbeelden toonde een aanzienlijke verbetering met de herziene prompt.
- Prompt 1: 17/31 outputten waren acceptabel; 14 waren onjuist.
- Prompt 2: 27/31 outputten waren acceptabel; slechts 4 waren onjuist.
Foutanalyse: De initiële mislukkingen werden gecategoriseerd in vier types:
1. Onvolledige Context: Het transcript miste achtergrondinformatie die nodig was om de grap te begrijpen.
2. Onverklaarde Naamwoorden: Het model slaagde er niet in om verwijzingen naar de echte wereld uit te leggen (bijvoorbeeld "FedEx-dagen").
3. Multimodale Afhankelijkheid: De humor leunde op visuele aanwijzingen, gebaren of timing die niet in de tekst aanwezig waren.
4. Onbetrouwbare Transcripties: Foutief getranscribeerde woorden of verkeerd uitgelijnde gelachmarkers leidden tot oncoherente uitleggen.
Schaalvergroting: De herziene prompt genereerde succesvol 307 gestructureerde datapunten. Cruciaal is dat het de neiging verminderde om uitleggen te hallucineren wanneer de brontekst gebrekkig was, en in plaats daarvan de ontoereikendheid van de data markeerde.
Automatische Optimalisatie: Een experiment met DSPy/GEPA voor automatische promptoptimalisatie leverde geen prestatiewinst op boven handmatige verfijning, wat suggereert dat door mensen ingegeven foutanalyse de primaire drijvende kracht van verbetering was.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen aan het veld van AI-onderzoek naar humor:

Herdefinitie van Data-objecten: Voorbijgaan aan binaire labels naar een gestructureerd vijftal dat humor vastlegt als sociale interactie die context, poging, reactie, redenering en herstel omvat.
Schaalbare Datasyntese: Aantonen dat goed ontworpen LLM-prompts kunnen worden gebruikt om grootschalige, gestructureerde humorredeneringsdata te genereren, zelfs vanuit imperfecte brontranscripties. Dit biedt een methode voor dataaugmentatie en -syntese.
Omgaan met Multimodaliteit en Context: Vaststellen dat effectieve generatie van humoruitleg vereist dat het model expliciet de tekstvolledigheid beoordeelt en multimodale afhankelijkheden markeert, in plaats van een uitleg af te dwingen.
Fundering voor Toekomstig Werk: De gegenereerde dataset en het gedefinieerde data-object vormen een basislijn voor toekomstig onderzoek in humorbegrip, datasyntese en de ontwikkeling van sociaal bewust AI-modellen.

De auteurs houden een bescheiden standpunt, waarbij zij opmerken dat de dataset van 307 voorbeelden een voorlopige bron is in plaats van een gouden standaard, en dat toekomstig werk nodig is om de kwaliteit van uitleggen systematisch te evalueren over verschillende faalmodi heen en om de bruikbaarheid van de dataset bij het trainen van humorgeneratiemodellen te verkennen.