Dark & Stormy: Modeling Humor in Sentences from the Bulwer-Lytton Fiction Contest

Probleemstelling

Bestaande computationele studies naar humor en humorherkenningsmodellen zijn grotendeels gefocust op bekende vormen zoals satirische koppen, woordgrappen (puns) en korte grappen. Deze modellen presteren vaak slecht op andere, minder onderzochte vormen van tekstuele humor. Specifiek ontbreekt er een diepgaand begrip van "opzettelijk slechte humor" (intentionally bad humor). Dit type humor, waarbij de tekst bewust onleesbaar, overdreven of stilistisch mislukt is om grappig te zijn, wordt niet goed gevangen door huidige datasets en modellen. Het paper introduceert de Bulwer-Lytton Fiction Contest (BLFC) als een bron voor dit type humor: een wedstrijd waarbij deelnemers de "slechtste openingszin voor de slechtste roman ooit" moeten schrijven.

Methodologie

De auteurs hebben een nieuwe dataset samengesteld en geanalyseerd door de volgende stappen te doorlopen:

1. Dataverzameling:

   • Menselijke data: Alle inzendingen van de BLFC tussen 1996 en 2024 werden gescrapt, resulterend in een dataset van 1.778 zinnen (BL-dataset).
   • Synthetische data: Verschillende Large Language Models (LLM's) – waaronder GPT-5, DeepSeek-V3.1, GPT-4.1 en gpt-oss-120b – kregen een "one-shot" prompt om zinnen in de stijl van de BLFC te genereren (1.000 zinnen per model).
   • Basislijnen (Baselines): Ter vergelijking werden andere datasets gebruikt: openingszinnen van romans (novel-openings), een samengestelde humordataset (combo-humor) en grappen over woordgrappen (PotD).

2. Analyse van Humorherkenning:

   • Bestaande humorherkenningsmodellen (o.a. een op RoBERTa gebaseerd model en een pun-detectiemodel) werden getest op de BL-zinnen.
   • De resultaten werden gevisualiseerd via histogrammen van de voorspelde humor-scores.

3. Stijl- en Device-analyse:

   • Een prompt-gebaseerd framework (geïnspireerd op TopicGPT) werd gebruikt om literaire figuren (zoals metafoor, ironie, metafiction, vergelijking/simile) automatisch te extraheren uit de zinnen.
   • De auteurs gebruikten een "intruder task" met menselijke annotatoren om de kwaliteit van deze geëxtraheerde labels te valideren.

4. Incongruïteitsanalyse (Surprisal & Novelty):

   • Surprisal: De auteurs analyseerden de verdeling van tokens met een hoge "surprisal" (lage waarschijnlijkheid) binnen de zinnen, gebruikmakend van het taalmodel gemma-3-1b-pt. Dit meet hoe onvoorspelbaar de tekst is.
   • Novel Adjective-Noun (AN) bigrams: Er werd gekeken naar de frequentie van bijvoeglijk naamwoord-bijvoeglijk naamwoord combinaties in een groot pre-training corpus (DCLM). Zeldzame combinaties worden beschouwd als semantisch afwijkend ("deviant").

Belangrijkste Bijdragen

• Nieuwe Dataset: De creatie van een unieke, geannoteerde corpus van 1.778 menselijk geschreven "opzettelijk slechte" humorzinnen, inclusief metadata over genre en prijs.
• Benchmark voor LLM-generatie: Een uitgebreide vergelijking tussen menselijke BL-zinnen en door LLM's gegenereerde varianten, waarbij de nadruk ligt op stilistische afwijkingen.
• Inzicht in "Slechte Humor": Een technische demonstratie dat "slechte humor" fundamenteel verschilt van traditionele humor in termen van lengte, gebruik van literaire middelen en semantische afwijking.

Resultaten

1. Mislukte Humorherkenning: Bestaande humorherkenningsmodellen presteren slecht op de BL-dataset. De zinnen worden vaak niet als grappig geïdentificeerd en scoren vergelijkbaar met serieuze openingszinnen van romans. Modellen die gespecialiseerd zijn in woordgrappen (puns) herkennen deze ook niet goed in de context van de langere, complexe BL-zinnen.
2. Unieke Literaire Kenmerken: BL-zinnen onderscheiden zich sterk van standaard humordatasets door een overvloed aan:
   • Metafoor (metaphor)
   • Metafiction (het bewust verwijzen naar de fictie zelf)
   • Vergelijkingen (simile)
   • Zeer lange zinnen (gemiddeld 70 tokens vs. ~19 tokens in standaard humor).
3. LLM's Exaggereren de Stijl: Hoewel LLM's de vorm van de humor kunnen nabootsen, overdrijven ze de effecten systematisch:
   • Ze gebruiken literaire middelen (vooral simile en metafoor) veel vaker dan mensen.
   • Ze genereren aanzienlijk meer unieke en zeldzame bijvoeglijk naamwoord-bijvoeglijk naamwoord combinaties (AN bigrams) dan menselijke schrijvers.
   • Er zijn significante verschillen tussen LLM's; bijvoorbeeld, GPT-5 genereert meer zeldzame tokens dan DeepSeek, hoewel DeepSeek de verdeling van surprisal tokens dichter bij de menselijke data houdt.
4. Surprisal Verdeling: In tegenstelling tot satirische koppen waar de humor vaak aan het einde zit, zijn de verrassende (hoge surprisal) tokens in BL-zinnen gelijkmatiger over de hele zin verdeeld.

Betekenis en Conclusie

Dit paper toont aan dat "opzettelijk slechte humor" een complex en onderbelicht fenomeen is in de computationele linguïstiek. Het bewijst dat standaard humormodellen niet generaliseren naar deze domein, omdat de humor hier voortkomt uit stilistische excessen en semantische afwijkingen in plaats van traditionele grappenstructuren.

De studie heeft belangrijke implicaties voor de evaluatie van LLM's: hoewel modellen instructies goed kunnen volgen, hebben ze de neiging om de "stijl" van een taak te overdrijven in plaats van de nuance van menselijke creativiteit te begrijpen. Dit onderstreept de noodzaak van diverse datasets die verder gaan dan standaard grappen, en biedt een nieuwe benchmark voor het testen van het vermogen van AI om complexe, stilistisch gelaagde tekst te genereren en te analyseren.