Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

Een computer een grap laten vertellen is een van de meest misleidend moeilijke taken in kunstmatige intelligentie. Het vereist meer dan alleen het samenvoegen van woorden die de regels van de grammatica volgen; de machine moet de subtiele, vaak onzichtbare regels van de menselijke cultuur, timing en verwachting begrijpen. Een grap die werkt in de ene stad kan in een andere stad doodslaan of zelfs aanstootgevend zijn, en wat voor de één grappig voelt, kan voor een ander verwarrend zijn. Jarenlang hebben onderzoekers geprobeerd systemen te bouwen die humor kunnen genereren, bewegend van eenvoudige op regels gebaseerde programma's die woorden verwisselden naar complexe, moderne systemen die leren van enorme hoeveelheden tekst. Maar naarmate deze systemen krachtiger zijn geworden, is er een nieuw probleem ontstaan: hoewel de computers beter worden in het schrijven van grappen, wordt het fundament waarop ze staan steeds moeilijker te zien. We weten niet of de data waar ze van hebben geleerd werkelijk de mensen vertegenwoordigen die ze moeten vermaken, of dat de tests die ze beoordelen daadwerkelijk meten wat we denken dat ze meten.

Een recente systematische enquête door onderzoekers van de King Mongkut's University of Technology Thonburi werpt een kritisch licht op dit verborgen fundament. Het team onderzocht vierentwintig studies gepubliceerd tussen 2020 en 2026, een periode die een enorme verschuiving zag in de manier waarop computers worden geleerd om humor te creëren. Ze keken niet alleen naar de grappen die de machines produceerden; ze volgden de volledige levenscyclus van het onderzoek, van de ruwe data die werd gebruikt om de modellen te trainen tot de methoden die werden gebruikt om te bepalen of een grap daadwerkelijk grappig was. Hun doel was om vast te stellen of de middelen die beschikbaar zijn voor wetenschappers werkelijk openstaan voor anderen om te gebruiken, of de data de grote variëteit aan menselijke culturen beslaat, en of de manier waarop we deze systemen testen betrouwbaar is. Wat ze vonden was een veld in snelle transitie, waarbij de technologie de transparantie en de strengheid heeft ingehaald die nodig zijn om het te ondersteunen.

Het landschap van humorgeneratie is in slechts enkele jaren drastisch veranderd. In het verleden vertrouwden onderzoekers op specifieke, handmatig vervaardigde regels of kleine datasets die ontworpen waren voor één specifiek type grap, zoals een woordgrap of een koptekst. Tegenwoordig wordt het veld gedomineerd door grote taalmodellen, wat enorme computerprogramma's zijn die getraind zijn op enorme hoeveelheden tekst van het internet. Deze modellen kunnen tekst genereren in veel talen en stijlen, en ze kwamen voor in drieënzeventig procent van de onderzochte studies. In plaats van een programma te schrijven om een specifieke grap te vertellen, geven onderzoekers deze modellen nu vaak een eenvoudige instructie, of prompt, waarin ze wordt gevraagd grappig te zijn. Deze flexibiliteit heeft geleid tot een golf van nieuwe experimenten, waarbij het aantal studies scherp steeg na 2023. Deze verschuiving heeft echter een nieuw soort ondoorzichtigheid gecreëerd. Omdat de kennis van humor nu verspreid is over de interne instellingen van het model, de instructies die eraan worden gegeven en de data die het model ophaalt tijdens de generatie, is het vaak onmogelijk om precies te zeggen waar de humor vandaan komt of op welke specifieke culturele context het zich baseert.

Een van de meest opvallende bevindingen van de enquête is dat, ondanks de overvloed aan data, het ongelooflijk moeilijk is om deze te vinden, te hergebruiken of te verifiëren. De onderzoekers controleerden de beschikbaarheid van de datasets en middelen die in deze vierentwintig studies zijn gecreëerd en ontdekten dat slechts achtentwintig procent publiekelijk beschikbaar was voor anderen om te gebruiken. Nog zorgwekkender was dat slechts één studie expliciet de juridische licentie noemde die bepaalt hoe de data gebruikt mag worden. In de wereld van wetenschappelijk onderzoek is dit als het publiceren van een recept maar weigeren de ingrediënten of de regels voor het delen van het gerecht te vermelden. Wanneer de onderzoekers naar de weinige middelen keken die wel werden vrijgegeven, ontdekten ze dat geen van deze middelen een permanente, onveranderlijke locatie op het internet had, een zogenaamde persistente identifier. Dit betekent dat links naar de data kunnen breken, en zodra een link breekt, is de data effectief verloren. Zonder duidelijke licenties en stabiele locaties kunnen andere wetenschappers de resultaten niet reproduceren of voortbouwen op het werk, wat de voortgang vertraagt en het moeilijk maakt om te weten of een systeem echt effectief is of gewoon geluk heeft gehad.

De enquête onthulde ook een aanzienlijke kloof tussen de talen die gesproken worden door de mensen die de systemen bedoeld zijn te dienen en de talen die worden gebruikt om ze te bouwen. Meer dan de helft van de studies richtte zich uitsluitend op het Engels, ook al beweerden de onderzoekers dat hun systemen in verschillende culturen konden werken. Hoewel er studies waren met betrekking tot het Chinees, Spaans, Japans en andere talen, vertrouwden veel van deze op het vertalen van Engelse grappen in plaats van het verzamelen van humor die natuurlijk door moedertaalsprekers is gecreëerd. Dit is een cruciaal onderscheid, omdat humor diep geworteld is in cultuur; een grap die leunt op een specifieke historische gebeurtenis of een lokale gewoonte kan niet simpelweg vertaald worden om elders te werken. De onderzoekers ontdekten dat slechts vier studies direct evalueerden of de gegenereerde humor cultureel gepast was, door gebruik te maken van beoordelaars die daadwerkelijk tot de doelgemeenschap behoorden. In de meeste andere gevallen gingen onderzoekers ervan uit dat als een moedertaalspreker het grappig vond, het cultureel veilig was, zonder daadwerkelijk te testen op specifieke culturele gevoeligheden of tradities.

Wanneer het gaat om het beoordelen of een computer er succesvol in is geslaagd een grap te vertellen, zijn de gebruikte methoden vaak inconsistent en soms misleidend. De gouden standaard voor het meten van humor is altijd menselijk oordeel geweest, en de enquête bevestigde dat menselijke evaluatie nog steeds de meest gebruikte methode is, toegepast in vierentachtig procent van de studies. De manier waarop deze evaluaties echter worden uitgevoerd, varieert enorm. Sommige studies gebruiken een kleine groep studenten, terwijl andere professionele komieken of grote groepen online werkers gebruiken. Minder dan veertig procent van de studies rapporteerde het gebruik van statistische tests om te garanderen dat hun resultaten geen toevalstreffer waren, en veel legden niet uit hoe ze besloten of een grap grappig was of niet. In een poging om zaken te versnellen, zijn sommige onderzoekers begonnen met het gebruiken van andere computermodellen om als rechter op te treden, maar de enquête vond dat deze geautomatiseerde rechters vaak van mening verschillen met mensen. Ze kunnen een reactie als grappig beoordelen omdat het nieuw of verrassend is, zelfs als een mens het verwarrend of aanstootgevend zou vinden. Dit creëert het risico dat systemen worden geoptimaliseerd om andere computers te plezieren in plaats van om echte mensen te vermaken.

De onderzoekers concludeerden dat het belangrijkste obstakel in het veld niet langer een gebrek aan data is, maar eerder de moeilijkheid om de data die al bestaat te vinden, te hergebruiken en te verifiëren. De verschuiving naar krachtige, algemene modellen heeft de noodzaak voor hoogwaardige, goed gedocumenteerde bronnen niet weggenomen; het heeft die bronnen juist nog belangrijker gemaakt. Om vooruit te komen, moet het veld betere praktijken voor het delen van data adopteren, inclusief duidelijke licenties, permanente links en gedetailleerde beschrijvingen van hoe de data is verzameld en geannoteerd. Het allerbelangrijkste is dat onderzoekers ervoor moeten zorgen dat hun evaluaties overeenkomen met de claims die ze maken. Als een systeem bedoeld is om grappig te zijn voor een specifieke culturele groep, moet het worden getest door mensen uit die groep, met criteria die hun waarden en tradities weerspiegelen. Totdat deze fundamenten worden versterkt, zal de vooruitgang in het laten vertellen van grappen door computers onzeker blijven, met winsten die mogelijk eerder de eigenaardigheden van de testmethoden weerspiegelen dan een werkelijk begrip van menselijke humor.