lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation
Dit artikel presenteert een met de eerste plaats beloonde systeem voor SemEval-2026 Taak 1 (MWAHAHA) dat de publieksafhankelijke aard van humor aanpakt door een "genereer-veel, selecteer-beste" strategie te hanteren, waarbij een diverse pool van kandidaten wordt gerangschikt door een preferentiemodel dat is getraind op menselijke paarwijze oordelen in plaats van absolute grappigheidsscores.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een eigenaar van een comedyclub bent die probeert de grappigste grap voor vanavond te kiezen. Je hebt een duizend grappen geschreven door een supersnelle robot, maar je weet dat wat de één aan het lachen maakt, de ander de ogen kan laten rollen. Het papier dat je leest is een rapport over hoe de auteurs een systeem hebben gebouwd om precies dit probleem op te lossen voor een computerwetenschappelijke wedstrijd genaamd SemEval-2026 Task 1 (bijnaam MWAHAHA).
Hier is het verhaal van hoe ze het deden, onderverdeeld in eenvoudige stappen:
1. Het Probleem: "Grappig" is subjectief
De auteurs wijzen erop dat een computer leren om grappig te zijn moeilijk is, niet omdat de computer geen woorden kan schrijven, maar omdat "grappig" subjectief is.
- Het Publieksprobleem: Een grap die scoort in Berlijn kan volledig doodslaan in Beijing. Zelfs mensen kunnen het niet eens worden over wat grappig is; als je 10 mensen vraagt om een grap te beoordelen, zullen ze 10 verschillende scores geven.
- Het Robotprobleem: Computers zijn geweldig in het onthouden. Als je een robot vraagt om een grap te vertellen, herhaalt hij vaak gewoon dezelfde 25 grappen die hij uit zijn hoofd kent, zoals een papegaai die een gevleugelde uitspraak herhaalt. Hij worstelt ermee om echt iets nieuws te bedenken.
2. De Strategie: "Pijlen gooien en dan de roos raken"
In plaats van te proberen de computer in één keer de perfecte grap te laten schrijven, gebruikten de auteurs een tweestapsstrategie: Genereer veel, selecteer dan de beste.
Stap 1: De "Grapfabriek" (Generatie)
Ze richtten een fabriek op die voor elke enkele prompt 50 verschillende grappen uitspuugt. Ze gebruikten een mix van verschillende AI-modellen (zoals een team van verschillende comedians) en dwongen hen om creatief te zijn, zodat ze niet gewoon de oude grappen zouden kopiëren en plakken. Ze zorgden er ook voor dat de grappen de regels volgden (zoals het bevatten van specifieke woorden of het binnen een bepaalde lengte blijven).- Analogie: Stel je voor dat je 50 verschillende chefs vraagt om een burger te maken. Sommigen maken hem pittig, anderen zoet, anderen vreemd. Je hebt nu een enorme stapel burgers.
Stap 2: De "Proever" (Selectie)
Nu moesten ze een manier vinden om de winnaar uit die stapel van 50 te kiezen. Omdat mensen niet elke grap in realtime kunnen beoordelen, bouwden ze een Preferentiemodel.- In plaats van de computer te vragen: "Is deze grap grappig?" (wat vaag en verwarrend is), vroegen ze: "Tussen Grap A en Grap B, welke is beter?"
- Ze trainden dit model op ongeveer 2.500 menselijke stemmen waarbij mensen twee grappen vergeleken en een winnaar kozen. Dit is als het trainen van een rechter door hem duizenden "A vs. B"-wedstrijden te laten zien, totdat de rechter de smaak van het publiek leert kennen.
3. Het Geheime Ingrediënt: Het "Humor Receptenboek"
Om hun "Proever" slimmer en makkelijker te begrijpen te maken, lieten ze de computer niet gewoon gokken. Ze creëerden een "Humor Basis"—een korte lijst van 17 specifieke "smaken" van humor.
- Denk hierbij aan een kruidenrek. De smaken kunnen "Zwarte Humor", "Woordspelingen", "Overdrijving" of een "Onverwachte Wending" zijn.
- Wanneer de computer naar een grap kijkt, zegt hij niet alleen "Goed" of "Slecht". Hij controleert de grap tegen het kruidenrek: Heeft deze een sterke punchline? Gebruikt het woordspelingen? Is het te duister?
- Dit maakt het systeem "interpreteerbaar", wat betekent dat mensen de resultaten kunnen begrijpen en weten waarom de computer een specifieke grap koos (bijv. "Hij koos deze omdat er een geweldige wending in zat, ook al was hij wat kort").
4. De Resultaten: De Wedstrijd Winnen
Ze testten dit systeem op drie verschillende soorten data (Reddit-grappen, professionele grappen en hun eigen nieuwe dataset).
- De Winnaar: Hun "Vergelijk twee grappen"-methode werkte veel beter dan alleen de computer een score te laten geven aan één grap. Het was ook beter in het afhandelen van verschillende talen en culturen dan andere methoden.
- De Trofee: In de eigenlijke wedstrijd (MWAHAHA) behaalde hun systeem de 1e plaats in het Engels en Chinees, en de 2e plaats in het Spaans.
5. De Belangrijkste Conclusie
De paper concludeert dat de toekomst van computerhumor niet gaat over het laten schrijven van betere grappen vanuit het niets door de robot. De robot is al goed in het schrijven van veel grappen. De echte uitdaging is het kiezen van de juiste.
De auteurs stellen dat als we willen dat computers grappig zijn, we moeten stoppen met het meten van "grappig" als een enkel getal en ons moeten richten op voorkeuren—het begrijpen van wat specifieke publieken leuk vinden door opties te vergelijken, net zoals wij beslissen welke film we willen kijken of welk nummer we willen afspelen.
Kortom: Ze bouwden een systeem dat een enorm buffet aan grappen genereert en een slimme, getrainde "proever" gebruikt om het gerecht te kiezen waar het publiek het meest van zal houden, waarbij ze de wedstrijd wonnen door te begrijpen dat humor draait om de voorkeur van het publiek, niet alleen om de grap zelf.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.