HumorGen: Cognitive Synergy for Humor Generation in Large Language Models via Persona-Based Distillation

Deze paper introduceert het Cognitive Synergy Framework, dat gebruikmaakt van persona-gebaseerde distillatie en een Mixture-of-Thought-approach om een 7B-parameter model te trainen dat humor genereert en hierbij grotere basismodellen overtreft, wat aantoont dat cognitief gestuurde datacuratie crucieler is dan modelgrootte of uitlijningsalgoritmen.

De kern

Stel je voor dat een kunstmatige intelligentie (een AI) als een zeer slimme, maar extreem saaie bibliothecaris is. Deze bibliothecaris heeft miljoenen boeken gelezen en kan perfect voorspellen welk woord als volgende in een zin hoort. Als je vraagt: "Wat is er gebeurd in de wereld?", geeft hij een perfect, logisch antwoord.

Maar als je vraagt: "Maak een grapje?", faalt hij. Waarom? Omdat grappen maken juist gaat over verrassing en onlogisch gedrag. Een grap moet je verwachten dat het ene gaat gebeuren, en dan gebeurt er iets totaal anders. De AI is echter getraind om altijd de meest waarschijnlijke, veilige en logische keuze te maken. Dat is het exacte tegenovergestelde van een goede grap.

Deze paper, getiteld "HumorGen", lost dit probleem op met een slimme truc. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Veilige Bibliothecaris"

Normaal gesproken leert een AI door te kijken naar wat mensen meestal zeggen. Grappen zijn echter zeldzaam en onvoorspelbaar. Als je een AI vraagt om een grapje te maken, geeft hij vaak een antwoord dat zo veilig is dat het saai is, of hij begint de grap uit te leggen in plaats van hem te vertellen.

• Vergelijking: Het is alsof je een robot vraagt om te dansen, maar hij blijft staan en zegt: "Ik heb de bewegingen berekend, maar dansen is onlogisch."

2. De Oplossing: Het "Cognitieve Synergie"-Team

De onderzoekers (van Carnegie Mellon University in Afrika) hebben een nieuw systeem bedacht. In plaats van één AI te laten nadenken, hebben ze een team van zes verschillende personages (personas) gecreëerd. Elke persoon heeft een heel ander type humor:

1. De Absurdist: Denkt in dromen en onzin (zoals een droom waarin je vliegt maar je schoenen zijn brood).
2. De Cynicus: Is sarcastisch en kijkt naar de hypocrisie in de wereld.
3. De Neurotische: Ziet overal zorgen en paniek in, zelfs in kleine dingen.
4. De Observer: Kijkt naar de alledaagse, rare dingen die we allemaal doen.
5. De Woordkunstenaar: Speelt met taal en woordgrappen.
6. De Optimist: Ziet in elke slechte situatie een grappig, positief kantje.

Hoe het werkt:
Als je een nieuwsbericht geeft (bijvoorbeeld: "Denzel Washington kijkt geen films meer"), laten ze deze zes personages allemaal tegelijk een grap bedenken.

• De Neurotische denkt: "Oh nee, wat als ik ook geen films meer mag kijken?"
• De Absurdist denkt: "Misschien is hij veranderd in een Oscar-beeldje?"
• De Cynicus denkt: "Hij kijkt niet meer omdat de films te slecht zijn."

Dit zorgt voor een enorme variatie aan ideeën, precies waar grappen vandaan komen.

3. De "Leermeester" en de "Leerling"

Nu hebben ze een enorme hoeveelheid grappen gegenereerd. Maar welke zijn de beste?

• De Leermeester (Teacher): Een heel groot, slim AI-model (de "Silver Teacher") beoordeelt alle grappen en geeft ze een score. De leukste grappen worden geselecteerd.
• De Leerling (Student): Een veel kleiner, sneller en goedkoper AI-model (met 7 miljard parameters) wordt getraind op deze beste grappen.

Het resultaat is een klein model dat leert van de beste grappen van de grote modellen, maar dan veel efficiënter.

4. De Grote Ontdekking: Kwaliteit > Grootte

Het meest verrassende resultaat van dit onderzoek is dit:
Het maakt niet uit hoe groot het model is, zolang de data maar goed is.

• Ze hebben geprobeerd om het kleine model nog slimmer te maken met geavanceerde wiskundige technieken (zoals DPO en O-GRPO), maar dat hielp niet echt.
• Ze hebben geprobeerd om het model te laten "nadenken" voordat het de grap vertelt (zoals een mens die eerst nadenkt over een grapje), maar dat leidde tot het "Verklaringen-valstrik". Het model begon de grap uit te leggen ("Hier is waarom dit grappig is...") in plaats van de grap zelf te vertellen. Grappen moeten direct zijn!

Conclusie: Een klein model met uitstekend, divers trainingsmateriaal (gegenereerd door die zes personages) doet het beter dan enorme, dure modellen die niet goed zijn getraind.

Samenvatting in één zin

De onderzoekers hebben bewezen dat je geen supergrote, dure computer nodig hebt om grappig te zijn; je hebt gewoon een slimme manier nodig om een team van verschillende "humor-stijlen" te laten samenwerken, zodat je de beste grappen kunt selecteren en aan een klein, snel model kunt leren.

De les voor de toekomst: Als je wilt dat AI creatief is, moet je niet proberen het model groter te maken, maar je moet de manier waarop het leert (de data) veel beter maken.

Technische samenvatting

Titel: HumorGen: Cognitieve Synergie voor Humorgeneratie in Groot Taalmodellen via Persoon-gebaseerde Distillatie

Auteurs: Edward Ajayi en Prasenjit Mitra (Carnegie Mellon University Africa)

---

1. Het Probleem

Het genereren van humor is een van de meest uitdagende taken voor Groot Taalmodellen (LLMs). De kern van het probleem ligt in een fundamenteel conflict tussen de standaard trainingsdoelstellingen van LLMs en de aard van humor:

• Het "Alignment Tax"-probleem: LLMs worden getraind om de meest waarschijnlijke volgende token te voorspellen (perplexity minimaliseren). Humor daarentegen vereist vaak verrassing, incongruïteit (het samenvoegen van onverenigbare concepten) en het doorbreken van verwachtingen.
• Mode Collapse: Door te streven naar de hoogste waarschijnlijkheid, neigen modellen ertoe om veilige, voorspelbare en saaie antwoorden te genereren, in plaats van de creatieve, "lange staart" van humoristische mogelijkheden te verkennen.
• Beperkingen van bestaande methoden: Bestaande benaderingen zoals Chain-of-Thought (CoT) of instructie-tuning falen vaak omdat ze te lineair en logisch zijn. Humor vereist divergent denken en niet-lineaire associaties, wat CoT niet goed ondersteunt.

2. Methodologie: Het Cognitive Synergy Framework

De auteurs introduceren een nieuw raamwerk dat psychologische humortheorieën operationaliseert om een hoogwaardige dataset te genereren voor distillatie.

A. Mixture-of-Thought (MoT) met Cognitieve Persona's

In plaats van één logisch pad te volgen, gebruikt het framework een Mixture-of-Thought-benadering met zes specifieke Cognitieve Persona's. Deze persona's fungeren als "latente experts" die elk gebaseerd zijn op een specifieke psychologische theorie over humor:

1. The Neurotic: Gebaseerd op Relief Theory (spanningsafbouw); focust op angst en overdenken.
2. The Cynic: Gebaseerd op Superiority Theory; focust op sociale kritiek en sarcasme.
3. The Observer: Gebaseerd op Incongruity; focust op alledaagse absurditeiten en sociale normen.
4. The Wordsmith: Gebaseerd op Linguistic Ambiguity; focust op woordgrappen en dubbelzinnigheid.
5. The Optimist: Gebaseerd op Benign Violation; focust op onschuldige misinterpretaties.
6. The Absurdist: Gebaseerd op Incongruity/Surrealism; focust op non-sequiturs en droomlogica.

Voor elke input (bijv. een nieuwskop) genereert het "leraar"-model (een ensemble van Kimi-K2 en Qwen 32B) 24 kandidaat-grappen (4 per persona).

B. Data Curation en Ranking

De gegenereerde kandidaten worden gescoord en gerangschikt door een LLM-judge (Llama 3.3-70B) die een paar-voor-paar evaluatie uitvoert om Elo-ratings te berekenen. Dit creëert een dataset met een duidelijke kwaliteitsscheiding tussen "winnaars" en "verliezers".

C. Distillatie en Training

Een 7B-parameter studentmodel (Qwen-7B) wordt getraind op deze data via drie fasen:

1. Supervised Fine-Tuning (SFT): Het model leert van de top-rangschikte grappen.
2. Preference Alignment: Er wordt onderzocht of Direct Preference Optimization (DPO) en een nieuwe methode, Offline Group Relative Policy Optimization (O-GRPO), de prestaties verbeteren ten opzichte van SFT.
   • O-GRPO: Een offline variant van GRPO die groepen van 24 kandidaten gebruikt om relatieve voordelen te maximaliseren zonder online sampling.
3. Cognitive Synergy Distillation (CSD): Een ablatiestudie waarbij het model ook de redeneringstraces (de "gedachten" van de persona) leert zien. Dit resulteert echter in een "Explainer Trap" (zie resultaten).

3. Belangrijkste Bijdragen

1. Cognitive Synergy Framework: Een methodologie om diverse, hoogwaardige humordata te genereren door psychologische persona's in te zetten als latente experts, waardoor mode collapse wordt tegengegaan.
2. Analyse van Alignment: Een grondig onderzoek naar of DPO en O-GRPO beter presteren dan SFT voor humor. De bevinding is verrassend: geen van de alignment-methoden verbeterde het model significant boven de SFT-basis. De kwaliteit van de data (de Cognitive Synergy Framework) bleek de belangrijkste drijvende kracht, niet het algoritme voor afstemming.
3. Efficiëntie vs. Schaal: Het bewijs dat een goed getraind 7B-model (HumorGen) de prestaties van veel grotere modellen (zoals Qwen-32B en zelfs sommige gesloten 120B+ modellen) kan evenaren of overtreffen.
4. Identificatie van de "Explainer Trap": Het bewijs dat het trainen van modellen om "te denken" (redeneringstraces te genereren) voor humor contraproductief is; het model neigt dan om de grap uit te leggen in plaats van de grap zelf te vertellen.

4. Resultaten

De experimenten zijn uitgevoerd op de SemEval 2026 Task 1 (MWAHAHA) dataset.

• Prestatievergelijking:
  • HumorGen-SFT-7B en HumorGen-DPO-7B behaalden de hoogste scores onder open-weight modellen (Bradley-Terry rating: ~1084).
  • Ze presteerden significant beter dan de 32B-leraar (Qwen-32B, rating ~964) en de 120B open-weight baseline (GPT-OSS-120B, rating ~989).
  • Ze naderden de prestaties van frontier-modellen zoals GPT-5 en Kimi-K2, hoewel deze nog steeds leidden.
• Effect van Alignment:
  • DPO presteerde vergelijkbaar met SFT.
  • O-GRPO presteerde iets slechter dan SFT.
  • Conclusie: Voor humor is de kwaliteit van de trainingsdata (gecurateerd via persona's) belangrijker dan geavanceerde afstemmingstechnieken.
• De "Think" Variatie (CSD):
  • Modellen die getraind waren met redeneringstraces ("Think"-varianten) presteerden slechter dan hun directe tegenhangers.
  • Menselijke evaluatoren en LLM-judges vonden dat deze modellen de grap "verduidelijkten" in plaats van de verrassing te leveren. Dit bevestigt dat CoT ongeschikt is voor humorgeneratie.
• Menselijke Evaluatie:
  • Menselijke beoordelaars bevestigden dat de LLM-judge goed overeenkwam met menselijke voorkeuren (58.3% overeenkomst met consensus) in "Goed vs. Goed" vergelijkingen.
  • Inter-annotator overeenstemming was laag (31.7%), wat de subjectiviteit van humor onderstreept.

5. Significantie en Conclusie

Dit paper biedt een paradigmaverschuiving in het onderzoek naar humorgeneratie:

• Data Kwaliteit > Modelgrootte: Het toont aan dat voor creatieve, subjectieve taken zoals humor, een zorgvuldig samengestelde dataset (via cognitieve synergie) veel effectiever is dan het simpelweg vergroten van het model of het toepassen van complexe RL-algoritmen.
• Psychologische Theorie als Engine: Het integreren van psychologische humortheorieën in de architectuur (via persona's) is een krachtige methode om diversiteit en creativiteit in generatieve modellen te injecteren.
• Praktische Implicatie: Het ontrafelen van de "Explainer Trap" waarschuwt onderzoekers dat het toevoegen van redeneringsstappen niet altijd gunstig is; voor humor is directe, verrassende output vaak superieur.

Kortom, HumorGen bewijst dat een klein, goed getraind model met de juiste cognitieve data-curatie kan concurreren met de grootste en duurste gesloten systemen op het gebied van humor.