Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

Probleemstelling

Humor is een van de meest cultureel ingebedde en sociaal significante dimensies van menselijke communicatie, maar blijft grotendeels onontgonnen als dimensie voor de uitlijning (alignment) van Large Language Models (LLM's). Hoewel LLM's grote vooruitgang hebben geboekt in gestructureerde taken zoals coderen en schrijven, is het onzeker of ze de mens kunnen evenaren op minder formele, cultureel geladen domeinen. Humor vereist niet alleen taalbegrip, maar ook cognitieve vaardigheden, sociale context, gedeelde culturele kennis en het vermogen om verwachtingen te schenden en op te lossen.

De kernvraag van dit onderzoek is: In hoeverre zijn de humorvoorkeuren van frontier LLM's uitgelijnd met menselijke voorkeuren, en reflecteren hun oordelen echte humorbegrip of structurele artefacten van hun inferentie en uitlijningsprocessen?

Methodologie

De auteurs hebben een gecontroleerde, spelgebaseerde evaluatie opgezet waarbij vijf frontier-modellen het spel Cards Against Humanity (CAH) spelen, precies zoals menselijke spelers dat doen.

1. Dataset:

   • Gebruik van het CAH Lab Gameplay Dataset (verzameld tussen nov 2023 en apr 2025), bestaande uit 9.894 rondes.
   • In elke ronde wordt een zwarte kaart (prompt) gepresenteerd met tien witte kaarten (antwoorden). De menselijke "ground truth" is de witte kaart die door de menselijke speler als grappigst is geselecteerd.
   • Een demografisch dataset wordt gebruikt om mogelijke verschillen in humorperceptie tussen bevolkingsgroepen te analyseren.

2. Experimenteel Opzet:

   • Modellen: Vijf frontier-modellen: GPT-5.2, Gemini 3 Flash, Claude Opus 4.5, Grok 4 en DeepSeek-V3.2.
   • Taal: De modellen kregen de prompt en een genummerde lijst van 10 kandidaat-antwoorden. Ze moesten het nummer en de tekst van de grappigste kaart selecteren.
   • Herhaling: Elke ronde werd twee keer uitgevoerd ($R=2$) met een willekeurige herschikking van de volgorde van de witte kaarten om positie-bias te mitigeren.
   • Validatie: Rondes met een te korte of te lange responstijd (<10s of >120s) of waarbij een model afzag van een antwoord, werden uitgesloten.

3. Analyse-maatstaven:

   • Mens-LLM Uitlijning: Berekening van de nauwkeurigheid (ACC) waarbij het model dezelfde kaart kiest als de mens.
   • LLM-LLM Uitlijning: Meting van de overeenstemming tussen verschillende modellen en de interne consistentie (herhaalbaarheid) van een enkel model.
   • Bias-analyse:
     • Positie-bias: Chi-kwadraat testen om te zien of modellen kaarten vaker kiezen op specifieke posities in de lijst.
     • Onderwerp-bias: Analyse van de thematische verdeling (bijv. seks, lichamelijke humor, politiek) van de gekozen kaarten.
     • Gecombineerde analyse: Logistische regressiemodellen om te bepalen in hoeverre positie en onderwerp de keuze van het model kunnen voorspellen.

Belangrijkste Bijdragen

1. Nieuw Framework: Een gestructureerd framework waarin vijf frontier-modellen hetzelfde CAH-spel spelen als mensen, wat een directe vergelijking mogelijk maakt.
2. Kwantificering van Uitlijning: Het vaststellen dat alle geëvalueerde LLM's slechts een bescheiden nauwkeurigheid bereiken in het voorspellen van menselijke humorvoorkeuren.
3. Ontdekking van "LLM-Humor": Het aantonen dat modellen veel meer met elkaar overeenkomen dan met mensen, wat suggereert dat ze een stabiele, maar menselijk misgelijkte, humorprofiel hebben ontwikkeld.
4. Oorzaakanalyse: Het identificeren van systematische positie-bias en specifieke content-preferenties als factoren die een groot deel van de onderlinge overeenstemming tussen modellen verklaren.

Resultaten

1. Mens-LLM Uitlijning (Laag):

   • Alle modellen presteren beter dan een willekeurige basislijn (10%), maar de absolute nauwkeurigheid blijft laag: tussen 13% en 18%.
   • Claude presteert het beste, gevolgd door Grok en Gemini. DeepSeek en GPT scoren lager.
   • Er is geen significant bewijs gevonden dat deze lage uitlijning wordt veroorzaakt door verschillen tussen demografische groepen (geslacht, politieke voorkeur, etc.).

2. LLM-LLM Uitlijning (Hoog):

   • Modellen stemmen substantieel vaker met elkaar overeen (21,4% - 44,9%) dan met mensen (13-18%).
   • De interne consistentie van modellen (herhaalbaarheid binnen hetzelfde model) is zeer hoog (49,5% - 63,3%), wat aangeeft dat ze een stabiele, maar menselijk afwijkende, "zin voor humor" hebben.

3. Bias en Oorzaken:

   • Positie-bias: Alle modellen vertonen een significante afwijking van een uniforme verdeling. DeepSeek kiest bijvoorbeeld sterk voor positie 3, en Grok voor positie 10.
   • Onderwerp-bias: Modellen kiezen vaker voor kaarten met lichamelijke humor (31-40% vs. 21% bij mensen) en seksuele thema's (29-38% vs. 24% bij mensen). Ze kiezen minder vaak voor politiek/sociale thema's en identiteitsgerelateerde onderwerpen dan mensen.
   • Voorspellende kracht: Gecombineerde modellen (positie + onderwerp) kunnen de keuze van de modellen in ongeveer 36% van de gevallen voorspellen (voor Grok, DeepSeek en Gemini). Dit suggereert dat een aanzienlijk deel van hun "humor" gebaseerd is op oppervlakkige heuristieken in plaats van diepgaand pragmatisch redeneren.

Betekenis en Conclusie

De studie concludeert dat er een nauwkeurigheidsplafond bestaat in de huidige mens-LLM humoruitlijning. Hoewel LLM's enige aspecten van menselijke humor vangen, lijken ze te convergeren naar een gedeelde, maar menselijk misgelijkte, notie van humor.

De belangrijkste implicaties zijn:

• Structuur vs. Begrip: De hoge onderlinge overeenstemming tussen modellen, gecombineerd met sterke positie- en onderwerp-bias, suggereert dat LLM's bij humorbeoordeling mogelijk meer vertrouwen op structurele artefacten van inferentie en alignment-procedures (zoals RLHF) dan op echt cultureel begrip.
• Veiligheid vs. Humor: De huidige veiligheidsgerichte fine-tuning van LLM's (die transgressieve en absurdistische humor, kenmerkend voor CAH, mogelijk onderdrukt) kan in conflict staan met wat mensen grappig vinden.
• Toekomstige Richting: Het onderzoek benadrukt de noodzaak om humor als een kritische dimensie voor AI-uitlijning te bestuderen, verder dan alleen demografische uitlijning, en om te kijken naar subgroepen gedefinieerd door humorstijl in plaats van demografie.

Kortom, humor fungeert als een "venster" naar de wereldvisie van het model en onthult dat frontier-LLM's ondanks hun capaciteiten nog steeds fundamenteel verschillen in hoe ze sociale en culturele nuances van humor interpreteren.