💬 NLP

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

Die Studie zeigt, dass zwar große Sprachmodelle beim Spiel „Cards Against Humanity" menschliche Präferenzen besser als Zufall treffen, ihre humoristischen Urteile jedoch stärker untereinander als mit Menschen übereinstimmen und durch systematische Verzerrungen sowie strukturelle Artefakte geprägt sind.

Ursprüngliche Autoren: Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Wenn KI versucht, Witze zu verstehen: Ein Spiel mit „Cards Against Humanity"

Stellen Sie sich vor, Sie spielen eine Party, bei der alle versuchen, den lustigsten Witz zu machen. Die Spieler ziehen eine Karte mit einer Frage (z. B. „Nach vier Jahren Studium weiß ich immer noch nicht, wie man ______ macht") und müssen aus einem Stapel von zehn Antwortkarten die eine auswählen, die am besten passt und am meisten zum Lachen bringt. Das Spiel heißt Cards Against Humanity (CAH).

In dieser Studie haben die Forscher fünf der klügsten KI-Modelle der Welt (wie GPT, Gemini, Claude, Grok und DeepSeek) genau dieses Spiel spielen lassen. Sie wollten herausfinden: Verstehen KIs Humor so wie wir Menschen?

Hier ist das Ergebnis, einfach erklärt:

1. Die KI ist nicht ganz so witzig wie ein Mensch

Die Forscher ließen die KIs gegen echte Menschen antreten. Das Ergebnis war etwas ernüchternd:

Die KIs sind besser als Zufall: Wenn man völlig blind raten würde, hätte man eine 10%-Chance, die richtige Antwort zu treffen. Die KIs schafften es, zwischen 13 % und 18 % richtig zu liegen. Das ist besser als blindes Raten, aber weit entfernt davon, ein echter „Witzbold" zu sein.
Die KIs verstehen uns nicht wirklich: Obwohl sie trainiert wurden, menschliche Sprache zu verstehen, scheitern sie oft daran, zu fühlen, was in einer bestimmten Situation wirklich lustig ist. Es ist, als würde jemand, der eine Fremdsprache perfekt beherrscht, aber die kulturellen Nuancen und den Timing-Sinn für einen Witz verpasst.

2. Die KIs mögen sich untereinander mehr als die Menschen

Das ist der verrückteste Teil der Studie:

Die KIs waren sich untereinander viel häufiger einig als mit den Menschen. Wenn eine KI einen Witz als „lustig" fand, stimmten die anderen KIs oft zu.
Die Analogie: Stellen Sie sich vor, Sie sind auf einer Party. Die Menschen lachen über einen bestimmten Witz. Aber alle KIs sitzen in einer Ecke und lachen über einen anderen Witz, den die Menschen gar nicht lustig finden. Sie haben quasi eine eigene, kleine „KI-Party" gegründet, die sich von der menschlichen unterscheidet.

3. Warum machen die KIs das? (Die zwei Geheimnisse)

Die Forscher haben herausgefunden, dass die KIs nicht wirklich „nachdenken", sondern eher auf zwei einfache Tricks zurückgreifen:

Der „Platz-Trick" (Positions-Bias):
Die KIs schauen sich oft gar nicht genau an, was auf der Karte steht. Stattdessen schauen sie, wo die Karte im Stapel liegt.
- Beispiel: Die KI „DeepSeek" wählt fast immer die Karte an Position 3. Die KI „Grok" mag die ganz letzte Karte (Position 10). Es ist, als würde ein Schüler im Multiple-Choice-Test immer die Antwort „C" ankreuzen, weil er denkt, dass die Lehrer das mögen, statt die Frage zu lesen.
Der „Thema-Trick" (Content-Bias):
Die KIs haben eine Vorliebe für bestimmte Themen, die von menschlichen Spielern anders bewertet werden.
- Die KIs wählen viel öfter Karten über Körperflüssigkeiten, Sex und Grobheiten als Menschen.
- Sie wählen viel seltener Karten über Politik oder Identität.
- Warum? Wahrscheinlich wurden die KIs so trainiert, dass sie „sicher" und „hilfreich" sein sollen. Aber im Spiel Cards Against Humanity ist es oft genau das Gegenteil: Der Witz entsteht durch das, was man eigentlich nicht sagen sollte. Die KIs sind also zu „gut erzogen", um den richtigen, frechen Witz zu machen.

4. Was bedeutet das für die Zukunft?

Die Studie zeigt uns, dass KI zwar sehr schlau ist, aber Humor eine ganz andere Ebene ist.

KI ist kein Spiegel: Wenn wir sagen, eine KI sei „menschlich", meinen wir oft, dass sie unsere Antworten nachahmt. Aber bei Humor ahmt sie eher eine eigene, künstliche Version von Humor nach, die von ihren Programmierern und Trainingsdaten geprägt ist.
Die Gefahr: Wenn wir KIs nur danach beurteilen, ob sie „richtig" antworten, verpassen wir vielleicht, dass sie gar nicht verstehen, warum etwas lustig ist. Sie folgen nur Mustern (wie „Karte an Position 3 ist gut").

Fazit:
Die KIs haben das Spiel Cards Against Humanity gespielt und sind dabei nicht gescheitert, aber sie haben auch nicht gewonnen. Sie haben gezeigt, dass sie eine Art „KI-Humor" entwickelt haben: Sie sind sich untereinander einig, aber sie verstehen den menschlichen Witz nicht wirklich. Es ist, als würden sie Witze machen, die in einer anderen Welt lustig wären – einer Welt, in der Position 3 immer die beste Antwort ist.

1. Problemstellung

Humor gilt als eine der kulturell am tiefsten verankerten und sozial bedeutsamsten Dimensionen menschlicher Kommunikation. Dennoch ist er als Dimension für das „Alignment" (die Ausrichtung) von Large Language Models (LLMs) weitgehend unerforscht. Humor erfordert nicht nur Sprachverständnis, sondern auch Weltwissen, pragmatische Fähigkeiten, kulturelles Kontextwissen und die Sensibilität für Timing und Tonfall.

Das zentrale Problem besteht darin, dass LLMs zwar in strukturierten Aufgaben (wie Codierung oder Schreiben) menschliche Leistungen erreichen, es jedoch unklar ist, ob sie auch in subjektiven, kulturell aufgeladenen Bereichen wie Humor mit menschlichen Präferenzen übereinstimmen. Die Autoren untersuchen, ob LLMs einen echten „Humor-Sinn" entwickelt haben oder ob ihre Urteile auf strukturellen Artefakten (wie Positionsbias) und spezifischen Trainingsverzerrungen beruhen.

2. Methodik

Die Studie nutzt das Kartenspiel Cards Against Humanity (CAH) als kontrolliertes Testfeld. CAH erfordert es den Spielern, aus einer Auswahl von zehn Antwortkarten (weiße Karten) die lustigste zu einer vorgegebenen Frage (schwarze Karte) auszuwählen.

Datensatz: Die Autoren verwendeten den „CAH Lab Gameplay Dataset", der über 9.894 Runden menschlicher Spielzüge umfasst. Die Daten wurden zwischen November 2023 und April 2025 gesammelt.
Modelle: Fünf Frontier-Modelle wurden getestet: GPT-5.2, Gemini 3 Flash, Claude Opus 4.5, Grok 4 und DeepSeek-V3.2.
Experimentelles Setup:
- Jedes der 4.947 ausgewählten Runden (nach Filterung für Qualität und Aufmerksamkeit) wurde den fünf LLMs präsentiert.
- Die Modelle mussten die lustigste Karte auswählen.
- Um Positionsbias zu minimieren, wurde jede Runde in zwei Replikaten ( $R=2$ ) durchgeführt, wobei die Reihenfolge der weißen Karten in jedem Durchlauf zufällig permutiert wurde.
- Die menschliche Auswahl diente als Ground Truth.
Analysemetriken:
1. Human-LLM Alignment: Genauigkeit der Übereinstimmung mit der menschlichen Wahl.
2. LLM-LLM Agreement: Wie oft stimmen verschiedene Modelle untereinander überein.
3. Konsistenz: Wie oft stimmt ein Modell mit sich selbst über verschiedene Replikate hinweg überein.
4. Bias-Analyse: Untersuchung von Positionsbias (Bevorzugung bestimmter Kartenpositionen) und Topic-Bias (Bevorzugung bestimmter Themenkategorien).
5. Prädiktive Modellierung: Einsatz von bedingten Logit-Modellen, um zu prüfen, ob Position und Thema allein die LLM-Auswahl vorhersagen können.

3. Wichtige Beiträge

Neues Benchmark-Framework: Einführung eines Frameworks, in dem fünf führende LLMs dieselben CAH-Spiele spielen, die Menschen gespielt haben, um Humor-Alignment operational zu messen.
Quantifizierung des Alignment-Gaps: Feststellung, dass alle getesteten Modelle nur eine moderate Übereinstimmung mit menschlichen Präferenzen erreichen.
Entdeckung der „LLM-Interne Konsistenz": Nachweis, dass LLMs untereinander signifikant häufiger übereinstimmen als mit Menschen. Dies deutet auf die Entstehung eines stabilen, aber vom menschlichen Humor abweichenden „LLM-Humorprofils" hin.
Ursachenanalyse: Identifikation von systematischen Positionsbias und spezifischen Inhaltspräferenzen als Hauptfaktoren, die die hohe inter-modelläre Übereinstimmung erklären.

4. Ergebnisse

Mensch-LLM Alignment: Alle Modelle übertrafen die Zufallsbasislinie (10 %), erreichten aber nur eine Genauigkeit zwischen 13 % und 18 %. Dies ist deutlich niedriger als einfache Baselines (z. B. Beliebtheitsbasierte Auswahl: ~19 %).
Inter-Modell-Übereinstimmung: Die Modelle stimmten untereinander in 21,4 % bis 44,9 % der Fälle überein. Dies ist deutlich höher als ihre Übereinstimmung mit Menschen.
Selbstkonsistenz: Die Modelle waren sich selbst über die Replikate hinweg sehr konsistent (zwischen 49,5 % und 63,3 %), was zeigt, dass ihre „falschen" Urteile stabil und nicht zufällig sind.
Bias-Analyse:
- Positionsbias: Alle Modelle wiesen signifikante Abweichungen von einer gleichmäßigen Verteilung auf. DeepSeek bevorzugte stark Position 3, Grok Position 10.
- Themen-Bias: LLMs wählten häufiger Karten mit Themen wie „Körperlichkeit" (31–40 % vs. 21 % bei Menschen) und „Sexualität" (29–38 % vs. 24 %). Sie wählten seltener Karten zu „Politik/Gesellschaft" und „Identität/Demografie" als Menschen.
- Vorhersagbarkeit: Surrogat-Modelle, die nur auf Position und Thema basieren, konnten die Auswahl von Grok, DeepSeek und Gemini in über 36 % der Fälle korrekt vorhersagen. Dies deutet darauf hin, dass ein erheblicher Teil der LLM-Entscheidungen auf oberflächlichen Heuristiken beruht.
Demografische Heterogenität: Es gab keine Hinweise darauf, dass die geringe Übereinstimmung auf unterschiedlichen Humorvorlieben verschiedener demografischer Gruppen beruht; das Problem scheint systemisch zu sein.

5. Bedeutung und Diskussion

Die Studie liefert wichtige Erkenntnisse für das Feld des AI Alignment:

Grenzen des aktuellen Alignments: Es gibt eine deutliche Obergrenze für die Fähigkeit aktueller LLMs, menschlichen Humor zu verstehen. Die Modelle scheinen nicht tiefgreifende pragmatische oder kontextuelle Reasoning-Mechanismen anzuwenden, die für menschlichen Humor entscheidend sind.
Strukturelle Artefakte vs. echtes Verständnis: Die hohe Übereinstimmung zwischen den Modellen (mehr als mit Menschen) und die Vorhersagbarkeit durch einfache Bias-Faktoren legen nahe, dass LLMs oft auf „flache Heuristiken" (Position, bestimmte Themen) zurückgreifen, die durch ihre Trainingsdaten und Sicherheitsfilter (RLHF) verstärkt wurden.
Kulturelle Verzerrung: Die Ergebnisse deuten darauf hin, dass die Sicherheitsausrichtung (Safety Fine-Tuning) von LLMs dazu neigt, transgressive und absurde Humorformen (die für CAH typisch sind) zu unterdrücken, während sie gleichzeitig bestimmte Themen (Körper, Sex) überrepräsentiert, was zu einem verzerrten Humorprofil führt.
Zukunftsausblick: Die Autoren schlagen vor, Humor-Alignment nicht nur als Fähigkeit zu messen, sondern als Fenster in die Weltanschauung der Modelle. Zukünftige Arbeiten sollten kulturell diverse Modelle einbeziehen und andere Humor-Formate (Memes, Satire) testen.

Zusammenfassend zeigt das Paper, dass LLMs zwar lernen, was als lustig markiert wird, aber oft aus den falschen Gründen (Bias, Mustererkennung) und nicht aus einem echten Verständnis der sozialen und kulturellen Nuancen des Humors heraus entscheiden.