💬 NLP

lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

Dieses Paper präsentiert ein erstplatziertes System für die SemEval-2026 Task 1 (MWAHAHA), das der publikumsabhängigen Natur von Humor durch eine „Generate-Many, Select-Best“-Strategie begegnet, bei der ein vielfältiger Pool an Kandidaten durch ein Präferenzmodell bewertet wird, das auf menschlichen paarweisen Urteilen anstatt auf absoluten Lustigkeitswerten trainiert wurde.

Ursprüngliche Autoren: Alexey Tikhonov, Alexey Ivanov

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexey Tikhonov, Alexey Ivanov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Besitzer eines Comedy-Clubs und versuchen, den lustigsten Witz für die heutige Show auszuwählen. Sie haben tausend Witze, die von einem superschnellen Roboter geschrieben wurden, aber Sie wissen, dass das, was eine Person zum Lachen bringt, eine andere dazu bringen kann, mit den Augen zu rollen. Das Papier, das Sie gerade lesen, ist ein Bericht darüber, wie die Autoren ein System entwickelt haben, um genau dieses Problem für einen Informatik-Wettbewerb namens SemEval-2026 Task 1 (mit dem Spitznamen MWAHAHA) zu lösen.

Hier ist die Geschichte, wie sie es gemacht haben, unterteilt in einfache Schritte:

1. Das Problem: „Lustig“ liegt im Auge des Betrachters

Die Autoren weisen darauf hin, dass es schwer ist, einem Computer beizubringen, lustig zu sein – nicht weil er keine Wörter schreiben kann, sondern weil „lustig“ subjektiv ist.

Das Publikumsproblem: Ein Witz, der in Berlin einschlägt, kann in Peking völlig floppen. Selbst Menschen können sich nicht darauf einigen, was lustig ist; wenn man 10 Menschen bittet, einen Witz zu bewerten, werden sie 10 verschiedene Bewertungen abgeben.
Das Roboterproblem: Computer sind großartig im Auswendiglernen. Wenn man einen Roboter bittet, einen Witz zu erzählen, wiederholt er oft nur dieselben 25 Witze, die er auswendig kennt, wie ein Papagei, der einen Catchphrase wiederholt. Er hat Schwierigkeiten, etwas wirklich Neues zu kreieren.

2. Die Strategie: „Würfele mit den Dartpfeilen und wähle dann die Bullseye“

Anstatt zu versuchen, den Computer in einem einzigen Schritt den perfekten Witz schreiben zu lassen, nutzten die Autoren eine zweistufige Strategie: Viel generieren, dann das Beste auswählen.

Schritt 1: Die „Witz-Fabrik“ (Generierung)
Sie richteten eine Fabrik ein, die für jeden einzelnen Prompt 50 verschiedene Witze produziert. Sie verwendeten eine Mischung aus verschiedenen KI-Modellen (wie ein Team aus verschiedenen Comedians) und zwangen sie zur Kreativität, damit sie nicht einfach nur die gleichen alten Witze kopieren und einfügen. Zudem stellten sie sicher, dass die Witze den Regeln folgten (wie etwa bestimmte Wörter einzubeziehen oder eine bestimmte Länge einzuhalten).
- Analogie: Stellen Sie sich vor, Sie bitten 50 verschiedene Köche, einen Burger zuzubereiten. Einige machen ihn scharf, andere süß, manche eigenartig. Sie haben nun einen riesigen Haufen Burger vor sich.
Schritt 2: Der „Geschmackstester“ (Selektion)
Nun mussten sie einen Weg finden, den Gewinner aus diesem Haufen von 50 Witzen zu picken. Da Menschen nicht in Echtzeit jeden einzelnen Witz beurteilen können, bauten sie ein Präferenzmodell.
- Anstatt den Computer zu fragen: „Ist dieser Witz lustig?“ (was vage und verwirrend ist), fragten sie ihn: „Zwischen Witz A und Witz B, welcher ist besser?“
- Sie trainierten dieses Modell mit etwa 2.500 menschlichen Stimmen, bei denen Menschen zwei Witze verglichen und einen Sieger gekürt hatten. Das ist so, als würde man einen Richter trainen, indem man ihm tausende „A gegen B“-Duelle zeigt, bis der Richter den Geschmack des Publikums lernt.

3. Die Geheimzutat: Das „Humor-Rezeptbuch“

Um ihren „Geschmackstester“ intelligenter und leichter verständlich zu machen, ließen sie den Computer nicht einfach nur raten. Sie erstellten eine „Humor-Basis“ – eine kurze Liste von 17 spezifischen „Geschmacksrichtungen“ des Humors.

Denken Sie an dies wie an ein Gewürzregal. Die Geschmacksrichtungen könnten „Schwarzer Humor“, „Wortspiel“, „Übertreibung“ oder „Unerwartete Wendung“ sein.
Wenn der Computer einen Witz betrachtet, sagt er nicht einfach nur „Gut“ oder „Schlecht“. Er prüft den Witz gegen das Gewürzregal: Hat dieser Witz eine starke Pointe? Nutzt er Wortspiele? Ist er zu düster?
Dies macht das System „interpretierbar“, was bedeutet, dass Menschen die Ergebnisse verstehen können und nachvollziehen können, warum der Computer einen bestimmten Witz ausgewählt hat (z. B. „Er hat diesen gewählt, weil er eine großartige Wendung hatte, auch wenn er etwas kurz war“).

4. Die Ergebnisse: Den Wettbewerb gewinnen

Sie testeten dieses System auf drei verschiedenen Arten von Daten (Reddit-Witze, professionelle Witze und ihren eigenen neuen Datensatz).

Der Gewinner: Ihre Methode des „Vergleichs zweier Witze“ funktionierte viel besser, als dem Computer einfach nur eine Punktzahl für einen einzelnen Witz zu geben. Sie war auch besser darin, verschiedene Sprachen und Kulturen zu handhaben, als andere Methoden.
Die Trophäe: In dem eigentlichen Wettbewerb (MWAHAHA) belegte ihr System den 1. Platz in Englisch und Chinesisch sowie den 2. Platz in Spanisch.

5. Die wichtigste Erkenntnis

Das Paper kommt zu dem Schluss, dass die Zukunft des Computer-Humors nicht darin besteht, den Roboter dazu zu bringen, von Grund auf bessere Witze zu schreiben. Der Roboter ist bereits gut darin, viele Witze zu schreiben. Die wahre Herausforderung besteht darin, den richtigen auszuwählen.

Die Autoren argumentieren, dass wir, wenn wir wollen, dass Computer lustig sind, aufhören sollten, „lustig“ als eine einzige Zahl zu messen, und uns stattdessen auf Präferenzen konzentrieren sollten – also darauf, was bestimmte Zielgruppen durch Vergleiche bevorzugen, genau wie wir entscheiden, welchen Film wir schauen oder welches Lied wir spielen.

Kurz gesagt: Sie haben ein System gebaut, das ein riesiges Buffet an Witzen generiert und dann einen smarten, trainierten „Geschmackstester“ nutzt, um das Gericht auszuwählen, das das Publikum am wahrscheinlichsten lieben wird. Sie gewannen den Wettbewerb, indem sie verstanden, dass Humor vor allem mit der Präferenz des Publikums zu tun hat und nicht nur mit dem Witz selbst.

Technisches Resümee: SemEval-2026 Task 1 (MWAHAHA)

Problemstellung
Die Arbeit befasst sich mit der anhaltenden Schwierigkeit der computergestützten Humorgenerierung, die aus zwei primären Herausforderungen resultiert: der inhärenten Subjektivität von „lustig“ und der Tendenz von Large Language Models (LLMs), hochfrequente Vorlagen zu memorieren und zu wiederholen, anstatt neuartige Inhalte zu generieren. Humor ist publikumsabhängig und variiert signifikant nach Kultur, Demografie und Kontext, was zu verrauschter Supervision führt, bei der die Übereinstimmung der Annotatoren oft gering ist (z. B. Fleiss' $\kappa \approx 0,49$ für wortspielbezogene Daten). Darüber hinaus führt unbeschränkte Generierung oft zu einem Mode Collapse, bei dem Modelle auf einen kleinen Satz bekannter Witze zurückfallen. Die SemEval-2026 Task 1 (MWAHAHA) zielt spezifisch auf die beschränkte Humorgenerierung ab (z. B. unter Konditionierung auf Schlagzeilen oder spezifische Wörter) in den Sprachen Englisch, Spanisch und Chinesisch, wobei die Systeme mittels menschlicher Präferenzurteile in einem Arena-basierten Setting evaluiert werden. Die Autoren argumentieren, dass bei beschränkten Aufgaben nicht die rohe Generierung das Problem darstellt, sondern die zuverlässige Auswahl des optimalen Kandidaten für ein Zielpublikum.

Methodik
Die Autoren schlagen eine zweistufige „Generate-Many $\rightarrow$ Select-Best“-Pipeline vor, die die Humorgenerierung als ein Problem der Diversitätsmaximierung gefolgt von einem Problem des Preference Learning behandelt.

Kandidatengenerierung:
- Strategie: Ein mehrstufiger Prompting-Ansatz, der von Brainstorming-Techniken inspiriert ist: das Erzeugen von Assoziationen, deren Erweiterung und deren Zusammenführung zu finalen Witzen.
- Diversität & Constraints: Ein Ensemble von Modellen (Claude-Sonnet-4, Claude-Ops-4.5 und GPT-5) wird mit einer Temperatur von 1,0 verwendet. Ein „Tail-Focused Sampling“-Trick zieht Kandidaten aus Regionen mit niedrigerer Wahrscheinlichkeit, um die Neuartigkeit zu erhöhen.
- Filterung: Pro Instanz werden 50 Kandidaten generiert. Harte Constraints (Schlüsselwortinklusion, Länge) werden deterministisch durchgesetzt. Nahezu identische Duplikate werden mittels Embedding-Ähnlichkeit entfernt, wobei nur der Zentroid jedes Clusters beibehalten wird.
Präferenzmodellierung & Selektion:
- Interpretierbare „Humor-Basis“: Anstatt sich allein auf rohe Text-Embeddings zu verlassen, konstruieren die Autoren eine kompakte, interpretierbare Feature-Basis (17 Features im finalen Durchlauf). Diese wird dadurch gewonnen, dass ein LLM angewiesen wird, „Differenz-Hinweise“ (Difference Hints) zwischen Witz-Paaren zu generieren, diese Hinweise einzubetten, sie zu clustern (DP-means) und eine semantische De-Duplizierung durchzuführen.
- Merkmalsextraktion: Die Basis wird verwendet, um Witze in zwei Modi zu bewerten:
  - Pointwise: Bewertung eines einzelnen Witzes gegenüber den Regeln.
  - Pairwise: Vergleich zweier Witze, um zu bestimmen, welcher besser mit spezifischen Regeln übereinstimmt.
- Modelltraining: Leichtgewichtige Präferenz-Prädiktoren werden unter Verwendung von L1 (LASSO) zur Merkmalsselektion und L2-regularisierter Regression zur Stabilisierung trainiert. Die Autoren priorisieren die pairwise-basierte Regression als Hauptansatz, da diese trotz höherer Rechenkosten ( $\Theta(n^2)$ vs. $\Theta(n)$ ) eine bessere globale Ranking-Stabilität liefert. Sie nutzen Optimierungen wie die Priorisierung von Vergleichen zwischen disjunkten Komponenten und unähnlichen Kandidaten, um die Anzahl der erforderlichen Evaluationen auf $\Theta(n \log n)$ zu reduzieren.
- Globales Ranking: Finale Rankings werden mittels Bradley-Terry-Luce-Modellen und Elo-Verfahren über das Evalica-Toolkit aggregiert.

Wesentliche Beiträge

Veröffentlichung von Präferenzdaten: Die Veröffentlichung von $\sim$ 2,5K menschlichen Paarvergleichen, die über den „Humor Arena“-Prototyp gesammelt wurden, zusammen mit bestehenden Datensätzen von Reddit und ScaleAI.
„Preference-First“-Framing: Eine Formalisierung der beschränkten Humorgenerierung als Ranking-Problem, das durch wiederholte Paarvergleiche getrieben wird, wobei argumentiert wird, dass dies stabilere Lernsignale liefert als absolute Bewertungen.
Interpretierbare Pipeline: Eine Methode zur Umwandlung gelabelter Vergleiche in eine kompakte Feature-Basis, die das Training leichtgewichtiger, interpretierbarer Präferenzmodelle ermöglicht.
Systemimplementierung: Das „lmfaoooo“-System, welches den Generierungs- und Selektionsworkflow integriert, wobei alle Prompts, Kandidatenpools und Artefakte öffentlich zugänglich gemacht werden.

Ergebnisse

Leistung innerhalb der Datensätze: Auf drei Datensätzen (Reddit, ScaleAI und Humor Arena) schnitten pairwise feature-basierte Modelle konsistent besser ab als sowohl Pointwise-Baselines als auch „NoBasis“-Baselines (direkte LLM-Judges). Beispielsweise erreichte das Pairwise-Modell auf dem Humor Arena-Datensatz eine Genauigkeit von 7% im Vergleich zu 45% beim Pointwise-Modell und 37% beim NoBasis-Modell.
Cross-Domain Transfer: Pairwise-Modelle zeigten stärkere Transferfähigkeiten als Pointwise-Baselines. Während der Transfer partiell und asymmetrisch war (was auf sowohl universelle als auch gemeinschaftsspezifische Humor-Komponenten hindeutet), behielten Pairwise-Modelle eine höhere Genauigkeit in Off-Diagonal-Testsettings bei.
SemEval-2026 Task 1 Leistung: Das System erreichte den 1. Platz in den englischen und chinesischen Subtasks sowie den 2. Platz im spanischen Subtask.
- Englisch ELO: 1041 (95% KI [1009, 1064])
- Chinesisch ELO: 1081 (95% KI [1031, 1127])
- Spanisch ELO: 1091 (95% KI [1053, 1121])

Bedeutung und Behauptungen
Die Arbeit postuliert, dass die Zukunft der Humorgenerierung weniger von der Verbesserung der rohen Textgenerierungsfähigkeiten abhängt – welche moderne LLMs bereits im Überfluss besitzen – als vielmehr von der Verbesserung der Evaluation und der Präferenzmodellierung. Die Autoren behaupten, dass ihre Ergebnisse eine „Preference-First“-Sichtweise stützen: Die Generierung diverser Kandidaten ist zunehmend einfach geworden, aber die zuverlässige Identifizierung dessen, welcher Kandidat mit einem spezifischen Publikum übereinstimmt, bleibt die Kernschwierigkeit. Die Verwendung einer interpretierbaren Feature-Basis ermöglicht eine gezielte Fehleranalyse und zeigt auf, dass während einige Humor-Features (z. B. klare Punchlines) universell ausgewählt werden, andere gemeinschaftsspezifisch sind. Die Autoren kommen zu dem Schluss, dass der Fortschritt in diesem Bereich zunehmend von robuster Präferenzmodellierung abhängen wird und nicht allein von Verbesserungen der Generierungsarchitektur.