Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

Einen Computer einen Witz erzählen zu lassen, ist eine der täuschend schwersten Aufgaben in der künstlichen Intelligenz. Es erfordert mehr als nur das Zusammenfügen von Wörtern, die den Regeln der Grammatik folgen; die Maschine muss die subtilen, oft unsichtbaren Regeln der menschlichen Kultur, des Timings und der Erwartungshaltung verstehen. Ein Witz, der in einer Stadt funktioniert, kann in einer anderen untergehen oder sogar beleidigend wirken, und was sich für eine Person lustig anfühlt, kann für jemand anderen verwirrend erscheinen. Jahrelang haben Forscher versucht, Systeme zu bauen, die Humor generieren können, ausgehend von einfachen, regelbasierten Programmen, die Wörter austauschten, hin zu komplexen, modernen Systemen, die aus riesigen Textmengen lernen. Doch während diese Systeme leistungsfähiger wurden, ist ein neues Problem entstanden: Während die Computer immer besser darin werden, Witze zu schreiben, wird das Fundament, auf dem sie stehen, immer schwerer erkennbar. Wir wissen nicht, ob die Daten, von denen sie gelernt haben, wirklich die Menschen repräsentieren, die sie amüsieren sollen, oder ob die Tests, mit denen sie beurteilt werden, tatsächlich das messen, was wir zu messen glauben.

Eine aktuelle systematische Untersuchung von Forschern der King Mongkut's University of Technology Thonburi wirft einen kritischen Blick auf dieses verborgene Fundament. Das Team untersuchte einundsiebzig Studien, die zwischen 2020 und 2026 veröffentlicht wurden – ein Zeitraum, der einen massiven Wandel in der Art und Weise markierte, wie Computer lehren, Humor zu erzeugen. Sie betrachteten nicht nur die Witze, die die Maschinen produzierten; sie verfolgten den gesamten Lebenszyklus der Forschung, von den Rohdaten, die zur Trainierung der Modelle verwendet wurden, bis hin zu den Methoden, mit denen entschieden wurde, ob ein Witz tatsächlich lustig war. Ihr Ziel war es festzustellen, ob die Ressourcen, die Wissenschaftlern zur Verfügung stehen, wirklich offen für andere nutzbar sind, ob die Daten die große Vielfalt menschlicher Kulturen abdecken und ob die Art und Weise, wie wir diese Systeme testen, zuverlässig ist. Was sie fanden, war ein Feld im rasanten Übergang, in dem die Technologie das Tempo der Transparenz und der wissenschaftlichen Strenge überholt hat, die nötig wären, um sie zu unterstützen.

Die Landschaft der Humor-Generierung hat sich in nur wenigen Jahren dramatisch verändert. In der Vergangenheit verließen sich Forscher auf spezifische, handgefertigte Regeln oder kleine Datensätze, die für eine einzige Art von Witz konzipiert waren, wie etwa ein Wortspiel oder eine Schlagzeile. Heute wird das Feld von großen Sprachmodellen dominiert, die massiven Computerprogrammen entsprechen, welche auf riesigen Mengen von Texten aus dem Internet trainiert wurden. Diese Modelle können Texte in vielen Sprachen und Stilen generieren, und sie tauchten in dreiundsiebzig Prozent der untersuchten Studien auf. Anstatt ein Programm zu schreiben, das einen spezifischen Witz erzählt, geben Forscher diesen Modellen heute oft eine einfache Anweisung oder einen „Prompt“, mit der Bitte, lustig zu sein. Diese Flexibilität hat zu einem Aufschwung neuer Experimente geführt, wobei die Zahl der Studien nach 2023 steil anstieg. Dieser Wandel hat jedoch eine neue Art der Undurchsichtigkeit geschaffen. Da das Wissen über Humor nun über die internen Einstellungen des Modells, die ihm gegebenen Anweisungen und die Daten, die es während der Generierung abruft, verteilt ist, ist es oft unmöglich, genau zu sagen, woher der Humor kommt oder auf welchen spezifischen kulturellen Kontext er sich bezieht.

Einer der auffälligsten Befunde der Untersuchung ist, dass es trotz der Fülle an Daten unglaublich schwierig ist, diese zu finden, wiederzuverwenden oder zu verifizieren. Die Forscher überprüften die Verfügbarkeit der Datensätze und Ressourcen, die in diesen einundsiebzig Studien erstellt wurden, und stellten fest, dass nur achtundzwanzig Prozent öffentlich zugänglich für andere nutzbar waren. Noch besorgniserregender war, dass nur eine einzige Studie explizit die rechtliche Lizenz nannte, die regelt, wie ihre Daten verwendet werden dürfen. In der Welt der wissenschaftlichen Forschung ist dies so, als würde man ein Rezept veröffentlichen, aber sich weigern, die Zutaten oder die Regeln für das Teilen des Gerichts aufzulisten. Als die Forscher die wenigen freigegebenen Ressourcen untersuchten, stellten sie fest, dass keine von ihnen über eine permanente, unveränderliche Adresse im Internet verfügte, bekannt als persistenter Identifikator. Das bedeutet, dass Links zu den Daten brechen können, und sobald ein Link defekt ist, sind die Daten effektiv verloren. Ohne klare Lizenzen und stabile Standorte können andere Wissenschaftler die Ergebnisse nicht reproduzieren oder auf der Arbeit aufbauen, was den Fortschritt verlangsamt und es schwierig macht zu wissen, ob ein System wirklich effektiv oder nur glücklich ist.

Die Untersuchung deckte auch eine signifikante Lücke zwischen den Sprachen der Menschen, denen die Systeme dienen sollen, und den Sprachen, die zum Bau der Systeme verwendet werden. Mehr als die Hälfte der Studien konzentrierte sich ausschließlich auf Englisch, obwohl die Forscher behaupteten, ihre Systeme könnten über verschiedene Kulturen hinweg funktionieren. Zwar gab es Studien, die Chinesisch, Spanisch, Japanisch und andere Sprachen einbezogen, doch viele dieser Arbeiten stützten sich auf die Übersetzung englischer Witze, anstatt Humor zu sammeln, der natürlich von Muttersprachlern kreiert wurde. Dies ist ein entscheidender Unterschied, da Humor tief mit der Kultur verwurzlich ist; ein Witz, der auf einem spezifischen historischen Ereignis oder einem lokalen Brauch basiert, lässt sich nicht einfach übersetzen, damit er auch anderswo funktioniert. Die Forscher fanden heraus, dass nur vier Studien direkt evaluierten, ob der generierte Humor kulturell angemessen war, indem sie Bewerter einsetzten, die tatsächlich der Zielgemeinschaft angehörten. In den meisten anderen Fällen gingen die Forscher davon aus, dass es kulturell sicher sei, wenn ein Muttersprachler es lustig fand, ohne tatsächlich spezifische kulturelle Sensibilitäten oder Traditionen getestet zu haben.

Wenn es darum geht zu beurteilen, ob ein Computer erfolgreich einen Witz erzählt hat, sind die verwendeten Methoden oft inkonsistent und manchmal irreführend. Der Goldstandard für die Messung von Humor war schon immer das menschliche Urteil, und die Untersuchung bestätigte, dass die menschliche Evaluation nach wie vor die gängigste Methode ist, die in vierundachtzig Prozent der Studien angewendet wurde. Die Art und Weise, wie diese Bewertungen durchgeführt werden, variiert jedoch stark. Einige Studien nutzen eine kleine Gruppe von Studenten, während andere professionelle Komiker oder große Gruppen von Online-Arbeitern einsetzen. Weniger als vierzig Prozent der Studien berichteten über die Verwendung statistischer Tests, um sicherzustellen, dass ihre Ergebnisse kein Zufall waren, und viele erklärten nicht, wie sie entschieden, ob ein Witz lustig war oder nicht. In dem Bestreben, Prozesse zu beschleunigen, haben einige Forscher begonnen, andere Computermodelle als Richter einzusetzen, doch die Untersuchung ergab, dass diese automatisierten Richter oft nicht mit Menschen übereinstimmen. Sie könnten eine Antwort als lustig bewerten, weil sie neuartig oder überraschend ist, selbst wenn ein Mensch sie als verwirrend oder beleidigend empfinden würde. Dies birgt das Risiko, dass Systeme darauf optimiert werden, andere Computer zu gefallen, statt echte Menschen zu amüsieren.

Die Forscher kamen zu dem Schluss, dass das Haupthindernis auf diesem Gebiet nicht mehr ein Mangel an Daten ist, sondern die Schwierigkeit, die bereits existierenden Daten zu finden, wiederzuverwenden und zu verifizieren. Der Übergang zu leistungsstarken, universell einsetzbaren Modellen hat nicht das Bedürfnis nach qualitativ hochwertigen, gut dokumentierten Ressourcen beseitigt; er hat diese Ressourcen sogar noch wichtiger gemacht. Um voranzukommen, muss das Feld bessere Praktiken für die Weitergabe von Daten einführen, einschließlich klarer Lizenzen, permanenter Links und detaillierter Beschreibungen darüber, wie die Daten erhoben und annotiert wurden. Vor allem müssen Forscher sicherstellen, dass ihre Evaluationen mit den Behauptungen übereinstimmen, die sie aufstellen. Wenn ein System für eine bestimmte kulturelle Gruppe lustig sein soll, muss es von Menschen aus dieser Gruppe getestet werden, unter Verwendung von Kriterien, die deren Werte und Traditionen widerspiegeln. Bis diese Fundamente gestärkt sind, wird der Fortschritt beim Versuch, Computer Witze erzählen zu lassen, ungewiss bleiben – mit Fortschritten, die eher die Eigenheiten der Testmethoden widerspiegeln als ein wahres Verständnis des menschlichen Humors.