Computational Humor with Multimodal LLMs: Methods, Datasets, Evaluation, and Challenges
Diese Umfrage bietet einen umfassenden Überblick über computergestützten Humor in multimodalen großen Sprachmodellen, indem sie das Feld nach Fähigkeiten von der Erkennung bis zur Generierung organisiert, aktuelle Datensätze und Evaluierungsprotokolle synthetisiert und zentrale Herausforderungen wie kulturelle Einschränkungen und Sicherheitsbedenken identifiziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spazieren durch eine riesige, belebte Bibliothek, in der die Bücher nicht nur Wörter auf einer Seite sind, sondern Bilder, die sprechen, singen und Witze erzählen. Dies ist die Welt der Multimodalen Großen Sprachmodelle (MLLMs). Betrachten Sie diese KI-Systeme als superintelligente Studenten, die fast jedes Buch gelesen und fast jedes Bild in der Bibliothek gesehen haben. Sie sind unglaublich gut darin, zu beschreiben, was sie sehen: „Das ist ein Hund“ oder „Das ist ein brennendes Haus“. Sie können ein Bild einer Katze mit dem Wort „Katze“ mit perfekter Genauigkeit zuordnen.
Aber hier liegt der knifflige Teil: Menschliche Kommunikation besteht nicht nur aus Fakten. Es geht um Witze, Sarkasmus und Memes. Ein Meme zeigt vielleicht eine Katze, die in einem Karton sitzt, aber der Witz ist nicht, dass die Katze in einem Karton sitzt; der Witz ist, dass die Katze aussieht wie ein König, der ein winziges Königreich regiert, oder dass der Karton eigentlich ein Raumschiff ist. Um den Witz zu verstehen, muss man die verborgene Bedeutung, die kulturellen Referenzen und die Tatsache verstehen, dass das Bild vorgibt, etwas anderes zu sein. Dieses Paper untersucht, warum unsere superintelligenten KI-Studenten immer noch schrecklich darin sind, diese Witze zu verstehen, obwohl sie das Bild perfekt beschreiben können. Es ist wie ein Roboter, der zwar jede Zutat eines Kuchens aufzählen kann, aber keine Ahnung hat, warum der Kuchen lustig ist oder warum er gut schmeckt.
Die große Lücke im Verständnis von Humor
Dieses Paper ist ein massiver Zeugnisbericht für die KI zum Thema multimodaler Humor. Die Autoren, ein Team von Forschern aus Universitäten, untersuchten, wie gut KI lustige Bilder, Cartoons und Memes versteht. Sie fanden heraus, dass KI zwar sehr gut im „einfachen“ Zeug geworden ist – wie etwa das Erkennen eines Hundes oder eines Autos –, aber immer noch mit dem „schwierigen“ Zeug kämpft: der Frage, warum etwas lustig ist.
Die Forscher organisierten das Problem in drei Ebenen, wie das Erklimmen einer Leiter:
Ebene 1: Erkennung (Das „Was“)
Dies ist die unterste Sprosse. Kann die KI erkennen, ob ein Bild lustig ist oder nicht? Kann sie den Hund im Bild identifizieren? Das Paper zeigt, dass die KI darin eigentlich ziemlich gut ist. Sie kann oft sagen: „Ja, dieses Meme ist lustig“ oder „Das ist ein Politiker“. Es ist wie ein Student, der die Pointe in einem Witzbuch zwar erkennt, aber nicht weiß, warum er lustig ist.Ebene 2: Interpretation und Schlussfolgerung (Das „Warum“)
Dies ist die mittlere Sprosse, und hier wird es unordentlich. Kann die KI erklären, warum der Witz funktioniert? Versteht sie, dass der Witz über einen bestimmten Politiker Witze macht oder dass er eine kulturelle Referenz aus den 1990er Jahren verwendet? Das Paper stellt fest, dass die KI hier massiv scheitert. Sie gibt oft Antworten, die richtig klingen, aber eigentlich falsch sind, oder sie verfehlt den Punkt völlig. Es ist wie ein Student, der einen Witz zwar nacherzählen kann, ihn aber so erklärt, dass der Humor verloren geht, weil er die verborgene Bedeutung nicht begriffen hat.**Ebene 3: Generierung (Das „Machen“) **
Dies ist die oberste Sprosse. Kann die KI ein lustiges Meme erstellen oder eine lustige Bildunterschrift schreiben? Das Paper betrachtet dies als eine neue Grenze. Um einen guten Witz zu machen, muss man zuerst die Regeln des Humors verstehen. Die Forscher fanden heraus, dass KI oft versucht, Witze zu machen, die einfach nur... langweilig sind. Sie mögen grammatikalisch korrekt sein, aber sie sind nicht wirklich lustig, weil die KI den Mechanismus des Humors nicht wirklich „begreift“.
Die drei großen Probleme
Die Autoren identifizierten drei Hauptgründe, warum KI solche Schwierigkeiten mit Witzen hat:
- Die „Abkürzungs“-Falle (Shortcut Trap): KI-Modelle sind intelligent, aber sie sind auch faul. Sie lernen oft, die Antwort zu erraten, indem sie nach einfachen Mustern suchen. Wenn zum Beispiel ein Bild das Gesicht eines Politikers und eine traurige Wolke zeigt, könnte die KI einfach „traurig“ oder „lustig“ raten, nur weil sie diese Kombination schon einmal gesehen hat, ohne die Geschichte dahs dahinter wirklich zu verstehen. Das Paper legt nahe, dass viele aktuelle Tests zu einfach sind und es der KI erlauben, durch diese Abkürzungen zu „schummeln“, anstatt wirklich nachzudenken.
- Der kulturelle blinde Fleck: Witze beruhen auf gemeinsamem Wissen. Wenn man nicht weiß, wer eine bestimmte Berühmtheit ist oder was ein aktuelles Nachrichtenereignis war, versteht man den Witz nicht. Das Paper weist darauf hin, dass KI hauptsächlich auf englischer Sprache und westlicher Internetkultur trainiert wurde. Es ist wie ein Student, der nur Witze aus einem einzigen Land kennt und völlig verloren ist, wenn ihm jemand einen Witz aus einer anderen Kultur erzählt. Er übersieht die „Insider-Witze“, die den Humor ausmachen.
- Das „Geschichten“-Problem: Viele lustige Dinge, wie Comic-Strips, erzählen eine Geschichte über mehrere Panels hinweg. Der Witz entsteht durch den Vergleich dessen, was im ersten Panel passiert ist, mit dem, was im letzten passiert. Das Paper fand heraus, dass KI oft schlecht darin ist, die Verbindung zwischen diesen Panels herzustellen. Sie betrachtet jedes Bild separat, anstatt die ganze Geschichte zu sehen, wodurch das Timing und die Überraschung verloren gehen, die einen Comic-Strip lustig machen.
Was das Paper tatsächlich herausgefunden hat
Die Forscher haben nicht nur geraten; sie haben viele verschiedene KI-Modelle mit einer Vielzahl von Witz-Datensätzen getestet. Sie fanden heraus:
- KI wird besser darin, lustige Dinge zu entdecken, aber sie liegt bei der Erklärung immer noch weit hinter Menschen zurück.
- Die besten Modelle (wie einige sehr große, teure Modelle) können etwa 80 % der Erkennungsaufgaben richtig lösen, fallen aber signifikant ab, wenn sie gebeten werden, den Witz zu erklären oder den richtigen Titel für einen Cartoon zu wählen.
- Menschen sind immer noch die Könige der Komödie. In den Tests, in denen Menschen mit der KI verglichen wurden, verstanden Menschen die Witze konsistent viel besser, insbesondere wenn die Witze das Verständnis sozialer Normen oder kultureller Referenzen erforderten.
Das Paper warnt uns auch vor der Zukunft. Wenn KI besser darin wird, Witze zu machen, könnte sie versehentlich gemeine oder verletzende Witze machen, weil sie den Unterschied zwischen „lustig“ und „verletzend“ nicht versteht. Es ist, als würde man einem Roboter ein Stand-up-Comedy-Mikrofon geben, ohne ihn über Empathie zu unterrichten.
Das Fazit
Dieses Paper ist ein Realitätscheck. Es sagt uns, dass unsere KI-Freunde zwar fantastisch darin werden, die Welt zu beschreiben, aber immer noch völlig verwirrt über die Bedeutung hinter den Witzen der Welt sind. Sie können den Hund sehen, aber sie verstehen nicht, warum der Hund einen Hut trägt und sich wie ein Mensch verhält. Um dies zu beheben, sagen die Autoren, wir müssen aufhören, nur zu testen, ob die KI die richtige Antwort errät, und stattd�en damit beginnen, zu testen, ob sie tatsächlich die Geschichte, die Kultur und den Grund hinter dem Lachen versteht. Bis dahin mag die KI zwar einen Witz erzählen können, aber sie wird wahrscheinlich nicht wissen, wann sie über ihre eigene Pointe lachen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.