💬 NLP

Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations

Diese Arbeit analysiert kritisch vier gängige Metriken zur Bewertung von Kreativität über verschiedene Domänen hinweg und zeigt deren signifikante Inkonsistenzen, domänenspezifische Einschränkungen sowie die Diskrepanz zu menschlichen Urteilen auf, wodurch die dringende Notwendigkeit robusterer und verallgemeinerbarer Frameworks unterstrichen wird.

Ursprüngliche Autoren: Li-Chun Lu, Miri Liu, Pin-Chun Lu, Yufei Tian, Shao-Hua Sun, Nanyun Peng

Veröffentlicht 2026-01-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Li-Chun Lu, Miri Liu, Pin-Chun Lu, Yufei Tian, Shao-Hua Sun, Nanyun Peng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Talentscout, der versucht, die kreativsten Autoren, Problemlöser und Wissenschaftler der Welt zu finden. Sie haben einen riesigen Stapel mit Beiträgen, aber Sie brauchen eine Möglichkeit, die „genialen“ von den „langweiligen“ schnell zu sortieren. Da es zu viele Einträge sind, um sie von Hand zu lesen, beschließen Sie, vier verschiedene automatisierte Werkzeuge (Metriken) einzusetzen, damit diese das Sortieren für Sie übernehmen.

Dieser Bericht ist im Wesentlichen ein Zeugnis für diese vier Werkzeuge. Die Autoren haben diese getestet, um zu sehen, ob sie tatsächlich funktionieren, und die schlechte Nachricht ist: sie sind alle ziemlich unzuverlässig.

Hier ist eine Aufschlüsselung der vier getesteten Werkzeuge und warum sie gescheitert sind, unter Verwendung einfacher Analogien:

Die vier getesteten Werkzeuge

1. Der „Copy-Paste“-Detektor (Kreativitätsindex)

Wie er funktioniert: Dieses Werkzeug scannt das Internet, um zu sehen, ob ein Satz schon einmal geschrieben wurde. Wenn eine Phrase einzigartig ist und nicht in dieser riesigen Datenbank erschienen ist, vergibt es eine hohe „Kreativitäts“-Punktzahl.
Das Problem: Es ist, als würde man die Kreativität eines Kochs allein daran messen, wie viele Zutaten er verwendet hat, die sonst noch niemand gekauft hat.
- In der kreativen Schreibweise funktionierte es ganz gut, da einzigartige Wörter oft eine frische Geschichte bedeuten.
- Beim Problemlösen und in der Wissenschaft versagte es kläglich. Eine brillante neue wissenschaftliche Idee könnte sehr gewöhnliche, Standard-Wörter verwenden (wie „Experiment“ oder „Daten“), sodass dieses Werkzeug sie als langweilig einstuft. Umgekehrt könnte ein Autor seltsame, obskure Wörter benutzen, nur um klug zu klingen, und dieses Werkzeug hält ihn dafür für ein Genie. Es misst die Wortschatzvielfalt, nicht die Neuheit der Idee.

2. Der „Überraschungsmesser“ (Perplexity)

Wie er funktioniert: Dieses Werkzeug errät, wie „überrascht“ ein Computer durch das nächste Wort in einem Satz wäre. Wenn der Text sehr vorhersehbar ist, ist der Wert niedrig. Wenn er seltsam und unerwartet ist, ist der Wert hoch. Die Idee ist: Kreativität = Überraschung.
Das Problem: Es ist, als würde man einen Komiker danach beurteilen, wie oft das Publikum vor Verwirrung nach Luft schnappt.
- Manchmal erhält ein Text eine hohe Punktzahl (sehr überraschend), nur weil er grammatikalisch chaotisch oder unsinnig ist, nicht weil er kreativ ist.
- Manchmal ist eine wirklich brillante, klare Idee sehr flüssig und leicht zu lesen, weshalb das Werkzeug ihr eine niedrige Punktzahl gibt.
- Die Autoren fanden heraus, dass „kreative“ und „unkreative“ Texte oft exakt dieselben Werte erhielten, was das Werkzeug unbrauchbar macht, um sie voneinander zu unterscheiden.

3. Der „Satzstruktur-Scanner“ (Syntaktische Templates)

Wie er funktioniert: Dieses Werkzeug untersucht das Skelett von Sätzen (z. B. „Das [Nomen] [Verb] das [Adjektiv] [Nomen]“). Es prüft, ob der Schreiber immer wieder dieselben Satzmuster verwendet.
Das Problem: Es ist, als würde man einen Maler nur nach der Form seiner Pinselstriche beurteilen und das Bild, das er malt, ignorieren.
- In der kreativen Schreibweise erkannte es, dass KI oft repetitive, formelhafte Satzstrukturen verwendet (wie „Die Reise des Helden begann, als...“).
- In der Wissenschaft und beim Problemlösen müssen Experten jedoch oft eine standardisierte, formelhafte Sprache verwenden, um klar und präzise zu sein. Dieses Werkzeug bestrafte sie dafür, dass sie klar waren, indem es sie als unkreativ einstufte, weil sie den Regeln der Grammatik folgten.

4. Der „KI-Richter“ (LLM-as-a-Judge)

Wie er funktioniert: Hierbei wird eine andere KI eingesetzt, um die Arbeit zu lesen und ihr eine Note zu geben, genau wie ein menschlicher Lehrer.
Das Problem: Es ist, als würde man einen Schüler beauftragen, die Hausaufgaben eines anderen Schülers zu bewerten. Sie sind inkonsistent und leicht zu täuschen.
- Wankelmütig: Wenn man die Frage leicht ändert (z. B. „Ist dies kreativ?“ vs. „Ist dies unkreativ?“), ändert die KI ihre Meinung komplett.
- Voreingenommen: Sie tendiert dazu, eine Seite zu wählen (z. B. immer zu sagen: „Nein, das ist nicht kreativ“), unabhängig von der tatsächlichen Qualität.
- Unzuverlässig: Wenn man sie gebeten hat, denselben Essay dreimal zu bewerten, stimmte sie nur in 40 % der Fälle mit sich selbst überein. Sie rät im Grunde nur.

Das große Ganze

Die Autoren testeten diese Werkzeuge auf drei verschiedene Arten von Kreativität:

Kreatives Schreiben (Geschichten, Gedichte).
Problemlösung (seltsame Wege finden, alltägliche Gegenstände zu nutzen).
Forschungsideenfindung (neue wissenschaftliche Theorien entwickeln).

Das Ergebnis: Kein einzelnes Werkzeug funktionierte für alle drei Bereiche. Ein Werkzeug, das gut darin war, eine kreative Geschichte zu erkennen, war schrecklich darin, eine kreative wissenschaftliche Idee zu erkennen. Manchmal widersprachen sich die Werkzeuge sogar bei exakt demselben Textstück.

Das Fazit

Das Paper kommt zu dem Schluss, dass wir derzeit keine zuverlässige Methode haben, um wahre Kreativität automatisch zu messen.

Aktuelle Werkzeuge messen hauptsächlich oberflächliche Dinge wie Wortwahl, Satzlänge oder wie „seltsam“ ein Text aussieht.
Sie scheitern daran, die tatsächliche Idee oder das Konzept hinter dem Text zu erfassen.
Nur weil ein Computer basierend auf diesen Zahlen etwas als „kreativ“ bezeichnet, bedeutet das nicht, dass ein Mensch dem zustimmen würde.

Die Autoren sagen im Wesentlichen: „Wir müssen aufhören, uns auf diese einfachen mathematischen Tricks zu verlassen. Wir müssen bessere Systeme bauen, die tatsächlich Ideen verstehen und nicht nur Wörter, bevor wir ihnen erlauben können, menschliche (oder maschinelle) Kreativität zu beurteilen.“

Technisches Resümee: Überdenken der Kreativitätsbewertung

Problemstellung

Während Large Language Models (LLMs) eine hohe Kompetenz in strukturierten Aufgaben wie logischem Denken und Beantwortung von Fragen gezeigt haben, bleibt ihre Fähigkeit, kreative Inhalte zu generieren, begrenzt und schwer zu bewerten. Kreativität ist von Natur aus multidimensional und domänenspezifisch, dennoch mangelt es an zuverlässigen, automatisierten Metriken, die die Leistung von LLMs über verschiedene kreative Domänen hinweg effektiv benchmarken können. Bestehende Evaluierungsmethoden scheitern oft daran, mit der menschlichen Wahrnehmung von Kreativität übereinzustimmen, was zu Inkonsistenzen bei der Identifizierung und Messung „kreativer“ Outputs führt. Diese Arbeit adressiert die kritische Frage: Wie können wir Evaluierungsmetriken auswählen, die die menschlich wahrgenommene Kreativität über verschiedene Domänen hinweg präzise widerspiegeln?

Methodik

Die Autoren führten eine umfassende Analyse von vier repräsentativen Kreativitätsmetriken über drei unterschiedliche kreative Domänen hinweg durch:

Domänen:
- Kreatives Schreiben: Generierung von künstlerischen und ästhetischen Inhalten (z. B. Filmplots, Gedichte).
- Unkonventionelle Problemlösung: Funktionales Denken unter Durchbrechung kognitiver Biase (z. B. die MacGyver-Aufgabe).
- Forschungs-Ideenfindung: Logische Synthese existierender Fakten zur Generierung neuartiger wissenschaftlicher Ideen (z. B. ICLR-Paper-Einreichungen).
Datensätze:
Für jede Domäne kuratierten die Autoren Datensätze, die gepaarte Beispiele von „kreativen“ und „unkreativen“ Outputs enthalten, welche basierend auf menschlichem Urteil gelabelt wurden.
- Kreatives Schreiben: 150 von Menschen geschriebene vs. 150 von LLMs generierte Narrative.
- Problemlösung: 573 unkonventionelle Lösungen vs. LLM-generierte konventionelle Lösungen.
- Forschungs-Ideenfindung: 513 akzeptierte vs. 513 abgelehnte Paper von ICLR 2024, gefiltert nach Soundness- und Präsentations-Scores, um Kreativität als differenzierenden Faktor zu isolieren.
Evaluierte Metriken:
Die Studie untersuchte vier Metriken, die auf unterschiedlichen Granularitätsebenen operieren:
- Creativity Index (CI): Misst die Originalität auf Phrasenebene durch Berechnung der n-Gramm-Überlappung mit groß angelegten Web-Korpora (unter Verwendung des DJ SEARCH/Infini-Gram Algorithmus).
- Perplexity (PPL): Misst die statistische Unerwartetheit auf Token-Ebene basierend auf den Vorhersagewahrscheinlichkeiten von Sprachmodellen.
- Syntaktische Templates: Bewertet die strukturelle Diversität durch die Detektion der Abhängigkeit von gängigen Wortarten-Mustern (POS-Mustern) (z. B. CR-POS, Template-Rate, Templates pro Token).
- LLM-as-a-Judge: Verwendet LLMs (speziell Claude 3.7 Sonnet in der besten Konfiguration) mit Chain-of-Thought (CoT) Reasoning und Rubrik-basiertem Prompting, um ganzheitliche, konzeptuelle Bewertungen bereitzustellen.

Kernergebnisse

Die Analyse offenbarte signifikante Inkonsistenzen sowohl über die Domänen hinweg als auch zwischen den Metriken:

Creativity Index (CI):
- Domänensensitivität: Der CI konnte im Bereich Kreatives Schreiben zwischen kreativem und unkreativem Text effektiv unterscheiden, versagte jedoch in den Bereichen Problemlösung und Forschungs-Ideenfindung.
- Limitierungen: Der CI misst primär die lexikalische Diversität statt konzeptioneller Neuartigkeit. Seine Scores sind hochsensibel gegenüber Implementierungsentscheidungen, insbesondere bezüglich der Länge der n-Gramme ( $L$ ) und der Auswahl des Referenzkorpus. Kleine Änderungen in $L$ (z. B. 5–7 vs. 5–11) oder dem Korpus können die Scores drastisch verändern und die Unterscheidung zwischen menschlichen und LLM-generierten Outputs teilweise vernachlässigbar machen.
Perplexity (PPL):
- Inkonsistenz: PPL zeigte über alle Domänen hinweg überlappende Score-Verteilungen zwischen kreativen und unkreativen Datensätzen. In einigen Fällen (z. B. Kreatives Schreiben) wiesen LLM-generierte Inhalte eine höhere Perplexity auf, während in anderen Fällen (z. B. Forschungs-Ideenfindung) abgelehnte Paper eine niedrigere Perplexity hatten.
- Fazit: PPL spiegelt Fluenz und Modellkonfidenz wider, nicht jedoch Neuartigkeit oder Kreativität.
Syntaktische Templates:
- Effektivität: Diese Metrik hatte Schwierigkeiten in Domänen, in denen neuartige Ideen durch formelhafte Sprache ausgedrückt werden (z. B. Forschungs-Ideenfindung und Problemlösung).
- Beobachtung: Im Bereich Kreatives Schreiben wurde festgestellt, dass LLMs stark auf repetitive syntaktische Strukturen angewiesen sind (z. B. spezifische 8-Gramm-Templates für Plot-Twists), während menschliches Schreiben eine größere strukturelle Varianz aufwies. Die Metrik konnte jedoch die konzeptionelle Kreativität in anderen Domänen nicht erfassen.
LLM-as-a-Judge:
- Performance: Obwohl sie isoliert betrachtet eine moderate Leistung zeigten, wiesen LLM-Judges eine signifikante Instabilität und Bias auf.
- Biases: Modelle zeigten eine Tendenz zu einseitigen Vorhersagen (z. B. die Klassifizierung der meisten Lösungen als „konventionell“ oder von Plots als „nicht originell“).
- Instabilität: Die Evaluationen waren hochsensibel gegenüber geringfügigen Variationen im Prompt (z. B. änderte das Ersetzen von „conventional“ durch „unconventional“ im Prompt die Präferenzen des Modells). Wiederholte Evaluationen derselben Instanz durch denselben Judge zeigten lediglich eine Konsistenz von etwa 40 %.
- Korrelation: Es gab eine schwache Korrelation (Pearson $r \approx 0,16$ ) zwischen LLM-Scores und menschlichen Experten-Scores in der Forschungs-Ideenfindung.
Exploratory Semantic Novelty Score (SNS):
- Eine experimentelle Pipeline, die semantische Embeddings nutzt, um die konzeptionelle Distanz zu messen, konnte nicht konsistent zwischen kreativen und unkreativen Outputs unterscheiden, was die Schwierigkeit verdeutlicht, Ideen-basierte Neuartigkeit automatisch zu erfassen.

Zentrale Beiträge

Kritische Analyse bestehender Metriken: Die Arbeit demonstriert systematisch, dass aktuelle automatisierte Metriken (CI, PPL, Syntaktische Templates, LLM-as-a-Judge) weder Generalisierbarkeit noch Konsistenz über kreative Domänen hinweg besitzen.
Identifikation spezifischer Limitierungen:
- CI misst lexikalische Seltenheit, nicht konzeptionelle Neuartigkeit.
- PPL misst Fluenz, nicht Kreativität.
- Syntaktische Templates übersehen semantische Innovation in formelhaften Kontexten.
- LLM-as-a-Judge ist anfällig für Bias, Prompt-Sensitivität und geringe Konsistenz.
Diagnostischer Rahmen: Die Studie liefert eine diagnostische Grundlage für das Fachgebiet, indem sie klärt, wo und wie aktuelle Metriken scheitern – insbesondere in ihrer Tendenz, stilistische Neuartigkeit zu betonen, während sie konzeptionelle Neuartigkeit vernachlässigen.
Ressourcenfreigabe: Die Autoren stellen die kuratierten Datensätze und den Evaluierungscode zur Verfügung, um zukünftige Forschung zu erleichtern.

Bedeutung und Ansprüche

Die Arbeit kommt zu dem Schluss, dass die aktuelle Landschaft der Kreativitätsbewertung fragmentiert und unzuverlässig ist. Die Ergebnisse unterstreichen die dringende Notwendigkeit robusterer, generalisierbarer Evaluierungsrahmen, die besser mit menschlichen Urteilen über Kreativität übereinstimmen.

Die Autoren behaupten bescheiden, dass ihre Arbeit keine neue, perfekte Metrik vorschlägt, sondern vielmehr eine essenzielle diagnostische Grundlage schafft. Indem sie die spezifischen Lücken bestehender Methoden aufzeigen, zielt die Studie darauf ab:

Praktiker dazu anzuleiten, bestehende Metriken mit angemessener Vorsicht zu interpretieren.
Forscher über die spezifischen konzeptionellen Lücken zu informieren, die in zukünftiger Arbeit adressiert werden müssen.
Die Notwendigkeit hervorzuheben, über oberflächliche Muster (lexikalisch oder syntaktisch) hinauszugehen und hin zu Methoden zu gelangen, die Ideen-basierte Neuartigkeit erfassen können, potenziell unter Nutzung zukünftiger Fortschritte wie Large Concept Models (LCM) und Continuous Chain-of-Thought-Architekturen.

Letztlich argumentiert die Arbeit, dass die Weiterentwicklung der Kreativitätsbewertung essenziell ist, um die Lücke zwischen menschlicher und maschineller kreativer Leistung zu schließen.