💬 NLP

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

Dieses Paper stellt CreativityPrism vor, ein skalierbares, domänenübergreifendes Evaluierungsframework, das große Sprachmodelle über acht Aufgaben in den Bereichen divergentes Denken, kreatives Schreiben und logisches Denken anhand von drei Dimensionen (Qualität, Neuartigkeit und Diversität) bewertet und aufzeigt, dass Spitzenmodelle zwar in den Bereichen Schreiben und logisches Denken exzellieren, jedoch keinen signifikanten Vorteil beim divergenten Denken aufweisen und die Leistung selten über verschiedene kreative Dimensionen hinweg generalisiert.

Ursprüngliche Autoren: Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, magische Bibliothek voller Textgeneratoren (Große Sprachmodelle oder LLMs). Alle stellen die Frage: „Sind diese Maschinen wirklich kreativ?“

Das Problem ist, dass „Kreativität“ ein schwer fassbarer Begriff ist. Manchmal bedeutet es, eine lustige Geschichte zu schreiben, manchmal bedeutet es, ein mathematisches Problem auf eine ungewöhnliche Weise zu lösen, und manchmal bedeutet es, einen neuen Verwendungszweck für eine Büroklammer zu finden. Vor dieser Arbeit versuchten Forscher, Kreativität mit unterschiedlichen Linealen für verschiedene Aufgaben zu messen, oder sie baten Menschen, jede einzelne Antwort zu bewerten, was langsam und teuer ist.

Hier kommt „CreativityPrism“.

Stellen Sie sich CreativityPrism als ein neues, hochmodernes Prisma vor, durch das man einen Lichtstrahl (den Output der KI) schickt. Anstatt nur einen weißen Fleck zu sehen, spaltet das Prisma das Licht in drei unterschiedliche Farben auf und offenbart die wahre Natur der Kreativität der Maschine.

Die drei Farben der Kreativität

Die Autoren argumentieren, dass man, um wirklich zu verstehen, ob eine Maschine kreativ ist, sie in drei spezifischen Arten messen muss:

Qualität (Die Farbe „Funktioniert es?“): Dies ist das Fundament. Wenn eine Maschine eine Geschichte schreibt, die keinen Sinn ergibt, oder ein mathematisches Problem falsch löst, spielt es keine Rolle, wie „neu“ die Idee auch sein mag. Es ist einfach nur Rauschen. Qualität misst, ob der Output tatsächlich die Aufgabe erfüllt.
Neuheit (Die Farbe „Wie seltsam ist es?“): Dies misst, wie weit die Antwort von der Gewöhnlichkeit abweicht. Hat die Maschine eine Lösung gefunden, die noch kein Mensch je gesehen hat? Oder hat sie nur das kopiert, was in ihren Trainingsdaten steht?
Diversität (Die Farbe „Wie viele Optionen gibt es?“): Dies misst die Breite. Wenn man die Maschine nach 10 Ideen fragt, sind es 10 völlig unterschiedliche Ideen oder nur 10 leicht variierte Versionen derselben Idee?

Die Analogie: Stellen Sie sich einen Koch vor.

Qualität: Das Essen schmeckt gut und ist nicht angebrannt.
Neuheit: Der Koch erfindet eine Geschmackskombination, die noch niemand zuvor probiert hat (z. B. Schokolade und Essiggurken).
Diversität: Der Koch kann 10 verschiedene Arten von Desserts zubereiten, nicht nur 10 Variationen von Schokoladenkuchen.
CreativityPrism prüft alle drei Aspekte. Ein Koch, der 100 verschiedene Versionen eines angebrannten Schokoladenkuchens macht, hat eine hohe Diversität, aber eine niedrige Qualität und eine niedrige Neuheit.

Der große Test: 17 Köche in der Küche

Die Autoren nahmen 17 der derzeit intelligentesten KI-Modelle (von Unternehmen wie OpenAI, Google, Anthropic und DeepSeek) und unterzogen sie 8 verschiedenen Herausforderungen in drei Bereichen:

Divergentes Denken: Wie der „Alternative Uses Test“ (z. B. „Was kann man mit einem Ziegelstein machen, außer eine Wand zu bauen?“).
Kreatives Schreiben: Das Schreiben von Geschichten oder Gedichten basierend auf Prompts.
Logisches Denken: Das Lösen von mathematischen Problemen oder das Schreiben von Code unter strengen, ungewöhnlichen Einschränkungen.

Was sie herausfanden (Die Wendung)

1. Die „Groß vs. Klein“-Lücke
Die massiven, teuren KI-Modelle (die „Frontier“-Modelle) sind im Allgemeinen besser im kreativen Schreiben und im logischen Denken. Sie sind wie Meisterköche, die komplexe Rezepte befolgen und wunderschöne Menüs schreiben können. Wenn es jedoch um divergentes Denken (das Finden wilder, unzusammenhängender Ideen) geht, schrumpft der Abstand zwischen den superteuren Modellen und den kleineren Open-Source-Modellen fast vollständig zusammen. Die großen Modelle sind nicht unbedingt besser darin, „außerhalb der Box zu denken“, als die kleineren Modelle.

2. Das „Spezialisten“-Problem
Hier ist die überraschendste Erkenntnis: Gut in einer Art von Kreativität zu sein, bedeutet nicht, dass man auch in einer anderen gut ist.

Ein Modell könnte fantastisch darin sein, einen Roman zu schreiben (Hohe Qualität), aber schrecklich darin, eine seltsame neue Verwendung für einen Löffel zu finden (Niedrige Neuheit).
Ein Modell könnte 1.000 verschiedene Antworten generieren (Hohe Diversität), aber keine davon ist tatsächlich neu oder nützlich (Niedrige Neuheit).

Die Autoren fanden heraus, dass „Neuheit“ die chaotischste Dimension ist. Nur weil ein Modell in einem mathematischen Problem „neu“ sein kann, bedeutet das nicht, dass es das auch in einer Geschichte sein wird. Es sind völlig unterschiedliche Fähigkeiten.

3. Die „Richter“-Lösung
Da Menschen zu langsam sind, um alle Tests zu bewerten, nutzten die Autoren einen cleveren Trick: Sie setzten andere KIs ein, um die Antworten zu bewerten. Aber sie vertrauten den „KI-Richtern“ nicht blind. Sie ließen zuerst menschliche Experten eine kleine Stichprobe bewerten, um sicherzustellen, dass die „KI-Richter“ tatsächlich mit den Menschen übereinstimmen. Es ist, als würde ein Chefkoch einige wenige Gerichte probieren, um sicherzustellen, dass die Sous-Chefs das Essen korrekt bewerten, bevor sie die gesamte Küche bewerten.

Das Fazgest

CreativityPrism ist ein neues Werkzeug, das uns davor bewahrt, einfach nur zu sagen: „Diese KI ist kreativ“ als eine einzige, vage Aussage. Stattdessen sagt es uns: „Diese KI ist großartig darin, gute Geschichten zu schreiben, ganz okay darin, Mathematik kreativ zu lösen, aber nicht besonders gut darin, wilde, unzusammenhängende Ideen zu entwickeln.“

Es beweist, dass Kreativität nicht eine einzige Superkraft ist; sie ist eine Sammlung verschiedener Fähigkeiten, die nicht immer gemeinsam auftreten. Um wirklich kreative Maschinen zu bauen, müssen wir sie gezielt für diese verschiedenen „Farben“ der Kreativität trainieren, anstatt nur zu hoffen, dass sie aus Versehen alles richtig machen.

Technisches Resümee: CreativityPrism

Problemstellung

Trotz des rasanten Fortschritts bei Large Language Models (LLMs) in der Generierung kreativer Texte gibt es derzeit kein einheitliches, domänenübergreifendes und skalierbares Framework zur Bewertung der Kreativität von LLMs. Bestehende Evaluationsmethoden leiden unter zwei primären Einschränkungen:

Fragmentierung: Die aktuelle Forschung ist über spezifische Domänen (z. B. divergentes Denken, kreatives Schreiben, Programmierung, Mathematik) mit engen Definitionen von Kreativität verstreut. Benchmarks konzentrieren sich oft auf einzelne Dimensionen (z. B. lexikalische Diversität oder unkonventionelle Ideen) und variieren in den getesteten Modellen, was einen Vergleich erschwert.
Skalierbarkeit: Kreativität ist inhärent subjektiv, was dazu führt, dass viele bestehende Benchmarks stark auf menschliche Evaluation angewiesen sind. Dieser Ansatz ist prohibitiv teuer, langsam und schwer in großem Maßstab zu replizieren, was einen Flaschenhals für die schnelle Iteration darstellt, die in der modernen KI-Forschung erforderlich ist.

Methodik

Die Autoren schlagen CreativityPrism vor, ein domänenübergreifendes Evaluationsframework, das darauf ausgelegt ist, die Bewertung von Kreativität in eine skalierbare, automatische Pipeline zu konsolidieren.

Framework-Design

Aufgabenauswahl: Das Framework integriert acht Aufgaben aus drei verschiedenen Domänen:
- Divergentes Denken: Alternative Uses Test (AUT), Divergent Association Task (DAT) und Torrance Tests of Creative Thinking (TTCT).
- Kreatives Schreiben: Torrance Test of Creative Writing (TTCW), Creative Short Story und Creativity Index.
- Logisches Denken: Creative Math und NeoCoder (Programmieren unter Nebenbedingungen).
Taxonomie der Dimensionen: Über die einfache Aggregation von Aufgaben hinaus kategorisieren die Autoren alle Evaluationsmetriken in drei theoretische Dimensionen der Kreativität, die auf den Torrance Tests of Creative Thinking (TTCT) basieren:
1. Qualität (Quality): Die Fähigkeit, kohärente, gut geformte und funktionale Antworten zu produzieren (z. B. Code-Korrektheit, narrative Fluenz).
2. Neuartigkeit (Novelty): Die Fähigkeit, Outputs zu produzieren, die von gängigen oder existierenden Lösungen abweichen (z. B. Einzigartigkeit im Vergleich zu Trainingskorpora oder Referenzlösungen).
3. Diversität (Diversity): Die Breite der Output-Verteilung, welche misst, wie stark ein Modell seine Antworten über mehrere Generationen hinweg variiert (z. B. semantische Distanz zwischen generierten Substantiven).
Skalierbare Evaluation (LLM-as-a-Judge): Um die Skalierbarkeit zu gewährleisten, nutzt das Framework eine automatische Evaluation. Für Metriken, die ein subjektives Urteil erfordern, setzen die Autoren ein LLM-as-a-Judge-Paradigma ein. Entscheidend ist, dass sie diese Judges mittels des Alternative Annotator Test (Calderon et al., 2025) validieren, um sicherzustellen, dass die gewählten LLM-Judges eng mit hochwertigen menschlichen Annotationen übereinstimmen (Fleiss Kappa $\ge$ 0,4), bevor sie eingesetzt werden.

Experimentelles Setup

Evaluierte Modelle: 17 State-of-the-Art (SoTA) LLMs wurden benchmarked, einschließlich Frontier-Scale-Modellen (GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1) und lokal bereitstellbaren Open-Source-Modellen (Mistral, Qwen, Llama, OLMo Familien).
Inferenz: Es wurden standardisierte Inferenz-Einstellungen angewendet (Temperatur 0,75, max. Tokens 4096), mit spezifischen Anpassungen für Aufgaben wie Creative Math (Temperatur 0,0) und Creativity Index (Temperatur 1,0).
Scoring: Die Rohmetriken wurden mittels Min-Max-Normalisierung skaliert und in die drei Dimensionen (Qualität, Neuartigkeit, Diversität) sowie einen Gesamt-Kreativitätswert aggregiert.

Zentrale Ergebnisse

Die Evaluation von 17 LLMs lieferte mehrere signifikante Erkenntnisse:

Leistungsunterschied (Performance Gap): Frontier-Scale-Modelle übertreffen lokal bereitstellbare Open-Source-Modelle deutlich. Die besten Frontier-Modelle führen die besten Open-Source-Modelle über die Kreativitätsdimensionen hinweg um etwa 0,10 (15 %) an.
- Dieser Abstand ist in den Bereichen Logisches Denken und Kreatives Schreiben am ausgeprägtesten.
- Der Abstand ist im Bereich Divergentes Denken geringer, was darauf hindeutet, dass diese Domäne im Vergleich zu Reasoning- und Schreibaufgaben in aktuellen Post-Training-Regimen weniger priorisiert wird.
- Die Dimension Qualität zeigt die größte Leistungsdisparität, was wahrscheinlich auf die starke Betonung von Reasoning-Aufgaben im Training von Frontier-Modellen zurückzuführen ist.
Mangelnde Generalisierung: Eine hohe Leistung in einer kreativen Dimension oder Domäne garantiert keinen Erfolg in anderen.
- Neuartigkeits-Metriken zeigen schwache oder sogar negative Korrelationen mit anderen Metriken. Beispielsweise kann ein Modell hochgradig diverse Outputs generieren (hohe Diversität), die jedoch einzeln betrachtet unoriginell sind, oder einen einzelnen neuartigen Output ohne Variation produzieren (hohe Neuartigkeit, niedrige Diversität).
- Diese Fragmentierung bestätigt, dass Kreativität keine monolithische Fähigkeit ist; die „Kreativität“ eines Modells ist stark aufgabe- und dimensionsabhängig.
Modell-Rankings: Unter den Open-Source-Modellen kristallisierte sich Qwen2.5-72B als der leistungsstärkste Akteur heraus. Unter den Frontier-Modellen zeigten DeepSeek-V3 und GPT-4.1 die höchsten allgemeinen kreativen Fähigkeiten.

Bedeutung und Beiträge

Das Paper beansprucht die folgenden Beiträge:

Einheitliches Framework: Es führt CreativityPrism ein, das erste Framework, das acht Aufgaben aus drei Domänen systematisch in eine einzige, skalierbare Evaluationspipeline kombiniert.
Dimensionale Taxonomie: Es schlägt eine „Qualität, Neuartigkeit und Diversität“-Taxonomie vor und argumentiert, dass die Trennung von „Originalität“ in „Neuartigkeit“ (Tiefe/Abweichung) und „Diversität“ (Breite/Varianz) für eine nuancierte LLM-Evaluation essenziell ist.
Zuverlässige Automatisierung: Es validiert den Einsatz von LLM-as-a-Judge für die Bewertung von Kreativität durch rigorose menschliche Alignment-Tests (Alternative Annotator Test) und bietet so eine skalierbare Alternative zur manuellen Bewertung.
Empirische Erkenntnisse: Der Benchmark zeigt auf, dass aktuelle LLMs fragmentierte kreative Fähigkeiten besitzen; Frontier-Modelle glänzen zwar bei reasoning-getriebener Kreativität, zeigen jedoch keinen signifikanten Vorteil beim divergenten Denken. Dies unterstreicht die Notwendigkeit domänenübergreifender Frameworks, um irreführende Schlussfolgerungen über die Fähigkeiten von Modellen zu vermeiden.

Limitationen

Die Autoren räumen mehrere Limitationen ein:

Modalität: Das Framework ist derzeit auf Text beschränkt; multimodale Kreativität wird nicht abgedeckt, da die Methoden zur automatischen Evaluation in diesem Bereich noch unreif sind.
Domänenabdeckung: Hochgradig kreative Bereiche wie wissenschaftliche Entdeckungen und innovatives Design sind ausgeschlossen, da es an zuverlässigen automatischen Evaluationsmetriken mangelt.
Menschliche Validierung: Obwohl die LLM-Judges validiert wurden, waren die menschlichen Annotatoren primär Informatik-Forscher (CS Researchers) und keine Experten für Kreativitätsforschung; zudem waren die Stichprobengrößen durch Ressourcen begrenzt.
Datenkontamination: Modelle mit späteren Veröffentlichungsdaten könnten einen Vorteil bei Neuartigkeitsmetriken haben, falls ihre Trainingsdaten Überschneidungen mit den Referenzkorpora des Benchmarks aufweisen.

Zusammenfassend argumentiert das Paper, dass ein domänenübergreifendes, multidimensionales Framework wie CreativityPrism für jede aussagekräftige Bewertung der LLM-Kreativität unerlässlich ist, da Single-Domain- oder Single-Metric-Evaluationen die Komplexität maschineller Kreativität nicht erfassen können.