CREATE: Testing LLMs for Associative Creativity

Das Paper stellt CREATE vor, einen Benchmark zur Bewertung der Fähigkeit von KI-Modellen, assoziatives kreatives Denken durch die Generierung spezifischer und vielfältiger Verbindungen zwischen Konzepten zu testen, wobei Ergebnisse zeigen, dass selbst fortschrittliche Modelle Schwierigkeiten haben, die Komplexität dieser Aufgabe vollständig zu meistern.

Das Wesentliche

🧠 CREATE: Der Kreativitäts-Test für KI

Stell dir vor, du hast einen riesigen, leeren Raum voller Schränke. In jedem Schrank liegen Millionen von Fakten: Wer hat wann mit wem gespielt? Welche Krankheit wird von welchem Medikament behandelt? Wer kennt wen?

Das Problem:
Künstliche Intelligenzen (KI) wie Chatbots sind super darin, Informationen aus diesen Schränken zu holen. Wenn du sie fragst: „Wer hat den Film Titanic gedreht?", antworten sie sofort: „James Cameron". Das ist wie ein guter Bibliothekar, der genau weiß, wo das Buch steht.

Aber echte Kreativität ist etwas anderes. Echte Kreativität ist wie ein Detektiv, der zwei völlig unzusammenhängende Dinge verbindet und sagt: „Weißt du? Der Schauspieler Dakota Johnson ist die Stieftochter von Antonio Banderas, und Antonio Banderas war in Shrek zu sehen. Also ist Dakota Johnson indirekt mit einem Oger verbunden!"

Das ist assoziatives Denken: Den Sprung von A nach Z zu machen, indem man einen krummen, aber logischen Pfad über B, C und D findet.

🎯 Was ist CREATE?

Die Forscher haben ein neues Spielzeug entwickelt, das CREATE heißt. Es ist wie ein Kreativitäts-Prüfstand für KI-Modelle.

Stell dir CREATE als ein Kreativitäts-Sudoku vor:

1. Die Aufgabe: Die KI bekommt zwei Punkte auf einer Landkarte (z. B. „Dakota Johnson" und „Ein Schauspieler aus einem Fantasy-Film").
2. Das Ziel: Die KI muss so viele verschiedene, spannende und korrekte Wege finden, diese beiden Punkte zu verbinden.
3. Die Regeln:
   • Spezifität: Der Weg muss nicht nur wahr sein, sondern auch interessant. „Sie sind beide Menschen" ist ein Weg, aber ein langweiliger. „Sie haben beide in einem Film mit Chris Evans gespielt" ist besser.
   • Vielfalt: Die KI soll nicht nur fünfmal denselben Weg nennen. Sie soll verschiedene Routen ausprobieren (Familie, Beruf, Hobbys, etc.).

🏆 Wie wird bewertet?

Die Forscher geben den KIs eine Punktzahl, die kreative Nutzbarkeit heißt.

• Wenn eine KI nur 10 Wege findet, die alle langweilig sind (z. B. alle über ihre Geburtsstadt), bekommt sie wenig Punkte.
• Wenn eine KI 50 Wege findet, von denen einer sehr spezifisch ist (z. B. über eine Stiefmutter) und einer sehr überraschend ist (z. B. über einen Charity-Event), bekommt sie viele Punkte.

Es ist wie bei einem Kochwettbewerb:

• Ein schlechter Koch serviert nur Nudeln (korrekt, aber langweilig).
• Ein kreativer Koch serviert Nudeln, aber mit einer überraschenden Sauce aus exotischen Früchten und einem dekorativen Gemüse, das niemand erwartet hätte.

🤖 Was haben die Forscher herausgefunden?

Sie haben die neuesten, stärksten KIs (wie GPT-5, Gemini, Claude) getestet. Hier sind die Ergebnisse, einfach erklärt:

1. Die Starken sind stark, aber nicht perfekt: Die besten KIs schaffen es, wirklich kreative Verbindungen herzustellen. Sie sind besser als die alten Modelle.
2. Denken kostet nicht immer mehr Punkte: Man könnte denken: „Wenn die KI länger nachdenkt (mehr Rechenzeit), wird sie kreativer." Das stimmt nicht immer. Manchmal denkt die KI nur lange über denselben langweiligen Weg nach, statt neue zu finden.
3. Die „Kreativitäts-Prompt"-Falle: Forscher haben versucht, die KIs mit Sätzen wie „Sei kreativ!" zu motivieren. Das hilft ein bisschen, aber es ist kein Wundermittel. Die KI wird dadurch nicht plötzlich zu einem Genie.
4. Qualität vs. Quantität: Manche KIs produzieren viele Wege, aber viele davon sind falsch (Halluzinationen). Andere sind sehr vorsichtig und liefern nur wenige, aber wahre Wege. Die beste KI muss einen guten Mittelweg finden.

🚀 Warum ist das wichtig?

Stell dir vor, du bist ein Wissenschaftler, der nach einer neuen Heilung für eine Krankheit sucht. Du musst Ideen haben, die noch niemand hatte.

• Früher dachten wir: „KI kann nur Fakten abrufen."
• Heute zeigt CREATE: „KI kann Ideen verbinden."

Das Paper sagt uns: Wir können KI nutzen, um wie ein kreativer Assistent zu arbeiten, der uns hilft, neue Verbindungen zu sehen, die uns Menschen vielleicht entgehen. Aber wir müssen noch lernen, wie wir sie am besten anleiten, damit sie nicht nur „Rauschen" produzieren, sondern echte, nützliche Ideen.

Kurz gesagt: CREATE ist der erste ehrliche Test, um zu sehen, ob eine KI wirklich „kreativ" ist oder nur gut im Auswendiglernen. Und die KIs bestehen den Test gerade erst – sie haben Potenzial, sind aber noch nicht die genialen Erfinder, die wir uns wünschen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „CREATE: Testing LLMs for Associative Creativity" auf Deutsch.

1. Problemstellung und Motivation

Kreativität, insbesondere assoziatives Denken (die Fähigkeit, neue und sinnvolle Verbindungen zwischen Konzepten herzustellen), ist ein zentraler Aspekt menschlicher Intelligenz und für wissenschaftliche Entdeckungen sowie kreatives Problemlösen essenziell. Bisherige Benchmarks zur Bewertung der Kreativität von Large Language Models (LLMs) leiden unter zwei Hauptproblemen:

• Subjektivität: Reale Kreativitätsaufgaben (z. B. Hypothesengenerierung) sind schwer objektiv zu bewerten.
• Abstraktheit: Symbolische Benchmarks (z. B. abstrakte Logikrätsel) bilden nicht ab, wie Modelle in der Realität mit Weltwissen interagieren.

Das Paper stellt die Frage, wie man die Fähigkeit von LLMs messen kann, assoziative Kreativität in einem realistischen, aber objektiv bewertbaren Rahmen zu demonstrieren. Es geht darum, ob Modelle nicht nur Fakten abrufen, sondern „triviaartige", aber starke Verbindungen zwischen scheinbar unzusammenhängenden Entitäten finden können.

2. Methodik: Der CREATE-Benchmark

Die Autoren stellen CREATE (Creative Associative Reasoning Evaluation Task) vor, einen neuen Benchmark, der auf Wissensgraphen basiert.

A. Aufgabenformulierung

Die Aufgabe besteht darin, für ein gegebenes Paar von Entitäten (z. B. eine Person und eine Kategorie) mehrere Pfade (Sequenzen von Tripeln) zu generieren, die diese Entitäten verbinden.

• Eingabe: Eine natürliche Sprachfrage (z. B. „Wie ist Dakota Johnson mit Personen verbunden, die in Fantasy-/Sci-Fi-Filmen mitgewirkt haben?").
• Ausgabe: Eine Menge von Pfaden, wobei jeder Pfad eine Kette von Fakten ist (z. B. Person A → Film X → Schauspieler B → Film Y).
• Anforderung: Die Pfade müssen faktisch korrekt sein und eine hohe Spezifität (Stärke der Verbindung) sowie hohe Diversität (Unterschiedlichkeit zu anderen gefundenen Pfaden) aufweisen.

B. Datenkuratierung

Der Datensatz wurde aus Wikidata generiert:

1. Es wurden Relation-Kategorie-Paare ausgewählt (z. B. „Cast Member" + „Film").
2. Aus diesen Klassen wurden Entitäten gepaart.
3. Ein „Source Path" (eine gültige Verbindung) wurde als Referenz extrahiert, um sicherzustellen, dass eine Lösung existiert.
4. Die Aufgabe wurde in eine natürliche Sprache umgewandelt, die nach verschiedenen Wegen fragt, die beiden Endpunkte zu verbinden.
5. Der Datensatz umfasst 931 Anfragen über diverse Domänen (Film, Wissenschaft, Politik, Genetik).

C. Metriken und Bewertung

Die Bewertung basiert auf zwei Dimensionen: Qualität und Diversität.

1. Qualität (Spezifität):

   • Gemessen durch die Spezifität der schwächsten Relation in einem Pfad.
   • Eine Relation ist spezifisch, wenn sie nur wenige Entitäten verbindet (z. B. „Stiefvater" ist spezifischer als „Bürger von").
   • Die Spezifität wird geschätzt, indem die Größe der Klasse der möglichen Subjekte oder Objekte einer Relation bewertet wird.
   • Ein Pfad ist nur so stark wie sein schwächstes Glied.

2. Diversität (Entfernung):

   • Gemessen durch die cosine distance zwischen den String-Repräsentationen der Pfade.
   • Pfade, die sich nur geringfügig unterscheiden (Paraphrasen), erhalten eine niedrige Distanz. Pfade, die völlig andere Domänen oder Konzepte nutzen, erhalten eine hohe Distanz.

3. Creative Utility (Kreativer Nutzen):

   • Eine kombinierte Metrik $s(U)$, die die Qualität der Pfade mit ihrer Diversität gewichtet.
   • Sie nutzt einen Patience-Faktor ($\gamma$), der bestimmt, wie stark zusätzliche Pfade den Gesamtscore erhöhen. Dies simuliert, wie ein Nutzer eine Liste von Ideen durchsucht.
   • Formel: $s(U) = \max_{\tau} \sum \gamma^{i-1} \cdot f(u_{\tau(i)}) \cdot \min d(u_{\tau(i)}, u_{\tau(j)})$.

4. Distinctiveness (Einzigartigkeit):

   • Misst, wie weit ein generierter Pfad von der „Population" aller generierten Antworten entfernt ist. Ziel ist es, mindestens einen Pfad zu finden, der sich von typischen Mustern abhebt.

3. Experimentelles Setup

• Modelle: Eine breite Palette von Modellen wurde getestet, darunter „Non-Thinking"-Modelle (GPT-4.1, Claude-3-Haiku, Qwen2.5/3, OLMo) und „Thinking"-Modelle (GPT-5, Gemini-3-Pro, Claude-Haiku-4.5, OLMo-Think).
• Prompting-Strategien: Neben dem Basis-Prompt wurden Variationen getestet:
  • Be creative: Explizite Aufforderung zur Kreativität.
  • Verbalized Sampling: Das Modell soll eine Wahrscheinlichkeitsverteilung über seine Ausgaben angeben.
  • Iterative Regeneration: Das Modell wird aufgefordert, neue Antworten zu generieren, die sich von vorherigen unterscheiden.
  • Resampling: Mehrere unabhängige Generierungen mit gleicher Temperatur.
• Token-Budgets: Bei „Thinking"-Modellen wurden verschiedene Reasoning-Budgets (16k, 32k Token) getestet.

4. Wichtige Ergebnisse

A. Leistung der Frontier-Modelle

• GPT-5 und Gemini-3-Pro erzielten die höchsten Scores in der „Creative Utility".
• Frontier-Modelle generieren sowohl hochwertige als auch diverse Pfade.
• Es gibt jedoch eine Trade-off-Beziehung zwischen Faktualität und Kreativität: Modelle, die sehr viele Pfade generieren (hohe Utility), neigen manchmal zu geringerer Faktualität. GPT-5 zeigte hier eine bessere Balance als Open-Source-Modelle.

B. Denken (Thinking) und Token-Budgets

• Kein linearer Gewinn: Höhere Token-Budgets oder explizites „Denken" (Thinking-Modelle) führen nicht automatisch zu besseren Ergebnissen.
• Die Analyse der Reasoning-Traces zeigt, dass Modelle oft redundante Pfade generieren oder in lokalen Optima stecken bleiben, anstatt den Suchraum effizient zu erkunden.
• Selbst mit hohen Token-Budgets erreichen Modelle nicht die „Sättigung" des Benchmarks; die Suche im konzeptionellen Raum bleibt ineffizient.

C. Prompting-Interventionen

• Die meisten Prompt-Variationen („Be creative") hatten nur einen geringen oder inkonsistenten Effekt.
• Iterative Regeneration und Resampling waren die effektivsten Methoden, um die Utility zu steigern, da sie einfach die Anzahl der generierten Pfade erhöhen.
• „Verbalized Sampling" führte zu einer drastischen Reduktion der Anzahl valider Pfade, wahrscheinlich aufgrund der Komplexität der Aufgabe, Wahrscheinlichkeiten zu berechnen.

D. Einzigartigkeit (Distinctiveness)

• Die meisten Modelle neigen dazu, ähnliche, vorhersehbare Pfade zu generieren (Homogenität).
• Die Fähigkeit, einzigartige (distinctive) Pfade zu finden, die sich von der Masse abheben, ist auch bei den besten Modellen begrenzt.
• Die „Iterative"-Strategie zeigte hier den größten positiven Effekt, da sie das Modell zwingt, explizit nach Abweichungen zu suchen.

5. Bedeutung und Fazit

• Neuer Standard: CREATE bietet einen ersten objektiven, skalierbaren und realitätsnahen Benchmark für assoziative Kreativität, der über reine Faktenabfrage hinausgeht.
• Herausforderung für KI: Die Ergebnisse zeigen, dass aktuelle LLMs zwar gut darin sind, bekannte Verbindungen zu finden, aber Schwierigkeiten haben, den Suchraum kreativ zu durchsuchen und wirklich neuartige, aber korrekte Assoziationen zu generieren.
• Limitationen des „Thinking": Mehr Rechenzeit oder explizite Denkprozesse lösen das Problem der kreativen Exploration nicht automatisch. Es bedarf neuer Architekturen oder Suchstrategien, um den „Long-Tail" von Verbindungen effektiv zu erschließen.
• Anwendungspotenzial: Der Benchmark ist ein wichtiger Schritt, um KI-Systeme zu entwickeln, die menschliche Forscher und Kreative bei der Hypothesengenerierung und Ideenfindung unterstützen können, anstatt nur bestehendes Wissen zu reproduzieren.

Zusammenfassend demonstriert CREATE, dass die Bewertung von Kreativität in LLMs möglich ist, aber die aktuellen State-of-the-Art-Modelle noch weit davon entfernt sind, menschliche assoziative Fähigkeiten in ihrer Tiefe und Vielfalt vollständig zu erreichen.