Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

Die Studie zeigt, dass die alleinige Verwendung von n-Gram-Neuartigkeit als Metrik für Textkreativität unzureichend ist, da sie den Aspekt der Angemessenheit ignoriert und bei KI-Modellen oft mit geringerer Pragmatik einhergeht, während menschliche Expertenbewertungen und fortgeschrittene LLMs als Richter eine genauere Bewertung ermöglichen.

Das Wesentliche

Das große Missverständnis: „Neu" ist nicht immer „Kreativ"

Stellen Sie sich vor, Sie gehen in eine riesige Bibliothek, die alle Bücher enthält, die jemals geschrieben wurden. Die Forscher dieser Studie haben eine neue Art von „Kreativitäts-Messgerät" untersucht, das nur eine Frage stellt: „Ist dieser Satz in der Bibliothek schon einmal vorgekommen?"

Wenn ein Satz noch nie da war, nennt das Messgerät ihn „neu" (novel). Viele glauben bisher, dass „neu" automatisch „kreativ" bedeutet. Diese Studie sagt jedoch: Falsch!

Hier ist die Geschichte, warum das so ist, erklärt mit ein paar einfachen Bildern:

1. Der verrückte Koch vs. der geniale Künstler

Die Studie vergleicht Texte mit Gerichten.

• Das alte Messgerät (n-Gramm-Neuheit): Es schaut nur auf die Zutaten. Wenn ein Koch Zutaten nimmt, die noch nie zusammengekocht wurden (z. B. „Schokolade und Hering"), sagt das Messgerät: „Wow, das ist super kreativ! Das gibt es noch nie!"
• Das Problem: Das Gericht schmeckt vielleicht furchtbar. Es ist zwar neu, aber es ist kein gutes Essen. Es macht keinen Sinn.
• Die Erkenntnis der Studie: Echte Kreativität braucht zwei Dinge:
  1. Neuheit: Es muss etwas Besonderes sein.
  2. Passung (Pragmatik): Es muss schmecken und in den Kontext passen.

Die Forscher haben 26 echte Schriftsteller (Experten) gebeten, Texte zu lesen und zu bewerten. Das Ergebnis war schockierend: 91 % der Texte, die das alte Messgerät als „super neu" eingestuft hat, wurden von den Schriftstellern als „nicht kreativ" abgelehnt, weil sie einfach nur seltsam oder sinnlos waren.

2. Der KI-Fluch: Je verrückter, desto schlechter

Die Studie hat untersucht, wie künstliche Intelligenz (KI) schreibt.

• Menschen: Wenn ein Mensch einen Satz schreibt, der sehr ungewöhnlich ist, macht er das meist mit Absicht, um eine schöne Metapher zu schaffen. Der Satz macht immer noch Sinn.
• KI: Wenn die KI versucht, „neu" zu klingen, gerät sie oft ins Wanken. Je mehr sie versucht, Wörter zu mischen, die noch nie zusammen waren, desto mehr verliert sie den Faden.
  • Das Bild: Stellen Sie sich einen KI-Roboter vor, der versucht, ein Gedicht zu schreiben. Je mehr er versucht, „neue" Wörter zu erfinden, desto mehr beginnt er zu stammeln. Er sagt Dinge wie: „Die Stühle wurden von den Morgenblessings errötet." Das ist neu, aber es ist Unsinn.

Die Studie zeigt: Bei KI führt mehr „Neuheit" oft zu weniger „Sinn".

3. Die neue Lösung: Der „Kritiker-KI"-Assistent

Da das alte Messgerät (nur auf Neuheit schauen) versagt hat, haben die Forscher eine neue Methode getestet. Sie haben gefragt: „Können wir eine andere KI bauen, die wie ein menschlicher Lektor denkt?"

Sie haben KI-Modelle (wie GPT-5) trainiert, nicht nur zu zählen, ob Wörter neu sind, sondern die Texte wirklich zu lesen und zu verstehen:

• „Macht dieser Satz Sinn?"
• „Passt er hierher?"
• „Ist das wirklich ein schöner, kreativer Moment?"

Das Ergebnis:

• Diese neuen „Kritiker-KIs" sind viel besser als das alte Zähl-Verfahren.
• Sie können erkennen, wenn ein KI-Text zwar „neu" klingt, aber eigentlich nur „Müll" (Slop) ist.
• Sie können auch erkennen, wenn ein menschlicher Text zwar bekannte Wörter benutzt, aber durch die Art, wie sie kombiniert sind, tiefgründig und kreativ ist.

Zusammenfassung in einem Satz

Die Studie sagt uns: Vertraue nicht blind darauf, dass etwas „noch nie dagewesen" ist, um es kreativ zu nennen. Echte Kreativität ist wie ein gutes Gericht: Die Zutaten müssen neu sein, aber sie müssen auch zusammenpassen und schmecken. KI neigt dazu, nur auf die „neuen Zutaten" zu achten und vergisst dabei, dass das Essen essbar sein muss.

Die Forscher haben jetzt ein besseres Werkzeug, um zu messen, was wirklich kreativ ist – und das hilft uns, KI-Texte besser zu bewerten und zu verbessern.

Technische Zusammenfassung

1. Problemstellung

Die Arbeit adressiert die zunehmende Abhängigkeit von n-Gramm-Neuheit (n-gram novelty) als primäres Metrik zur Bewertung der Textkreativität von Large Language Models (LLMs). Während Tools wie infini-gram und Metriken wie der Creativity Index die Neuheit von Textfragmenten basierend auf deren Abwesenheit in riesigen Trainingskorpora messen, argumentieren die Autoren, dass dieser Ansatz aus psychologischer Sicht unzureichend ist.

Das Kernproblem liegt in der Definition von Kreativität, die traditionell zwei Komponenten erfordert:

1. Neuheit (Novelty): Wie originell ist der Text?
2. Angemessenheit (Appropriateness): Ist der Text sinnvoll und pragmatisch korrekt im Kontext?

Die Autoren zeigen auf, dass n-Gramm-Neuheit zwar notwendig, aber nicht hinreichend für Kreativität ist. Ein Text kann völlig neu (in den Trainingsdaten unbekannt) sein, aber semantisch unsinnig oder kontextuell unpassend („AI Slop"). Umgekehrt kann ein Text, der n-Gramm-mäßig nicht neu ist, dennoch kreativ wirken, wenn er im Kontext eine neue emotionale oder rhetorische Wirkung erzielt. Bisherige Metriken ignorieren diese Dualität und führen zu einer Fehleinschätzung der tatsächlichen kreativen Qualität von KI-Texten.

2. Methodik

Die Studie kombiniert linguistische Annotation durch Experten mit statistischer Modellierung und Evaluierung von LLMs als Richter (LLM-as-a-Judge).

• Datenerhebung und Operationalisierung:

  • Korpus: Es wurden 50 menschlich verfasste Fiktionstexte (aus dem New Yorker) und 50 von Open-Source-Modellen (OLMo 7B, OLMo-2 32B) generierte Texte verwendet. Zusätzlich wurden in einer explorativen Studie Texte von Frontier-Modellen (GPT-5, Claude 4.1) analysiert.
  • Annotation: 26 professionelle Schriftsteller (Experten) führten eine „Close Reading" (detaillierte Textanalyse) durch. Sie bewerteten atomare Ausdrücke (durch Interpunktion getrennte Einheiten) auf drei Ebenen:
    1. Sinnhaftigkeit (Sensicality): Macht der Ausdruck für sich allein Sinn?
    2. Pragmatik (Pragmaticality): Passt der Ausdruck kontextuell und logisch in den Textfluss?
    3. Wahrgenommene Neuheit (Perceived Novelty): Wirkt der Ausdruck ungewöhnlich, überraschend oder originell?
  • Kreativität: Ein Ausdruck wurde als kreativ klassifiziert, wenn er gleichzeitig als sinnhaft, pragmatisch und neu bewertet wurde.
  • Umfang: Insgesamt wurden 8.618 Annotationen für 2.783 eindeutige Ausdrücke gesammelt.

• Messung der n-Gramm-Neuheit:

  • Die Neuheit wurde mittels des infini-gram-Pakets berechnet, das die Wahrscheinlichkeit von Ausdrücken in den Trainingskorpora der Modelle (Dolma für OLMo) schätzt.
  • Als Proxy für die Neuheit diente die Perplexität (niedrige Wahrscheinlichkeit = hohe Neuheit).

• Statistische Analyse:

  • Es wurden hierarchische logistische Regressionsmodelle (Mixed-Effects Models) verwendet, um die Beziehungen zwischen Perplexität, Quelle (Mensch vs. KI) und den Bewertungen (Kreativität, Pragmatik) zu modellieren. Dies berücksichtigt die Variabilität zwischen verschiedenen Bewertern und Texten.

• LLM-as-a-Judge Evaluation:

  • Verschiedene Modelle (GPT-5, Claude, Gemini, finetuned Open-Source-Modelle) wurden getestet, um zu sehen, ob sie menschliche Urteile über kreative oder nicht-pragmatische Ausdrücke replizieren können (Zero-Shot, Few-Shot, Fine-Tuning).

3. Wichtige Ergebnisse

• n-Gramm-Neuheit ist kein verlässlicher Kreativitätsindikator:

  • Obwohl eine hohe Perplexität (hohe Neuheit) statistisch signifikant mit Kreativität korreliert, ist die Prädiktivität schwach.
  • Kritischer Befund: Ca. 91 % der Ausdrücke mit der höchsten n-Gramm-Neuheit (Top-Quartile) wurden von Experten nicht als kreativ bewertet.
  • Umgekehrt gibt es viele kreative Ausdrücke mit sehr niedriger Perplexität (d.h. sie kommen in den Trainingsdaten vor), die dennoch als kreativ gelten, weil sie kontextuell brillant sind.

• Negativer Effekt der Neuheit auf die Pragmatik bei Open-Source-Modellen:

  • Bei menschlichen Texten gibt es keinen signifikanten Zusammenhang zwischen n-Gramm-Neuheit und Pragmatik.
  • Bei Open-Source-LLMs (OLMo, OLMo-2) besteht eine negative Korrelation: Je höher die n-Gramm-Neuheit, desto geringer die Wahrscheinlichkeit, dass der Ausdruck pragmatisch korrekt ist. Das Modell versucht, neu zu sein, opfert dabei aber den Sinn und den Kontextfluss.

• Vergleich Mensch vs. KI (Frontier-Modelle):

  • Frontier-Modelle (GPT-5, Claude 4.1) produzieren signifikant weniger kreative Ausdrücke als menschliche Autoren (Odds Ratio < 0,6).
  • Auch bei diesen Modellen zeigt sich der Trend, dass hohe Neuheit oft mit geringerer Pragmatik einhergeht, auch wenn die Datenlage hier aufgrund der kleinen Stichprobe weniger robust ist.

• Fähigkeit von LLMs, Kreativität zu bewerten:

  • LLMs (insbesondere Reasoning-Modelle wie GPT-5) können menschliche Urteile über kreative Ausdrücke besser als Zufall vorhersagen (F1-Score ~41 % vs. Zufall ~9,6 %).
  • Die Identifikation von nicht-pragmatischen Ausdrücken fällt den Modellen jedoch deutlich schwerer (F1-Score < 20 %). Dies spiegelt die Schwierigkeit wider, „AI Slop" oder kontextuelle Brüche zu erkennen.

• Alignment mit Expertenpräferenzen:

  • Die „Novelty"-Scores eines LLM-as-a-Judge korrelieren stärker mit Expertenpräferenzen als der rein n-Gramm-basierte Creativity Index.
  • Interessanterweise korrelieren die Pragmatik-Scores des LLM-as-a-Judge nur mit Crowd-Präferenzen (LMArena), nicht aber mit Expertenurteilen, was auf eine Diskrepanz zwischen Laien- und Expertenwahrnehmung von „Fehlern" hindeutet.

4. Hauptbeiträge

1. Kritische Überprüfung der n-Gramm-Metrik: Die Arbeit liefert empirische Beweise dafür, dass n-Gramm-Neuheit allein als Kreativitätsmetrik irreführend ist, da sie den Großteil der „kreativsten" KI-Texte als nicht-kreativ einstuft und viele echte kreative Leistungen (die nicht neu sind) übersieht.
2. Neue Operationalisierung: Einführung eines mehrdimensionalen Kreativitätsmodells (Neuheit + Sinnhaftigkeit + Pragmatik), das durch eine große Datensammlung von Expertenannotationen untermauert wird.
3. Entdeckung des Trade-offs: Nachweis eines negativen Zusammenhangs zwischen dem Streben nach n-Gramm-Neuheit und der kontextuellen Angemessenheit (Pragmatik) in aktuellen Open-Source-LLMs.
4. Benchmark für Bewertung: Bereitstellung eines Datensatzes und einer Evaluierungsmethode, die zeigt, dass moderne Reasoning-Modelle zwar in der Lage sind, menschliche Kreativitätsurteile nachzuahmen, aber insbesondere bei der Erkennung von kontextuellen Inkonsistenzen (nicht-pragmatischen Ausdrücken) noch erheblichen Nachholbedarf haben.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Konsequenzen für die Entwicklung und Bewertung von KI-Textgeneratoren:

• Paradigmenwechsel in der Evaluation: Entwickler sollten sich nicht mehr ausschließlich auf Metriken stützen, die die Abweichung von Trainingsdaten messen (wie Creativity Index oder reine Perplexität). Stattdessen müssen Metriken entwickelt werden, die die Angemessenheit (Pragmatik) und den Kontextfluss bewerten.
• Risiko der Homogenisierung vs. Slop: Die Ergebnisse warnen davor, dass das Optimieren von Modellen auf maximale Neuheit (z.B. durch RLHF oder spezielle Loss-Funktionen) zu Texten führen kann, die zwar „neu" klingen, aber inhaltlich sinnlos oder unpraktisch sind.
• Rolle von Experten: Da KI-Modelle (selbst Frontier-Modelle) Schwierigkeiten haben, nicht-pragmatische Ausdrücke zu erkennen, bleibt die menschliche Expertenbewertung (Close Reading) vorerst unersetzlich für die qualitative Bewertung von kreativem Schreiben.
• Zukunft der KI-Texte: Die Arbeit legt nahe, dass KI derzeit noch nicht in der Lage ist, die subtile Balance zwischen Originalität und Kontextkohärenz zu meistern, die menschliche Autoren erreichen, und dass aktuelle Evaluierungsmethoden diese Schwäche übersehen.

Zusammenfassend fordert das Paper einen „Tod der Novelty" als alleiniges Maß für Kreativität und plädiert für einen ganzheitlicheren Ansatz, der die menschliche Fähigkeit zur kontextuellen Interpretation in den Mittelpunkt stellt.