Are LLMs becoming similarly creative? Evidence from three years of models

Technische Zusammenfassung: „Werden LLMs ähnlich kreativ? Evidenz aus drei Jahren der Modellentwicklung“

Problemstellung
Während zahlreiche Benchmarks die Leistung von Large Language Models (LLMs) bei Aufgaben mit verifizierbaren Antworten verfolgen, mangelt es an longitudinalen Daten bezüglich der LLM-Leistung bei offenen Aufgaben, bei denen Kreativität, Originalität und Diversität von zentraler Bedeutung sind. Bestehende Forschung deutet darauf sich hin, dass LLMs zwar individuell kreativ erscheinen mögen, jedoch oft eine kollektive Homogenität aufweisen, indem sie Outputs produzieren, die sich zwischen verschiedenen Modellen und über die Zeit hinweg ähneln. Es bleibt jedoch unklar, ob diese Homogenität ein temporäres Artefakt der sich entwickelnden Technologie oder ein unvermeidliches Merkmal statistischer Sprachmodelle ist. Aktuelle Benchmarks (z. B. MMLU, HELM) konzentrieren sich auf explizite Kriterien mit verifizierbaren Antworten und versäumen es, Trends in der Diversität oder Originalität kreativer Outputs über die Zeit hinweg zu erfassen.

Methodik
Die Autoren führten eine vorläufige temporale Analyse der LLM-Output-Diversität mittels eines vierstufigen Prozesses durch:

1. Prompt-Selektion: Zwei komplementäre Sätze offener Prompts wurden ausgewählt, um kreatives Verhalten zu provozieren:
   • Alternate Uses Task (AUT): Ein standardisierter psychometrischer Test für divergentes Denken, bei dem Modelle unkonventionelle Verwendungszwecke für alltägliche Objekte generieren.
   • Infinity-Chat100: Eine Sammlung von 100 realen, offenen Nutzeranfragen, die sechs Kategorien abdecken, einschließlich kreativer Inhaltsgenerierung, Brainstorming und Ideengenerierung.
2. Datenerhebung: Die Prompts wurden gegen 68 Modelle getestet, die zwischen März 2023 und Juli 2026 veröffentlicht wurden und 12 große Modell-Anbieter repräsentieren (33 Closed-Weight und 34 Open-Weight Modelle). Alle Generierungen verwendeten eine Temperatur und ein Top-p von 1.0, um stochastisches Sampling beizubehalten.
3. Semantische Einbettung: Die Antworten wurden unter Verwendung des Sentence-Transformer-Modells all-MiniLM-L6-v2 eingebettet. Für den AUT wurde jeweils alle Verwendungszwecke für ein einzelnes Objekt als ein einziger Vektor eingebettet; für Infinity-Chat wurde jede Antwort individuell eingebettet.
4. Regressionsanalyse: Die Studie berechnete die Kosinus-Distanzen zwischen den Embeddings von Cross-Family-Modellpaaren (Modelle von verschiedenen Anbietern), um die semantische Divergenz zu messen. Diese Paare wurden in neun zeitliche Bins basierend auf den Veröffentlichungsdaten gruppiert. Eine gewöhnliche kleinste Quadrate-Regression (OLS) wurde durchgeführt, wobei die mittlere Kosinus-Distanz gegen den Bin-Index aufgetragen wurde. Um den Bias durch ungleiche Repräsentation der Familien zu mildern, führten die Autoren 1.000 Iterationen einer familienbalancierten Resampling-Methode durch, um eine Verteilung von Steigungsschätzungen zu generieren.

Zentrale Beiträge

• Longitudinales Framework: Diese Arbeit liefert das erste Framework zur Verfolgung der Evolution der kreativen Outputs von LLMs über die Zeit, womit sie über statische Momentaufnahmen des Modellverhaltens hinausgeht.
• Dual-Task-Analyse: Durch die Kombination eines kontrollierten psychometrischen Tasks (AUT) mit realen Nutzeranfragen (Infinity-Chat100) bewertet die Studie Kreativität sowohl in strukturierten als auch in unstrukturierten Kontexten.
• Quantitativer Beleg für Konvergenz: Die Studie liefert empirische Belege dafür, dass die Outputs von LLMs im Laufe der Zeit zunehmend ähnlicher werden, was die Annahme infrage stellt, dass neuere Modelle inhärent eine größere kreative Diversität bieten.

Ergebnisse
Die Analyse zeigt eine statistisch signifikante Abnahme der Modell-Output-Diversität über den dreijährigen Beobachtungszeitraum:

• Trend: Sowohl die AUT- als auch die Infinity-Chat-Datensätze zeigen eine konsistente negative Steigung der Cross-Family-Kosinus-Distanz über die Zeit, was auf eine zunehmende semantische Ähnlichkeit (Homogenität) hindeutet.
• Magnitude: Der Rückgang ist im Alternate Uses Task am ausgeprägtesten, wo die mittlere Cross-Family-Distanz vom frühesten Release-Bin auf unter 0,40 im jüngsten Bin sank. Der Infinity-Chat-Datensatz zeigte einen sanfteren, aber konsistenten Rückgang von ~0,34 auf ~0,32.
• Robustheit: Alle 1.000 Resampling-Iterationen ergaben negative Steigungen für beide Datensätze, was bestätigt, dass der Trend über verschiedene Kombinationen von Modellen jeder Familie hinweg robust ist.

Bedeutung und Behauptungen
Die Arbeit postuliert, dass LLMs in Aufgaben, die offene Antworten erfordern, weniger kreativ werden, was auf eine Konvergenz der kreativen Substanz zwischen den Modellen hindeutet. Die Autoren argumentieren, dass, falls dieser Trend anhält, die „durch LLMs getriebene Homogenisierung die menschliche Handlungsfähigkeit in der Mensch-KI-Ko-Kreativität progressiv einschränken könnte“.

Die Studie rahmt diese Ergebnisse als eine vorläufige Analyse ein, die eine sorgfältige Betrachtung der Rolle von LLMs im menschlichen kreativen Prozess erfordert. Sie hebt ein potenzielles „KI-Kreativitäts-Paradoxon“ hervor: Während Modelle individuell kreativ erscheinen mögen, werden ihre aggregierten Outputs immer weniger divers, was potenziell den Bereich der Ideen, mit denen Nutzer konfrontiert werden, begrenzt und die nachgelagerte menschliche Kreativität negativ beeinflussen kann. Die Autoren betonen explizit, dass ihre Arbeit vorläufig ist, und fordern zukünftige Forschung, um die zugrunde liegenden Mechanismen (wie etwa gemeinsame Trainingsdaten oder Destillation) und die spezifischen Faktoren zu untersuchen, die diese Konvergenz antreiben.