💻 computer science

AGC-Bench: Measuring Artificial General Creativity

Dieses Paper führt AGC-Bench ein, ein umfassendes Benchmark- und Evaluierungsframework, das ein einheitliches Maß für künstliche allgemeine Kreativität etabliert, einen einzelnen Kreativitätsfaktor aufzeigt, der sich von der allgemeinen Intelligenz unterscheidet, und gleichzeitig demonstriert, dass die besten menschlichen Schöpfer aktuelle Frontier-LLMs weiterhin übertreffen.

Ursprüngliche Autoren: Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek von Tests, die darauf ausgelegt sind, zu sehen, wie „kreativ“ verschiedene Menschen sind. Einige Tests bitten Sie, neue Verwendungszwecke für einen Backstein zu finden, andere bitten Sie, einen lustigen Witz zu schreiben, und wieder andere fragen Sie, ein wissenschaftliches Rätsel zu lösen. Lange Zeit haben Forscher gestritten: Ist Kreativität eine einzige große Superkraft, die einem hilft, bei all diesen Dingen gut zu sein (so wie die Fähigkeit, gut in Mathematik zu sein, einem bei der Physik helfen kann), oder ist sie eine Sammlung separater Fähigkeiten, bei der man vielleicht ein großartiger Dichter, aber ein schrecklicher Ingenieur sein kann?

Jetzt haben wir Künstliche Intelligenz-Modelle (KI), die Geschichten schreiben, Probleme lösen und Witze erzählen können. Aber wir hatten bisher keine Möglichkeit, zu messen, ob die Kreativität einer KI eine allgemeine Superkraft ist oder nur eine Reihe isolierter Tricks.

Dieses Paper stellt AGC-Bench vor, ein massives neues „Kreativitäts-Fitnessstudio“ für KI. Hier ist das, was die Forscher gemacht und herausgefunden haben, einfach erklärt:

1. Das ultimative Kreativitäts-Fitnessstudio bauen

Die Forscher haben nicht einfach nur einen neuen Test erstellt. Stattdessen agierten sie wie Bibliothekare und Detektive. Sie scannten über 3.000 wissenschaftliche Arbeiten, um jeden einzelnen Kreativitätstest zu finden, der jemals für KI erstellt wurde. Aus diesem Berg an Papieren wählten sie 78 unterschiedliche Tests aus (wie einen „Brainstorming“-Test, einen „Geschichtenerzähl“-Test und einen „Humor“-Test) und bauten ein einheitliches System, um sie alle gleichzeitig durchzuführen.

Man kann es sich wie den Bau eines einzigen Fitnessstudios vorstellen, das ein Laufband, ein Gewichtstraining, eine Kletterwand und einen Swimmingpool besitzt – alles kalibriert, um denselben Athleten zu messen. Sie testeten 83 verschiedene KI-Modelle in diesem Fitnessstudio.

2. Das „Richter“-Problem und der neue Schiedsrichter

Wenn Sie eine KI bitten, den Witz oder die Geschichte einer anderen KI zu bewerten, kann die KI-Richterin voreingenommen sein – manchmal zu streng, manchmal zu nachgiebig. Es ist, als hätte man einen Schiedsrichter, der ein Team liebt und das andere hasst.

Um dies zu beheben, nutzten die Forscher einen cleveren Trick namens Judge Response Theory. Sie ließen drei verschiedene „Super-KI“-Schiedsrichter jede Antwort bewerten. Dann nutzten sie Mathematik, um herauszufinden, welcher Schiedsrichter der „strenge Coach“ und welcher der „nachgiebige Coach“ war. Sie passten die Punktzahlen an, damit alle fair bewertet wurden. Schließlich trainierten sie eine neue, Open-Source-KI (genannt AGC-Judge), die als perfekter Schiedsrichter fungiert, der dieses faire Gremium nachahmt, damit jeder dies später nutzen kann, ohne drei teure Super-KIs zu benötigen.

3. Die große Entdeckung: Ist Kreativität eine Sache oder viele?

Dies ist die Hauptfrage des Papers. Sie fragten: Wenn eine KI gut darin ist, Geschichten zu schreiben, ist sie dann automatisch auch gut darin, wissenschaftliche Probleme zu lösen?

Die Antwort: Ja, größtenteils.
Als sie die Ergebnisse analysierten, fanden sie heraus, dass Kreativität in der KI wie ein einziger, leistungsstarker Motor funktioniert. Sie nennen dies den „C-Faktor“ (ähnlich dem „g-Faktor“ für die allgemeine Intelligenz beim Menschen).

Die Metapher: Stellen Sie sich Kreativität wie eine Taschenlampe vor. Wenn eine KI eine helle Taschenlampe hat (hoher „C“), leuchtet sie auf allen verschiedenen Tests hell auf, egal ob sie ein Gedicht schreibt oder einen Witz macht.
Die Statistik: Dieser einzelne „C-Faktor“ erklärte 81,5 % der Unterschiede zwischen den Modellen. Wenn man weiß, wie gut eine KI bei einer kreativen Aufgabe abschneidet, kann man vorhersagen, wie gut sie bei fast jeder anderen kreativen Aufgabe abschneiden wird.

Doch genau wie ein Mensch vielleicht ein besserer Autor als ein Mathematiker sein kann, haben auch die besten KI-Modelle immer noch leichte Vorlieben. Einige waren etwas besser im Humor, andere etwas besser bei wissenschaftlichen Ideen, aber der übergeordnete „kreative Motor“ war derselbe.

4. Ist KI-Kreativität nur getarnte „Logik“?

Einige Leute dachten: „Vielleicht ist die KI nicht wirklich kreativ, sondern einfach nur sehr gut in Logik und Fakten.“
Die Forscher testeten dies, indem sie die Modelle baten, „kreativ zu sein“ versus „logisch zu sein“.

Das Ergebnis: Der KI zu sagen, sie solle „kreativ sein“, steigerte ihre Punktzahlen viel stärker, als ihr zu sagen, sie solle ihr „logisches Gehirn nutzen“. Dies beweist, dass der Test tatsächlich Kreativität misst und nicht bloß Logik.

5. Menschen vs. KI: Wer ist flexibler?

Sie verglichen die KI-Ergebnisse mit einer Gruppe echter Menschen, die dieselben Tests absolvierten.

Das Ergebnis: Menschen sind sehr „spezialisiert“. Ein Mensch, der großartig darin ist, Poesie zu schreiben, ist vielleicht nicht großartig darin, technische Rätsel zu lösen. Ihre Kreativität ist in verschiedene Eimer unterteilt.
Der KI-Unterschied: KI ist überraschend „generell“. Eine KI, die in einer Sache gut ist, ist meistens in allem gut. Sie ist weniger spezialisiert als ein Mensch.
Der Gewinner: Obwohl die KI sehr flexibel ist, schlug der beste Mensch im Raum immer noch die beste KI bei den schwierigsten Aufgaben. Der beste Mensch war etwas voraus auf der besten KI, aber die KI holt schnell auf.

Zusammenfassung

Das Paper hat einen riesigen, fairen und standardisierten Spielplatz gebaut, um die Kreativität von KI zu messen. Sie fanden heraus, dass die Kreativität einer KI eine einzelne, allgemeine Fähigkeit ist (wie eine Super-Batterie), die die Leistung bei allen Arten von kreativen Aufgaben antreibt, anstatt einer Menge separater Fähigkeiten. Während die beste KI unglaublich nah an der besten menschlichen Leistung ist, hält der beste Mensch immer noch die Krone, und die menschliche Kreativität ist spezialisierter (gut in einigen Dingen, schlecht in anderen) im Vergleich zum „Alleskönner“-Ansatz der KI.

Sie haben alle ihre Werkzeuge, Daten und den „fairen Schiedsrichter“-KI der Öffentlichkeit zur Verfügung gestellt, damit andere diese Modelle weiterhin testen und verbessern können.

Technisches Resümee: AGC-Bench: Messung künstlicher allgemeiner Kreativität

Problemstellung

Die Kreativitätsforschung debattiert seit langem darüber, ob kreative Fähigkeit eine allgemeine Kapazität (analog zum Spearman-g-Faktor der Intelligenz) oder eine Sammlung domänenspezifischer Fähigkeiten ist. Während Large Language Models (LLMs) zunehmend mit kreativen Aufgaben betraut werden, fehlt dem Feld eine einheitliche Infrastruktur, um zu evaluieren, ob die Kreativität eines Modells über Domänen hinweg generalisiert oder in Silos verbleibt. Bestehende Evaluierungen sind fragmentiert über hunderte heterogene Benchmarks mit inkompatiblen Scoring-Protokollen, was es empirisch unmöglich macht zu bestimmen, ob ein Modell, das in kreativem Schreiben glänzt, auch über starke Fähigkeiten in wissenschaftlicher Ideenfindung, Humor oder Problemlösung verfügt. Darüber hinaus führt die Abhängigkeit von „LLM-as-a-judge“ zu systematischen Verzerrungen in Bezug auf Milde und Strenge, die wahre Leistungsunterschiede verschleiern.

Methodik

1. Konstruktion von AGC-Bench

Die Autoren führen AGC-Bench ein, ein Meta-Benchmark, der durch eine PRISMA-konforme systematische Übersicht der KI-Kreativitätsliteratur konstruiert wurde.

Literaturrecherche: Aus 3.101 Kandidatenpapieren (2018–2025) identifizierte das Team 497 einzigartige Benchmarks.
Onboarding-Pipeline: Ein agentischer Workflow konvertierte 78 dieser Benchmarks in standardisierte, ausführbare HELM-Stil-Szenarien. Dies beinhaltete 67 rein textbasierte Datensätze und 11 multimodale Szenarien.
Taxonomie: Die textbasierten Datensätze wurden in sechs Domänen unterteilt, die in der menschlichen Kreativitätsforschung verwurzelt sind: Brainstorming, Problemlösung, STEM, Geschichte/Narrativ, figurative Sprache und Humor.
Evaluationsskala: 83 Frontier-LLMs (proprietär und Open-Weight) wurden über diese Datensätze evaluiert. Jedes (Modell, Datensatz)-Paar wurde anhand von $n=50$ Items bewertet, wobei die Rangstabilität mittels Bootstrap bestätigt wurde.

2. Scoring und Kalibrierung (Judge Response Theory)

Um die Verzerrung beim automatisierten Scoring zu adressieren, wandten die Autoren die Judge Response Theory (JRT) an:

Drei-Richter-Panel: Ein geplantes „2-von-3“-Design mit fehlenden Werten wurde verwendet, bei dem jedes Item von zwei von drei Frontier-LLM-Richtern (Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini) bewertet wurde.
Bayesianische Kalibrierung: Ein Bayesianisches Graded Response Model (GRM) wurde angepasst, um die pro-Richter-Schwere- und Diskriminationsparameter wiederherzustellen, wodurch systematische Milde oder Strenge korrigiert wurde.
AGC-Judge: Ein Qwen3-30B-A3B-Instruct-Modell wurde auf 48.299 JRT-korrigierten Bewertungen feinjustiert, um den AGC-Judge zu erstellen – ein Open-Weight-Scoring-Modell, das das Drei-Richter-Ensemble mit hoher Genauigkeit ( $\rho \ge 0,97$ ) repliziert und gleichzeitig Bewertungen auf ungesehenen Benchmarks mit hoher Treue ( $\rho = 0,83$ ) vorhersagt.

3. Psychometrische Analyse

Die Studie verwendete eine Faktorenanalyse auf der 83 Modelle $\times$ 6 Domänen Matrix, um auf einen allgemeinen Kreativitätsfaktor zu testen.

Externe Validität: Die Konstruktvalidität des Benchmarks wurde gegen eine reine fluide Denkprobe ( $G_f$ ) (Lewis-Mitchell Counterfactual Letter-String Analogien), eine menschlich bewertete Kreativitätsbatterie (MuCE) und innerhalb-modell-Interventionen (Prompting von Modellen, „kreativ zu sein“ vs. „effektiv zu sein“, sowie das Umschalten von Reasoning-Modi) verankert.
Menschlicher Vergleich: Eine Teilmenge von fünf Aufgaben (AGC-Human) ermöglichte einen direkten Vergleich zwischen 224 menschlichen Teilnehmern und 125 LLM-Evaluierungen.

Kernergebnisse

1. Existenz eines allgemeinen Kreativitätsfaktors (c)

Die Faktorenanalyse über die 83 Modelle hinweg offenbarte einen einzelnen, dominanten Kreativitätsfaktor, bezeichnet als $c$ , der 81,5 % der Varianz über die sechs Domänen erklärt (Cronbachs $\alpha = 0,96$ ).

Separabilität: Während $c$ mit fluidem Denken ( $\rho = 0,55$ ) und allgemeinem Wissen ( $\rho = 0,62$ ) korreliert, bleibt es statistisch von beiden unterscheidbar. Es ist auch von der Modellgröße unterscheidbar, obwohl die Gesamtzahl der Parameter moderat korreliert ( $\rho = 0,69$ ).
Robustheit: Der Faktor bleibt nach Herausrechnen des fluiden Denkens, über verschiedene Scoring-Familien (formelbasiert vs. LLM-Judge) und unter Modell-Subsampling bestehen.

2. Domänenspezifische Leistungsunterschiede

Obwohl ein allgemeiner Faktor existiert, ist die Leistung nicht uniform.

Leaderboard: Proprietäre Frontier-Modelle (z. B. Claude Opus 4.7, GPT-5.4/5.5) führen das Gesamtkomposit an, wobei Open-Weight-Modelle (z. B. GLM-5.1) dicht aufholt.
Dissoziationen: Spezifische Modelle zeigen distinkte Stärken. Beispielsweise führt kimi-k2.5 bei Problemlösung, rangiert aber nicht in den Top 5 für andere Domänen, während claude-opus-4.6-fast die Domäne Figurative Sprache signifikant anführt.

3. Sensitivität gegenüber kreativitäts-spezifischen Prompts

Interventionsexperimente zeigten, dass der Benchmark spezifisch Kreativität trackt und nicht allgemeines Denken:

Das Prompten der Modelle, „kreativ zu sein“, führte zu einem großen Leistungssprung ( $d_z = +1,40$ ), während die Aktivierung von Reasoning-Fähigkeiten nur eine viel kleinere Verschiebung bewirkte ( $d_z = +0,34$ ).

4. Menschliche vs. LLM-Kreativität

Auf der gepaarten-menschlichen Teilmenge:

Domänen-Generalität: Kreativität ist in LLMs signifikant domänen-generaler ( $\alpha = 0,64$ ) als beim Menschen ( $\alpha = 0,42$ ).
Leistungsdeckel: Der beste menschliche Performer führt immer noch den besten LLM um 0,12 Standardabweichungen an, obwohl Frontier-Modelle bei Aufgaben der Ideenfindung und des kreativen Schreibens die menschliche Leistung erreichen.

Kernbeiträge

AGC-Bench: Ein groß angelegter Meta-Benchmark, bestehend aus 78 Datensätzen (67 rein textbasiert, 11 multimodal), die unter einem einheitlichen Evaluations-Harness vereinigt sind und eine Größenordnung an Umfang über bisherige Arbeiten hinausgehen.
AGC-Judge: Ein Open-Weight, feinjustiertes Scoring-Modell, das den Konsens eines Drei-Richter-Frontier-Panels zu einem Bruchteil der Kosten reproduziert und somit eine skalierbare und reproduzierbare Kreativitäts-Evaluation ermöglicht.
Psychometrische Infrastruktur: Eine reproduzierbare Pipeline, die eine PRISMA-systematische Übersicht mit agentischem Onboarding und JRT-Kalibrierung kombiniert und so einen formalen Test für die Hypothese der „Artificial General Creativity“ etabliert.
Empirischer Beleg: Der erste groß angelegte Nachweis, dass die Kreativität von LLMs weitgehend eindimensional (ein allgemeiner $c$ -Faktor) ist, sich jedoch von allgemeiner Intelligenz und logischem Denken unterscheidet.

Bedeutung

Das Paper liefert den ersten empirischen Test der Frage, ob die kreative Fähigkeit in LLMs eine allgemeine Kapazität oder eine Menge domänenspezifischer Fähigkeiten ist. Durch die Rekonstruktion eines starken allgemeinen Kreativitätsfaktors ( $c$ ) legen die Autoren nahe, dass Kreativität in der KI, ähnlich wie Intelligenz, eine transferierbare Fähigkeit sein kann, die mit der Modellgröße und dem Training skaliert, anstatt eine rein emergente Eigenschaft spezifischer Aufgaben zu sein. Die Veröffentlichung von AGC-Bench, dem Onboarding-Harness und AGC-Judge bietet der Community eine standardisierte Infrastruktur, um über fragmentierte, einzelndomänale Evaluierungen hin zu einem ganzheitlichen Verständnis der KI-Kreativität zu gelangen. Die Autoren merken an, dass aktuelle Modelle zwar die menschliche Leistung erreichen, der beste Mensch jedoch immer noch führt, und dass der Benchmark derzeit keinen theoretischen Deckel besitzt und als relatives Maß gegen die aktuelle Frontier dient.