Automated Creativity Evaluation of Language Models Across Open-Ended Tasks
Dieses Paper führt ein skalierbares, domänenagnostisches Framework ein, das die Kreativität von Large Language Models bei offenen Aufgaben quantifiziert, indem es semantische Entropie zur Messung divergenter Neuartigkeit mit einem abrufgestützten Multi-Agenten-Judge zur Bewertung konvergenter Aufgabenerfüllung kombiniert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Talent Scout, der beurteilen möchte, wie „kreativ“ eine Gruppe neuer KI-Schreiber, Erfinder und Problemlöser ist. In der Vergangenheit war die Beurteilung von Kreativität so, als würde man versuchen, ein Gemälde mit einem Lineal zu bewerten: Es war unordentlich, erforderte für jedes einzelne Stück einen menschlichen Experten und funktionierte nur für bestimmte Arten von Kunst.
Dieses Paper stellt ein neues, automatisiertes „Kreativitäts-Scorecard“ vor, das für jede Art von offener Aufgabe funktioniert, vom Lösen eines Rätsels bis hin zum Schreiben einer Geschichte. Die Autoren zerlegen Kreativität in zwei unterschiedliche Superkräfte und messen sie separat: Divergentes Denken (die Fähigkeit, viele verschiedene Ideen auszugrübeln) und Konvergentes Denken (die Fähigkeit, die beste Idee auszuwählen und sie umzusetzen).
So funktioniert ihr System, unter Verwendung einfacher Analogien:
1. Das Messen des „Träumens“ (Divergente Kreativität)
Das Problem: Woher weiß man, ob eine KI nur dieselbe Idee in anderen Worten wiederholt oder ob sie tatsächlich neues Terrain erkundet?
Der alte Weg: Das Zählen von Wörtern oder das Prüfen, ob Sätze oberflächlich betrachtet unterschiedlich aussehen. Dies ist vergleichbar mit der Beurteilung eines Kochs anhand der Anzahl der verschiedenen Wörter, die er für „Suppe“ verwendet, selbst wenn sie alle gleich schmecken.
Der neue Weg (Semantische Entropie): Die Autoren verwenden ein Konzept namens Semantische Entropie.
- Die Analogie: Stellen Sie sich vor, Sie fragen eine KI: „Wie kann ich einen Fluss überqueren?“
- Eine KI mit geringer Kreativität könnte sagen: „Baue eine Brücke“, „Errichte eine Brücke“, „Konstruiere eine Brücke“. Diese sehen unterschiedlich aus, bedeuten aber exakt dasselbe. Die „Entropie“ (Vielfalt) ist gering.
- Eine KI mit hoher Kreativität könnte sagen: „Baue eine Brücke“, „Fliege eine Drohne“, „Verbinde Lianen zusammen“, „Warte, bis das Wasser gefriert“. Dies sind wirklich unterschiedliche Wege. Die „Entropie“ ist hoch.
- Das Ergebnis: Diese Methode fungiert wie ein „Variations-Meter“. Sie ignoriert oberflächliche Wortänderungen und misst, wie viele unterschiedliche konzeptionelle Richtungen die KI erkundet. Das Paper fand heraus, dass dieses Meter die menschliche Wahrnehmung von „Kreativität“ viel besser widerspiegelt als bisherige Methoden.
2. Das Messen des „Tuns“ (Konvergente Kreativität)
Das Problem: Wilde Ideen zu generieren ist einfach; sicherzustellen, dass diese Ideen auch das Problem lösen, ist schwer. Eine KI könnte vorschlagen, „einen Drachen zu fliegen“, um einen Fluss zu überqueren, was zwar kreativ, aber nutzlos ist.
Der alte Weg: Einen einzelnen KI-Richter oder einen Menschen zu nutzen, um die Antwort zu lesen. Das ist langsam, teuer und schwer skalierbar.
Der neuer Weg (Das abrufbasierte Multi-Agenten-Team): Die Autoren haben ein Team spezialisierter KI-„Richter“ gebaut, die zusammenarbeiten, aber mit einem Kniff, um Kosten und Zeit zu sparen.
- Die Analogie: Stellen Sie sich ein Gremium von Experten vor (einen Sicherheitsbeauftragten, einen Experten für Machbarkeit und einen Literaturkritiker), die ein Projekt prüfen.
- Alte Methode: Jedes Mal, wenn sie sprechen, lesen sie die gesamte Historie des Gesprächs von Anfang an. Das ist wie ein Meeting, bei dem alle die letzten 100 Seiten Notizen neu lesen, bevor sie sprechen. Das wird riesig und teuer.
- Neue Methode: Das Team nutzt ein „smartes Ablagesystem“. Anstatt alles neu zu lesen, rufen sie nur die spezifischen Notizen ab, die für den aktuell besprochenen Punkt relevant sind.
- Das Ergebnis: Dieser „abrufbasierte“ Ansatz senkt die Rechenkosten um 63 %, während er gleichzeitig so genau wie menschliche Experten ist. Er stellt sicher, dass die KI nicht nur Unsinn träumt, sondern tatsächlich die Anforderungen der Aufgabe erfüllt.
3. Die große Entdeckung: Zwei verschiedene Fähigkeiten
Die überraschendste Erkenntnis des Papers ist, dass diese beiden Fähigkeiten – Träumen und Tun – nicht automatisch gemeinsam wachsen.
- Die Analogie: Denken Sie an ein Auto. Man kann einen sehr leistungsstarken Motor haben (Konvergenz/Aufgabenerfüllung), der einen perfekt ans Ziel bringt, aber das bedeutet nicht zwangsläufig, dass der Fahrer gut darin ist, abseits der Wege zu erkunden (Divergenz/Kreativität).
- Die Erkenntnis: Während KI-Modelle größer und intelligenter darin werden, Anweisungen zu befolgen (Konvergenz), werden sie nicht automatisch besser darin, wilde, neue Ideen zu erkunden (Divergenz). Tatsächlich erkunden die größten, „korrektesten“ Modelle manchmal weniger als kleinere Modelle. Das Paper legt nahe, dass das aktuelle Training KIs zwar besser darin macht, „korrekt“ zu sein, aber nicht unbedingt kreativer.
4. Testen des Systems
Die Autoren testeten diesen Rahmen in drei sehr unterschiedlichen „Spielplätzen“:
- MacGyver: Das Lösen physischer Probleme mit Alltagsgegenständen (z. B. „Wie repariere ich ein Leck mit einer Socke?“).
- HypoGen: Das Entwerfen neuer wissenschaftlicher Forschungsfragen.
- BookMIA: Das Schreiben kreativer Geschichten mit spezifischen Start- und Endpunkten.
In allen drei Fällen gelang es ihrem System erfolgreich zu messen, wie „breit“ die Ideen der KI waren und wie „gut“ die endgültigen Lösungen waren, was beweist, dass es über verschiedene Arten von Kreativität hinweg funktioniert.
Zusammenfassung
Dieses Paper liefert ein universelles, automatisiertes Lineal für Kreativität. Es trennt die Fähigkeit, viele einzigartige Ideen zu generieren, von der Fähigkeit, das Problem korrekt zu lösen. Es zeigt, dass KI zwar besser darin wird, Probleme zu lösen, aber nicht automatisch auch imaginativer wird, und dass wir neue Werkzeuge benötigen, um diesen spezifischen „kreativen Funken“ zu messen und zu fördern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.