The Human Creativity Benchmark
Das Paper führt den Human Creativity Benchmark (HCB) ein, der zwischen professioneller Konvergenz hinsichtlich technischer Korrektheit und Divergenz im ästhetischen Geschmack unterscheidet, um zu argumentieren, dass die Bewertung kreativer KI diese distinkten Signale bewahren muss, anstatt sie in einem einzigen Qualitätsmetrik zusammenzuführen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Warum „Gut“ kompliziert ist
Stellen Sie sich vor, Sie versuchen, einen Kochwettbewerb zu bewerten.
- Der „objektive“ Richter: Dieser Richter prüft, ob das Essen tatsächlich gar ist, ob das Salz vorhanden ist und ob der Teller nicht zerbrochen ist. Darüber herrscht Einigkeit. Wenn das Steak roh ist, ist es ein Fehlschlag.
- Der „subjektive“ Richter: Dieser Richter fragt: „Schmeckt es mir?“ Eine Person liebt vielleicht scharfes Essen, während eine andere es hasst. Keiner von beiden liegt falsch; sie haben einfach einen anderen Geschmack.
Das Problem: Die meisten KI-Tests heute agieren so, als hätten sie nur den „objektiven“ Richter. Sie versuchen, alle auf einen einzigen Score zu einigen (z. B. „Diese KI ist 8/10“). Die Autoren dieser Arbeit sagen, dass dieser Ansatz bei kreativer Arbeit (wie dem Erstellen von Anzeigen, Websites oder Videos) fehlerhaft ist. Er wirft den wichtigsten Teil der Daten weg: die Tatsache, dass Menschen bei Geschmack uneinig sein sollten.
Die Lösung: Der „Martini“ der Kreativität
Die Autoren schlagen eine neue Art vor, KI zu testen, die Human Creativity Benchmark (HCB) genannt wird. Sie visualisieren den kreativen Prozess als ein seitliches Martiniglas (siehe Abbildung 1 in der Arbeit):
- Der breite Teil (Ideation/Ideenfindung): Zu Beginn wollen Sie viele wilde, unterschiedliche Ideen. Dies ist der Punkt, an dem „Divergenz“ (unterschiedliche Meinungen) gut ist.
- Der verjüngende Teil (Mockup/Entwurf): Sie beginnen, die besten Ideen auszuwählen und sie realer aussehen zu lassen.
- Der Stiel (Refinement/Verfeinerung): Am Ende polieren Sie das Endprodukt. Hier benötigen Sie „Konvergenz“ (Einigkeit über technische Details wie Rechtschreibung, Layout und ob das Produkt tatsächlich funktioniert).
Wie sie es getestet haben
Anstatt zu fragen: „Ist diese KI gut?“, fragten sie professionelle Kreative (Designer, Videoeditoren, Programmierer), um KI-Ergebnisse auf drei spezifische Arten zu bewerten:
- Prompt Adherence (Befolgung des Prompts): Hat die KI genau das getan, was ihr gesagt wurde? (Wie ein Rezeptfolger).
- Usability (Nutzerfreundlichkeit): Könnte dies tatsächlich in einem echten Job verwendet werden? (Ist der Text lesbar? Ist der Button anklickbar?).
- Visual Appeal (Visuelle Attraktivität): Ist es hübsch? (Hier kommt der Geschmack ins Spiel).
Sie führten diesen Test mit 15.000 Beurteilungen von Experten aus fünf verschiedenen Bereichen durch: Landing Pages, Desktop-Apps, Werbebilder, Markenbilder und Produktvideos.
Was sie herausfanden (Die „Aha!“-Momente)
1. Übereinstimmung vs. Uneinigkeit sind unterschiedliche Signale
- Konvergenz (Übereinstimmung): Wenn die KI einen Fehler macht (wie unlesbaren Text oder ein kaputtes Layout), sind sich alle Experten einig, dass es schlecht ist. Wenn die KI die Regeln perfekt befolgt, sind sie sich auch einig, dass es gut ist.
- Divergenz (Uneinigkeit): Wenn die KI technisch korrekt arbeitet, beginnen die Experten aufgrund des Geschmacks zu divergieren. Ein Experte sagt vielleicht: „Diese Anzeige sieht nach Luxusmode aus“, während ein anderer sagt: „Das sieht billig aus.“ Die Arbeit argumentiert, dass diese Uneinigkeit kein Fehler ist, sondern ein Merkmal. Es bedeutet, dass die KI verschiedene kreative Richtungen anbietet.
2. Keine einzelne KI gewinnt alles
Wenn man nur auf einen Durchschnittswert schaut, könnte man denken, eine KI sei die „beste“. Aber die Arbeit fand heraus, dass kein Modell bei allem am besten ist.
- Einige Modelle sind großartig in der Ideationsphase (das Entwerfen wilder, kreativer Konzepte).
- Andere Modelle sind besser in der Refinementphase (Tippfehler korrigieren und Dinge professionell aussehen lassen).
- Analogie: Es ist, als würde man sagen, ein Formel-1-Wagen sei „besser“ als ein Pickup-Truck. Der Formel-1-Wagen gewinnt auf der Rennstrecke (Refinement), aber der Pickup-Truck gewinnt auf der Baustelle (Ideation/Nutzen). Man braucht das richtige Werkzeug für die jeweilige Phase des Jobs.
3. Die „Single Score“-Falle
Die Arbeit warnt davor, dass man, wenn man all diese verschiedenen Meinungen in einer einzigen Zahl zusammenfasst (z. B. „Modell X hat 4,2 Sterne“), die nützlichsten Informationen verliert. Man hört auf zu sehen, wo das Modell zuverlässig ist (technische Korrektheit) und wo es flexibel ist (kreativer Stil).
Das Fazit für Menschen und KI
Die Autoren schlagen vor, dass wir nicht versuchen sollten, die KI dazu zu bringen, einer einzigen Definition von „schön“ zuzustimmen. Stattdessen sollten wir:
- KI-Modelle verwenden, die zuverlässig sind, wenn wir technische Korrektheit benötigen (Konvergenz).
- KI-Modelle verwenden, die steuerbar sind, wenn wir kreative Vielfalt benötigen (Divergenz).
Kurz gesagt: Fragen Sie die KI nicht, in allem perfekt zu sein. Fragen Sie sie, im richtigen Teil des Prozesses perfekt zu sein. Der Benchmark hilft uns zu verstehen, welcher KI der richtige „Koch“ für den spezifischen Gang des Menüs ist, das wir gerade zubereiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.