Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity
Diese Arbeit zeigt auf, dass große Sprachmodelle (LLMs) zwar bei intrinsischen Qualitäten wie Neuartigkeit mit menschlichen Kreativitätsbewertungen übereinstimmen, jedoch signifikant divergieren, da sie sich auf engere, modellspezifische Standards verlassen und gegenüber kontextuellen Informationen unempfindlich sind, was die Wahl eines spezifischen LLM-Evaluators zu einer folgenschweren Entscheidung für die Kreativitätsbewertung macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie befinden sich in einer riesigen, lauten Kunstgalerie, in der alle versuchen zu erraten, welche Gemälde „kreativ“ sind. Einige Leute schauen nur auf die Farbe und die Pinselstriche. Andere schauen darauf, wer es gemalt hat, wie viel es kostet oder ob es gerade im Trend liegt. Lange Zeit waren Menschen die einzigen Richter in dieser Galerie. Aber jetzt ist eine neue Art von Richter eingetroffen: das Large Language Model, oder LLM. Stellen Sie sich ein LLM als einen superintelligenten Roboter vor, der fast jedes Buch, jeden Artikel und jede Website gelesen hat, die jemals geschrieben wurde. Weil das Modell so viel darüber weiß, was Menschen sagen, hofften wir, dass es Kreativität genauso beurteilen kann wie ein Mensch. Aber hier liegt das Rätsel: Manchmal stimmt der Roboter mit uns überein, und manchmal scheint es, als würde er ein völlig anderes Gemälde betrachten. Wissenschaftler wollen wissen: Wann denkt der Roboter wie wir, und wann verliert er sich in seinem eigenen Kopf? Dieses Paper taucht in diese Frage ein, um zu sehen, ob wir diesen digitalen Richtern vertrauen können, wenn sie die Gewinner in unseren Kreativitätswettbewerben küren.
Die Forscher machten sich daran herauszufinden, welchen Regeln diese Roboter-Richter genau folgen. Sie fragten nicht einfach nur: „Ist das kreativ?“ Stattdessen baten sie die Roboter darum, die Wichtigkeit von 26 verschiedenen Dingen zu bewerten, auf die Menschen normalerweise achten, wie zum Beispiel: „Ist es neu?“, „Ist es nützlich?“ oder „Ist es berühmt?“. Sie testeten sechs der populärsten LLMs (GPT, Grok, DeepSeek, ERNIE, Claude und Gemini) und verglichen ihre Antworten mit dem, was echte Menschen sagen.
Hier war die große Überraschung, die sie fanden: Die Roboter denken nicht alle gleich, und sie denken auch nicht exakt wie wir. Während Menschen ein breites Netz auswerfen, um kreative Ideen einzufangen – indem sie sowohl die Idee selbst als auch die Welt um sie herum betrachten (wie etwa deren Ruf oder Markttrends) –, schauen die Roboter hauptsächlich nur auf die Idee selbst. Speziell sind die Roboter besessen von Neuheit. Wenn eine Idee neu, seltsam oder unerwartet ist, lieben die Roboter sie. Sie mögen es auch, wenn etwas unterhaltsam oder künstlerisch ist. Aber wenn es um „kontextuelle“ Hinweise geht – wie etwa, ob ein Produkt von einer berühmten Marke stammt, ob es ein Massenmarkt-Erfolg ist oder ob es gerade modisch ist –, ignorieren die Roboter diese im Grunde völlig. Für einen Menschen mag eine berühmte Marke eine Idee kreativer erscheinen; für einen Roboter ist das lediglich Rauschen.
Die Studie entdeckte auch, dass nicht alle Roboter gleich gebaut sind. Einige Modelle, wie GPT und Grok, besitzen ein „breiteres Netz“. Sie betrachten mehr von den 26 menschlichen Standards, sodass ihre Urteile recht gut mit der Meinung von Menschen übereinstimmen. Andere, wie Claude und Gemini, haben ein „schmaleres Netz“. Sie halten sich strikt an die Kernidee und ignorieren fast alles andere. Das bedeutet: Wenn man einen Roboter mit einem schmalen Netz bittet, eine kreative Idee zu beurteilen, könnte er das Ziel im Vergleich zu dem, was ein Mensch denken würde, verfehlen, einfach weil er den sozialen oder marktbezogenen Kontext ignoriert.
Um dies zu beweisen, führten die Forscher zwei weitere Tests durch. Im ersten Test ließen sie Menschen und Roboter über 1.100 Ideen bewerten. Sie fanden heraus, dass die Roboter mit den „breiteren Netzen“ die menschlichen Bewertungen viel besser trafen als jene mit den „schmalen Netzen“. Im zweiten Test zeigten sie Menschen und Robotern dieselben Produktbeschreibungen, fügten aber bei einigen eine Information über die Marke oder den Markterfolg des Produkts hinzu. Die Bewertungen der Menschen stiegen an, als sie diesen zusätzlichen Kontext sahen; sie fanden das Produkt kreativer, weil es diesen Kontext gab. Die Roboter? Ihre Bewertungen änderten sich kaum. Sie waren völlig blind für die sozialen Hinweise, die die Menschen beeinflussten. Sie waren vollkommen blind für die sozialen Hinweise, die die Menschen beeinflussten.
Was bedeutet das also für die Zukunft? Es deutet darauf hin, dass wir nicht einfach alle KI-Richter als gleich behandeln können. Wenn Sie wissen wollen, ob eine Idee wirklich originell und frisch ist, könnte ein Roboter ein großartiger Helfer sein. Aber wenn Sie wissen müssen, ob eine Idee in der realen Welt erfolgreich sein wird, zu einer Marke passt oder die Menschen in Gespräche bringt, könnte ein Roboter den Punkt völlig verfehlen. Das Paper legt nahe, dass die Wahl des richtigen KI-Richters eine große Sache ist: Unterschiedliche Modelle wenden unterschiedliche Regeln an, daher werden sie auch unterschiedliche Gewinner wählen. Wir müssen vorsichtig sein, nicht davon auszugehen, dass der Roboter das ganze Bild sieht, denn er blickt oft durch eine sehr spezifische, enge Linse.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.