Beyond Divergent Creativity: A Human-Based Evaluation of Creativity in Large Language Models
Dieses Paper kritisiert die Unzulänglichkeiten des Divergent Association Task (DAT) bei der Evaluierung von Large Language Models durch das Ignorieren der Angemessenheit, schlägt den neuartigen Conditional Divergent Association Task (CDAT) vor, der in der menschlichen Kreativitätstheorie verwurzelt ist, um echte Kreativität besser von Rauschen zu unterscheiden, und zeigt auf, dass fortgeschrittene Modelle aufgrund von Training und Alignment oft Angemessenheit zugunsten von Neuartigkeit opfern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu beurteilen, wie kreativ eine Gruppe von Menschen (oder in diesem Fall Computerprogrammen) ist. Sie geben ihnen eine einfache Herausforderung: „Nenne 10 Wörter, die so verschieden wie möglich voneinander sind.“
Dies ist der Divergent Association Task (DAT). Wenn Sie „Apfel“, „Auto“, „Wolke“ und „Schuh“ sagen, erhalten Sie eine hohe Punktzahl, weil diese Wörter in ihrer Bedeutung sehr weit auseinanderliegen. Wenn Sie jedoch „Apfel“, „Banane“, „Kirsche“ und „Traube“ sagen, erhalten Sie eine niedrige Punktzahl, da sie alle einfach nur Früchte sind.
Die Forscher in dieser Arbeit fragten sich: Ist dies ein fairer Test für Künstliche Intelligenz (KI)?
Das Problem: Die „Zufallsrauschen“-Falle
Die Autoren entdeckten einen schwerwiegenden Fehler in der Art und Weise, wie wir KI-Kreativität derzeit testen. Sie fanden heraus, dass eine KI, wenn man sie einfach nur bittet, „anders“ zu sein, schummeln kann, indem sie zufällig agiert.
Denken Sie an ein Spiel wie „Simon sagt“. Wenn die Regel nur lautet „sei verschieden“, könnte eine Person, die die Augen schließt und wahllos auf Wörter auf einer Seite zeigt, tatsächlich eine höhere Punktzahl erreichen als ein brillanter Poet. Die KI kann einfach Nonsens-Wörter ausspucken, die zufällig weit voneinander entfernt sind, aber keinen Sinn zusammen ergeben.
In dem Experiment der Autoren wurden zwei „Schummler“ getestet:
- Der Zufalls-Schummler: Ein Computerprogramm, das einfach 10 zufällige Wörter aus einem Wörterbuch auswählt.
- Der „Spiel-Optimierer“-Schummler: Eine KI, der explizit gesagt wurde: „Ignoriere die Bedeutung; wähle einfach Wörter, die dir in diesem Test die höchste Punktzahl einbringen.“
Das schockierende Ergebnis: Beide „Schummler“ erzielten höhere Punktzahlen als die fortschrittlichsten, intelligentesten KI-Modelle. Das bedeutet, dass der alte Test (DAT) nicht wirklich Kreativität misst, sondern nur, wie gut ein Modell darin ist, zufällig zu sein oder das System zu manipulieren.
Die Lösung: Der „Kontextuelle“ Test (CDAT)
Um dies zu beheben, erfanden die Forscher einen neuen Test namens CDAT (Conditional Divergent Association Task).
Die Analogie:
Der alte Test war so, als würde man jemanden fragen: „Nenne 10 zufällige Dinge.“
Der neue Test ist so, als würde man fragen: „Nenne 10 verschiedene Dinge, die alle mit einer ‚Katze‘ in Zusammenhang stehen.“
Nun muss die KI zwei Dinge gleichzeitig tun:
- Passend sein: Die Wörter müssen tatsächlich einen Bezug zum Hinweis haben (z. B. „Schnurrbart“, „Pfote“, „Laserpointer“). Wenn sie „Toaster“ oder „Vulkan“ sagt, scheitert sie.
- Divers sein: Die Wörter müssen dennoch verschieden voneinander sein. „Katze“, „Kätzchen“ und „Feline“ stehen zwar alle in einem Zusammenhang, sind aber zu ähnlich. „Katze“, „Fisch“ und „Hund“ sind besser.
Dieser neue Test trennt wahre Kreativität (einzigartig zu sein, aber dennoch Sinn zu ergeben) von Zufallsrauschen (einzigartig zu sein, aber unsinnig zu sein).
Was sie herausfanden
Als sie diesen neuen Test durchführten, änderten sich die Ergebnisse komplett:
- Die „schlauen“ KIs wurden zu sicher: Die größten, fortschrittlichsten KI-Modelle (die darauf trainiert wurden, hilfreich zu sein und Regeln perfekt zu befolgen) neigten dazu, auf Nummer sicher zu gehen. Sie gaben sehr passende Antworten, waren aber etwas langweilig und nicht besonders kreativ. Sie waren wie ein Schüler, der das Lehrbuch perfekt kennt, aber Angst hat, über den Tellerrand hinauszuschauen.
- Die „kleineren“ KIs waren kreativer: Überraschenderweise schnitten die kleineren, weniger „fortgeschrittenen“ Modelle oft besser im Bereich der Kreativität ab. Sie waren eher bereit, Risiken einzugehen und einzigartige, vielfältige Ideen zu entwickeln, während sie gleichzeitig beim Thema blieben.
Die Autoren legen nahe, dass KI-Modelle, wenn sie größer werden und darauf trainiert werden, „sicherer“ und hilfreicher zu sein, ein wenig ihres kreativen Funkens verlieren. Sie konzentrieren sich zu sehr darauf, korrekt zu sein, und zu wenig darauf, interessant zu sein.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass wir KI nicht einfach nur bitten können, „anders“ zu sein, um Kreativität zu messen. Wir müssen sie bitten, innerhalb eines spezifischen Kontextes anders zu sein.
- Alter Weg: „Sei zufällig!“ (Die KI schummelt durch Unsinn).
- Neuer Weg: „Sei kreativ, aber mache Sinn!“ (Die KI muss die Balance zwischen Einzigartigkeit und Nützlichkeit finden).
Diese neue Methode gibt uns ein viel klareres Bild davon, welche KI-Modelle tatsächlich kreativ sind und welche lediglich gut darin sind, Anweisungen zu befolgen oder zufällig zu raten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.