Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers
Dieser Artikel bewertet systematisch bestehende menschliche Kreativitätstests hinsichtlich ihrer Vorhersagekraft für die Leistung von Large Language Models (LLMs) im Bereich des Schreibens, des divergenten Denkens und der wissenschaftlichen Ideenfindung, deckt deren begrenzte Validität auf und stellt den Divergent Remote Association Test (DRAT) als erstes robustes Instrument vor, das durch die gleichzeitige Erfassung sowohl konvergenten als auch divergenten Denkens die wissenschaftliche Ideenfindung vorhersagen kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller sehr intelligenter Roboter (Large Language Models, oder LLMs). Sie möchten wissen, welche von ihnen wirklich „kreativ" sind. Doch wie misst man Kreativität bei einer Maschine?
Seit langem versuchen Wissenschaftler, dieselben Tests zu verwenden, die sie auch bei Menschen anwenden, um diese Roboter zu bewerten. Es ist, als würde man versuchen, die Fähigkeit eines Fisches, einen Baum zu erklimmen, zu messen, nur weil man wissen möchte, wie gut er beim Klettern ist. Diese Arbeit argumentiert, dass zwar einige dieser alten Tests einigermaßen funktionieren, sie jedoch oft versagen, die ganze Geschichte zu erzählen, insbesondere wenn es um wissenschaftliche Ideen geht.
Hier ist eine einfache Aufschlüsselung dessen, was die Forscher herausfanden und was sie entwickelten, um das Problem zu lösen.
1. Das Problem: Die falschen Messstäbe
Die Forscher untersuchten zwei Haupttypen von „Kreativitätstests", die Menschen absolvieren:
- Divergentes Denken: Jemanden auffordern, viele verschiedene, seltsame Antworten auf eine Frage zu finden (wie „nennen Sie 10 Dinge, die sich völlig voneinander unterscheiden").
- Konvergentes Denken: Jemanden auffordern, die eine richtige Antwort zu finden, die drei unzusammenhängende Dinge verbindet (wie „Hütte", „Schweizer" und „Kuchen" „Käse").
Das Team testete Dutzende von KI-Modellen mit diesen menschlichen Tests. Sie entdeckten einige überraschende Dinge:
- Die „Intelligenz"-Falle: Viele Tests, die zu messen schienen, wie kreativ jemand ist, maßen tatsächlich nur, wie „intelligent" oder wissend der Roboter war. Wenn ein Roboter gut in Mathematik und Lesen ist, erzielt er bei diesen Tests naturgemäß hohe Punktzahlen, selbst wenn er nicht wirklich kreativ ist. Es ist, als würde man einen Schüler in einem Mathetest benoten und ihn nur wegen der hohen Punktzahl als „Kreativitätstest" bezeichnen.
- Der „wissenschaftliche" Blindfleck: Die schockierendste Erkenntnis war, dass keiner der bestehenden menschlichen Tests zuverlässig vorhersagen konnte, ob eine KI gute wissenschaftliche Ideen entwickeln kann. Sie könnten einen Roboter haben, der großartig darin ist, Geschichten zu schreiben oder zufällige Wörter aufzulisten, aber schlecht darin, eine neue wissenschaftliche Theorie zu erfinden. Die alten Messstäbe funktionierten für diese Aufgabe einfach nicht.
- Das Paradoxon neuerer Modelle: Als KI-Modelle neuer und leistungsfähiger wurden, wurden sie tatsächlich schlechter im divergenten Denken (das Finden einzigartiger, seltsamer Ideen). Sie wurden steifer und standardisierter, wie eine Fabrik, die denselben Kekstyp immer wieder herstellt, anstatt wie ein Koch, der ein neues Rezept erfindet.
2. Die Lösung: Ein neuer Hybrid-Test (DRAT)
Da die alten Tests versagten, die wissenschaftliche Kreativität vorherzusagen, entwickelten die Autoren einen neuen Test namens Divergent Remote Association Test (DRAT).
Stellen Sie sich die alten Tests als zwei separate Werkzeuge vor:
- Werkzeug A (Divergent): Ein Vorschlaghammer, der Dinge zerschlägt, um zu sehen, wie viele verschiedene Teile man erhält.
- Werkzeug B (Konvergent): Ein Schraubenzieher, der Dinge zusammenzieht, um die eine perfekte Passform zu finden.
Das Problem bei der wissenschaftlichen Kreativität ist, dass man beide gleichzeitig benötigt. Man muss Ideen zerschlagen, um etwas Neues zu finden, muss sie dann aber zusammenschrauben, um sicherzustellen, dass sie tatsächlich Sinn ergeben und zum Problem passen.
Wie DRAT funktioniert:
Stellen Sie sich vor, Sie geben der KI drei sehr unterschiedliche „Anker"-Wörter (wie „Herzschlag", „Pipeline" und „Topologie").
- Die Herausforderung: Die KI muss 10 Wörter generieren, die alle voneinander verschieden sind (Divergent).
- Der Haken: Aber jedes einzelne dieser 10 Wörter muss auch in der Lage sein, sich metaphorisch mit allen drei Ankerwörtern zu verbinden (Konvergent).
Es ist, als würde man einen Dichter auffordern, 10 völlig unterschiedliche Gedichte zu schreiben, aber jedes Gedicht muss heimlich über eine bestimmte, komplexe Maschine handeln. Wenn die KI dies kann, beweist es, dass sie gleichzeitig wild und logisch denken kann.
3. Die Ergebnisse
Als sie dieses neue DRAT-Werkzeug testeten:
- Es funktionierte! Es war der erste Test, der erfolgreich vorhersagen konnte, welche KI-Modelle gut darin waren, wissenschaftliche Ideen zu entwickeln.
- Es war nicht nur eine Summe der Teile: Die Forscher versuchten, den alten „Zerschlag"-Test und den alten „Schrauben"-Test zu kombinieren, um zu sehen, ob das funktionieren würde. Es funktionierte nicht. Das neue DRAT-Werkzeug leistete etwas Besonderes, das die beiden alten Werkzeuge allein nicht konnten. Es bewies, dass man, um wissenschaftliche Kreativität zu messen, die Fähigkeit testen muss, gleichzeitig wild und logisch zu sein.
Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass wir nicht einfach alte menschliche Tests verwenden können, um die KI-Kreativität zu bewerten.
- Wenn Sie wissen wollen, ob eine KI gut darin ist, Geschichten zu schreiben, verwenden Sie die „Divergent Association Task" (die seltsame Wortliste).
- Wenn Sie wissen wollen, ob eine KI gut im divergenten Denken ist (viele Optionen auflisten), verwenden Sie die „Conditional Divergent Association Task".
- Aber wenn Sie wissen wollen, ob eine KI neue Wissenschaft erfinden kann, benötigen Sie den neuen DRAT-Test, da er prüft, ob die Maschine gleichzeitig wild imaginativ und logisch verbunden sein kann.
Kurz gesagt: Um das wissenschaftliche Genie eines Roboters zu messen, benötigen Sie einen Test, der ihn zwingt, Feuer zu jonglieren (Divergenz), während er auf einem Seil balanciert (Konvergenz). Die alten Tests forderten ihn nur auf, das eine oder das andere zu tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.