How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning
Diese Studie zeigt, dass multimodale große Sprachmodelle visuelle Kreativität in einem Zero-Shot-Szenario effektiv bewerten können, wobei eine erhebliche Übereinstimmung mit menschlichen Bewertungen besteht, während ihr schrittweises Denken trotz fehlender Verbesserung der Scoring-Genauigkeit interpretierbare Einblicke in den Bewertungsprozess liefert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen riesigen, superintelligenten Kunstkritiker, der noch nie einen Kunstkurs besucht, noch nie einen Menschen eine Zeichnung bewerten gesehen hat und auch noch nie gehört hat, wie „Kreativität“ aussieht. Sie überreichen ihm einfach ein Bild und fragen: „Auf einer Skala von 1 bis 5, wie kreativ ist das?“
Das ist im Wesentlichen das, was diese Arbeit macht. Die Forscher haben sechs verschiedene fortgeschrittene KI-Modelle (denken Sie an sie als verschiedene „digitale Richter“) genau dazu aufgefordert. Sie wollten sehen, ob diese KIs erraten könnten, wie Menschen die Kreativität von Bildern bewerten würden, ohne spezielles Training oder Übung.
Hier ist die Geschichte dessen, was sie herausgefunden haben, unterteilt in einfache Abschnitte:
1. Der „Zero-Shot“-Zaubertrick
Normalerweise muss man eine KI darauf trainieren, Kunst zu bewerten, indem man ihr tausende Beispiele für „gute“ und „schlechte“ Zeichnungen zusammen mit menschlichen Bewertungen zeigt. Es ist, als würde man einen Schüler lehren, indem man ihm einen Stapel korrigierter Prüfungen zeigt.
Aber diese Forscher versuchten etwas anderes: Zero-Shot. Sie gaben der KI nur das Bild und eine einfache Anweisung: „Bewerte dies von 1 bis 5.“ Keine Beispiele, kein Training. Es war, als würde man einen Fremden auf der Straße bitten, ein Gemälde zu bewerten, das er noch nie zuvor gesehen hat.
Das Ergebnis: Überraschenderweise waren die KI-Richter ziemlich gut darin. Ihre Bewertungen stimmten sehr gut mit den menschlichen Bewertungen überein.
- Bei KI-generierten Bildern (polierte Bilder, die von Computern erstellt wurden), stimmten die KI-Richter und die Menschen sehr stark überein.
- Bei handgezeichneten Skizzen (grobe, unordentliche Zeichnungen von Menschen) war die Übereinstimmung zwar vorhanden, aber etwas schwächer.
2. Die „Poliert vs. Roh“-Voreingenommenheit
Die Forscher bemerkten, dass die KI-Richter eine seltsame Persönlichkeitsnuance hatten, wie ein Kritiker, der hochauflösende Fotos liebt, aber Bleistiftzeichnungen hasst.
- Die „Polierte“ Voreingenommenheit: Beim Betrachten von glatten, computergenerierten Bildern waren die KI-Richter zu großzügig. Sie gaben höhere Werte als Menschen es taten.
- Die „Rohe“ Voreingenommenheit: Beim Betrachten von einfachen, handgezeichneten Skizzen waren die KI-Richter zu streng. Sie gaben niedrigere Werte als Menschen taten.
Es scheint, als hätten die KI-Modelle ein geheimes Faible für „elaborierte“ und „komplexe“ Bilder. Wenn eine Zeichnung viele Linien und Details hat, hält die KI sie für kreativ, selbst wenn der menschliche Beobachter sie nur als „überladen“ empfindet. Die KI-Modelle schienen „Detailreichtum“ mit „Kreativität“ zu verwechseln.
3. Der „Gedankengang“ (Chain of Thought)
Einige dieser KI-Modelle besitzen eine spezielle Funktion: Bevor sie eine endgültige Punktzahl geben, schreiben sie ihren „Gedankengang“ auf. Es ist wie bei einem Schüler, der seinen Rechenweg zeigt.
Die Forscher blickten in diese Gedankengänge hinein, um zu sehen, wie die KI zu einer Bewertung gelangte. Sie fanden heraus, dass die KI einem konsistenten Vier-Schritte-Rezept folgt:
- Wahrnehmung: „Ich sehe eine Katze und einen Baum.“ (Beschreiben, was vorhanden ist).
- Originalität: „Das ist seltsam und neuartig!“ (Beurteilen, ob es einzigartig ist).
- Qualität: „Die Linien sind glatt und hübsch.“ (Beurteilen, wie gut es gezeichnet ist).
- Begründung: „Also gebe ich eine 4.“ (Die Zahl auswählen).
Die große Überraschung: Die Forscher dachten, wenn die KI sich die Zeit nimmt, um über diese Schritte nachzudenken und sie aufzuschreiben, würde sie besser darin werden, den menschlichen Bewertungen zu entsprechen. Das tat sie nicht. Das „Nachdenken“ machte die Bewertungen nicht genauer. Es bot den Forschern jedoch ein Fenster dazu, warum die KI die jeweilige Punktzahl vergab. Es zeigte, dass die KI auf „Qualität“ (wie hübsch es ist) achtete statt nur auf „Originalität“ (wie seltsam es ist), was erklärt, warum sie die polierten KI-Bilder so sehr mochte.
4. Muss die KI wissen, worauf sie schaut?
Die Forscher fragten sich: „Wenn die KI verwirrt ist und denkt, eine Zeichnung eines Hundes sei eine Katze, sinkt dann ihre Kreativitätsbewertung?“
Die Antwort: Nicht wirklich.
Selbst wenn die KI das Objekt falsch identifizierte oder wenn die Zeichnung so abstrakt war, dass Menschen sich nicht einig werden konnten, was darauf zu sehen war, entsprach die Kreativitätsbewertung der KI immer noch gut den menschlichen Werten. Dies deutet darauf hin, dass die KI nicht nur eine Checkliste abarbeitet wie: „Ist das ein Hund? Ja/Nein.“ Sie betrachtet den „Vibe“, die Komposition und die Eigenart des Bildes, selbst wenn sie das Objekt nicht exakt bestimmen kann.
Das Fazverdict
Diese Arbeit zeigt, dass wir diese großen, allgemeinen KI-Modelle als „Kreativitätsrichter“ nutzen können, ohne sie vorher trainieren zu müssen. Sie sind überraschend gut darin, aber sie haben eine Voreingenommenheit: Sie lieben komplexe, detaillierte Bilder und mögen einfache, rohe Skizzen nicht besonders.
Indem wir ihre „Gedankengänge“ betrachten, können wir genau sehen, wo sie richtig liegen und wo sie falsch liegen. Es ist wie ein Kritiker, der seine Argumentation erklären kann, auch wenn sein Geschmack ein wenig von unserem abweicht. Die Forscher haben sogar eine kostenlose App entwickelt, damit jeder diesen „KI-Richter“ an seinen eigenen Bildern ausprobieren kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.