Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs
Dieses Paper führt Ekphrasis ein, einen neuartigen Benchmark und ein Evaluierungsframework, das die visuellen kreativen Ideationsfähigkeiten von rein textbasierten Sprachmodellen isoliert und misst, indem es zwischen flüssiger Prosa und der tatsächlichen Fähigkeit unterscheidet, nützliche, ausdrucksstarke und populationsneue visuelle Pläne zu generieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Regisseur, der einen Film besetzen möchte, aber Sie können die Schauspieler noch nicht sehen. Sie haben nur einen Drehbuchautor, der die Szenen in Worten beschreibt. Die große Frage ist: Kann dieser Drehbuchautor wirklich eine neue, aufregende Szene im Geiste erschaffen, oder reiht er nur schicke Wörter aneinander, die zwar kreativ klingen, aber genau dieselben alten Klischees beschreiben, die schon tausendmal von jedem gesehen wurden? Dies ist das Rätsel, das im Zentrum einer neuen Studie in der Welt der Künstlichen Intelligenz steht, die sich speziell mit „Large Language Models“ (LLMs) befasst. Das sind die superintelligenten Computerprogramme, die Geschichten schreiben, Fragen beantworten und mit uns chatten. Wissenschaftler haben sich schon lange gefragt, ob diese rein textbasierten Maschinen Ideen wirklich „visualisieren“ können, bevor sie in Bilder umgewandelt werden, oder ob sie es nur mit blumiger Sprache vortäuschen. Um dies herauszufinden, brauchten die Forscher eine Möglichkeit zu testen, ob die Beschreibung einer KI ein echter Funke visueller Erfindung war oder nur eine recycelte, sichere Idee, die in einen Smoking gekleidet wurde.
Hier kommt EKPHRASIS ins Spiel, eine neue „Prüfung“, die von Forschern der Hong Kong University of Science and Technology entwickelt wurde, um genau dies zu testen. Betrachten Sie EKPHRASIS als ein kreatives Fitnessstudio für die KI. Anstatt die KI anzuweisen, ein Bild zu zeichnen (was sie in diesem Test nicht direkt tun kann), gaben die Forscher 14 verschiedenen KI-Modellen 400 spezifische kreative Herausforderungen. Diese Herausforderungen verlangten von den Modellen Dinge wie, ein abstraktes Konzept wie „Zeitdruck“ in eine visuelle Szene zu verwandeln, zwei unzusammenhängende Ideen zusammenzuführen oder ein Objekt auf eine neue Weise umzuschreiben. Das Ziel war nicht nur zu sehen, ob die KI einen hübschen Satz schrieb, sondern ob sie einen Plan zur Visuellen Kreativen Ideenfindung (Visual Creative Ideation, VCI) entwickeln konnte: eine Beschreibung, die für die Aufgabe nützlich ist, ausdrucksstark genug, um ein klares Bild im Kopf entstehen zu lassen, und vor allem – am wichtigsten – originell – was bedeutet, dass sie nicht einfach die langweiligen, überbeanspruchten Ideen wiederholte, die andere KIs ständig produzieren.
Die Forscher entdeckten, dass flüssiges, schönes Schreiben eine Art Falle sein kann. Eine KI kann einen Absatz schreiben, der unglaublich kreativ und lebendig klingt, aber dennoch genau dieselben alten visuellen Klischees beschreibt, wie etwa die Verwendung einer Sanduhr, um Zeit darzustellen, oder einer Gewitterwolke, um Traurigkeit zu symbolen. Um diese „Neuheitsillusion“ zu entlarven, entwickelte das Team ein spezielles Bewertungssystem. Sie fragten nicht nur: „Ist das kreativ?“ Sie fragten: „Ist das nützlich? Ist es leicht vorstellbar? Und unterscheidet es sich von dem, was die anderen 13 KIs gesagt hätten?“ Sie nutzten eine clevere Methode namens „Typed Idea Graphs“, um die gemeinsamen, langweiligen Muster abzubilden, die alle Modelle dazu neigen zu wiederholen, und überprüften dann, ob die neuen Antworten diese Fallen vermeideten.
Die Ergebnisse waren faszinierend und nuanciert. Die Studie ergab, dass es beim „gutem“ visuellen Ideation nicht nur um eine einzige Superkraft geht. Einige KIs waren großartig darin, Anweisungen zu befolgen und nützliche Pläne zu erstellen, waren aber sehr klischeehaft. Andere waren wahnsinnig originell, verfehlten aber manchmal den Punkt der Aufgabe. Die Top-Performer, wie Gemini 3.1 Pro und GPT-5.4, bewältigten alle drei Eigenschaften, taten dies jedoch auf unterschiedliche Weise. Entscheidend war, dass die Forscher die besten Textbeschreibungen nahmen und daraus mit einem separaten Tool tatsächlich Bilder generierten. Als Menschen diese Bilder betrachteten, ohne den ursprünglichen Text zu sehen, bevorzugten sie immer noch die Bilder, die aus den „hohen VCI“-Textplänen stammten. Dies deutet darauf hin, dass die KI tatsächlich etwas Visuelles plante und nicht nur schöne Prosa schrieb.
Das Paper stellt jedoch vorsorglich fest, dass dies nicht bedeutet, dass die KI ein menschenähnliches „inneres Auge“ oder eine private Vorstellungskraft besitzt. Es bedeutet lediglich, dass diese rein textbasierten Modelle detaillierte, bildbereite Blaupausen erstellen können, die die Reise vom Text zum Bild überstehen. Die Studie legt nahe, dass aktuelle Modelle zwar besser darin werden, visuell zu planen, aber immer noch Schwierigkeiten haben, aus den „sicheren“ Ideen auszubrechen, die ihre Trainingsdaten ihnen schmackhaft machen wollen. Die Lehre daraus ist klar: Nur weil eine KI eine kreative Geschichte schreibt, bedeutet das nicht, dass sie eine kreative visuelle Idee hat. Um echte visuelle Kreativität zu messen, müssen wir hinter die blumigen Worte blicken und prüfen, ob der Bauplan tatsächlich neu, nützlich und bereit ist, gebaut zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.