Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Roboter-Künstler, der Millionen von Bildern gesehen hat und fast alles zeichnen kann, was Sie beschreiben. Dieser Roboter lebt in der Welt der „Text-zu-Bild“-Modelle, in der Sie einen Satz wie „eine Katze mit einem Hut“ eingeben und er ein Bild malt. Aber was passiert, wenn Sie nach etwas Poetischerem fragen, wie „eine Katze, so flauschig wie eine Wolke“? Hier wird es knifflig. Sie bitten den Roboter nicht darum, dass eine Wolke im Bild erscheint, sondern Sie bitten ihn, das Gefühl der Flauschigkeit einer Wolke zu entleihen und es der Katze zu geben. Dies wird als „Simile“ (Vergleich) bezeichnet. Es ist eine Art, Dinge zu beschreiben, indem man sie mit etwas anderem vergleicht, wie zum Beispiel zu sagen: „Er rennt wie der Wind“ (man erwartet nicht, dass der Wind neben ihm herläuft, sondern nur, dass er schnell ist).

Die große Frage, über die Wissenschaftler sich gewundert haben, ist: Versteht dieser Roboter-Künstler wirklich den Witz? Oder wird er verwirrt und denkt: „Oh, du willst eine Katze und eine Wolke?“ und zeichnet dann einfach beide? Dieses Paper taucht genau in dieses Problem ein. Es behandelt die Verwirrung des Roboters als einen spezifischen Fehler namens „Literalization Bias“ (Literalitäts-Bias), bei dem das Modell das Vergleichsobjekt (das „Vehikel“ des Vergleichs) nimmt und es als reales, physisches Ding zeichnet, anstatt nur dessen Eigenschaften zu nutzen. Die Forscher wollten einen Test bauen, um zu sehen, wie oft das passiert und warum, denn wenn Roboter keine Metaphern verstehen können, können sie auch nicht die kreative, farbenfrohe Art und Weise verstehen, wie Menschen sprechen.

Der große „Stein-Brot-Test“

Um herauszufinden, ob diese KI-Künstler wirklich kreativ oder nur wortwörtliche Nachahmer sind, bauten die Forscher einen riesigen, kontrollierten Spielplatz. Sie gaben den Robotern nicht einfach nur zufällige Anweisungen; sie erstellten einen spezifischen Satz von Anweisungen namens „Simile Prompts“ (Vergleichs-Prompts). Sie wählten 80 verschiedene Objekte aus, die ein Computer leicht erkennen kann (wie Steine, Wolken oder Scheren), und mischten diese mit 14 verschiedenen Satzvorlagen.

Zum Beispiel könnten sie den Roboter bitten, „einen Mann zu zeichnen, der Brot isst, das hart wie ein Stein ist“. Die richtige Antwort ist ein Bild von Brot, das hart und knusprig aussieht, aber ohne dass ein tatsächlicher Stein auf dem Tisch liegt. Wenn der Roboter einen Stein zeichnet, hat er den Test nicht bestanden. Die Forscher nennen diesen Fehler „Literalization Bias“. Es ist, als würde man einem Kind sagen: „Ich bin hungrig wie ein Bär“, und das Kind bringt stattdessen einen echten Bären in die Küche, anstatt einfach nur zu verstehen, dass man sehr hungrig ist.

Die Detektivarbeit: Wie sie die Roboter ertappten

Das Team testete fünf verschiedene populäre KI-Bildgeneratoren. Um zu sehen, ob die Roboter die Anweisungen missverstanden hatten, verwendeten sie ein digitales Detektivwerkzeug namens YOLO (was für „You Only Look Once“ steht, ein sehr schneller Objektdetektor). Dieses Werkzeug scannte jedes einzelne Bild, das die Roboter erzeugt hatten, um zu sehen, ob das „Vergleichsobjekt“ (wie der Stein im Beispiel mit dem Brot) versehentlich im Bild erschienen war.

Die Ergebnisse waren ein wenig gemischt, aber größtenteils schlechte Nachrichten für die Verständnisfähigkeiten der Roboter.

• Die Gruppe mit hoher Fehlerquote: Ein Modell, Qwen-Image, war der schlimmste Übeltäter. In etwa 61,4 % der Bilder zeichnete es das buchstäbliche Objekt (den Stein, die Wolke usw.) anstatt nur das Attribut. Ein anderes Modell, PixArt, tat dies etwa 49,5 % der Zeit.
• Die bessere, aber immer noch fehlerhafte Gruppe: Die anderen Modelle (Dreamlike, FLUX und SD3.5) waren besser, machten den Fehler aber immer noch etwa 30 % bis 35 % der Zeit.

Die Forscher baten auch menschliche Richter, die Bilder zu betrachten. Die Menschen stimmten dem Computer-Detektor zu: Wenn das „buchstäbliche“ Objekt (der Stein oder die Wolke) im Bild sichtbar war, bewerteten die Menschen das Bild als eine schlechte Interpretation des Vergleichs. Interessanterweise galt: Je öfter die Roboter den „buchstäblichen“ Teil falsch verstanden, desto weniger schienen sie die eigentliche Bedeutung des Satzes erfasst zu haben. Es ist ein Kompromiss: Je mehr sie das zusätzliche Objekt zeichneten, desto weniger verstanden sie die Beschreibung.

Warum Standardtests den Fehler übersahen

Hier ist eine lustige Wendung: Die Forscher versuchten, die Standard-„Zeugnisse“ zu verwenden, die normalerweise KI-Kunst bewerten, wie CLIPScore und PickScore. Diese Tools sollen eigentlich messen, wie gut ein Bild zu einem Satz passt. Aber sie versagten hier völlig! Sie vergaben hohe Punktzahlen an Bilder, die die falschen Objekte enthielten. Es ist, als würde ein Lehrer einem Schüler eine „Eins“ geben, der einen Bären gezeichnet hat, obwohl er über Hunger schreiben sollte, nur weil die Zeichnung qualitativ hochwertig ist. Dieses Paper beweist, dass wir eine neue Art von Test benötigen, die speziell für Metaphern geeignet ist, da die alten zu blind sind, um diese spezifische Art der Verwirrung zu erkennen.

Ein Blick in das Gehirn des Roboters

Um zu verstehen, warum die Roboter diese Fehler machten, nutzten die Forscher ein spezielles Werkzeug namens „Diffusion Lens“. Stellen Sie sich das Gehirn des Roboters wie eine mehrschichtige Torte vor. Die unteren Schichten sind dort, wo es beginnt, über grundlegende Formen nachzudenken, und die oberen Schichten sind dort, wo es die letzten Details hinzufügt.

Sie fanden heraus, dass verschiedene Roboter das falsche Objekt zu unterschiedlichen Zeiten „dachten“:

• Die frühen Denker: Einige Modelle (wie FLUX und SD3.5) begannen fast sofort, also direkt in den unteren Schichten des Gehirns, über den „Stein“ oder die „Wolke“ nachzudenken. Sobald sie anfingen, darüber nachzudenken, konnten sie nicht mehr aufhören, und es landete im fertigen Bild.
• Die späten Denker: Andere Modelle (wie Qwen-Image) warteten bis zu den ganz oberen Schichten des Gehirns, um über das Objekt nachzudenken. Zu dem Zeitpunkt, als sie daran dachten, war es bereits zu spät, um zu verhindern, dass es in der fertigen Zeichnung erschien.
• Die Unterdrücker: Ein paar Modelle (wie Dreamline) dachten in den mittleren Schichten über das Objekt nach, konnten es aber erfolgreich „unterdrücken“ oder löschen, bevor das fertige Bild fertig war. Das ist der Grund, warum sie weniger Fehler machten.

Können wir es beheben?

Die Forscher probierten zwei Tricks aus, um zu sehen, ob sie die Roboter daran hindern könnten, die falschen Objekte zu zeichnen, ohne die Anweisungen zu ändern.

1. Würfel werfen (Random Regeneration): Sie baten die Roboter, das Bild einfach noch einmal zu zeichnen, wobei nur die zufällige „Seed“-Nummer (wie beim Würfelwerfen) geändert wurde. Das half ein wenig. Für den schlechtesten Roboter (Qwen-Image) sank die Fehlerrate von 61,4 % auf 24,4 %. Es ist, als würde man einem verwirrten Künstler sagen, er solle es noch einmal versuchen; manchmal klappt es durch Glück.
2. Die Gehirnschicht ändern (Layer-Based Regeneration): Sie versuchten, den Roboter zu zwingen, eine andere Schicht seines Gehirns für die Entscheidung zu nutzen. Dies funktionierte für einige Modelle sogar noch besser. Für PixArt sank die Fehlerrate von 49,5 % auf 17,6 %.

Das Paper weist jedoch vorsichtig darauf hin, dass dies kein magisches Heilmittel ist. Nur weil der Roboter aufgehört hat, den buchstäblichen Stein zu zeichnen, bedeutet das nicht, dass er die „Härte“ des Brotes perfekt verstanden hat. Es bedeutet nur, dass er diesen einen spezifischen, offensichtlichen Fehler nicht mehr macht.

Das Fazleit

Dieses Paper zeigt, dass selbst die fortschrittlichsten KI-Bildgeneratoren immer noch mit der Kunst des Vergleichs kämpfen. Sie nehmen Metaphern oft zu wörtlich und zeichnen das Vergleichsobjekt anstatt nur dessen Eigenschaften. Während wir diesen Fehler reduzieren können, indem wir die Roboter bitten, es noch einmal zu versuchen, oder indem wir anpassen, wie sie „denken“, haben sie das Konzept noch nicht vollständig gemeistert. Die Forscher haben einen neuen Weg gebaut, um dieses Problem zu messen, und damit bewiesen, dass Standardtests nicht ausreichen, um diese kreativen Missverständnisse zu erfassen. Es ist eine Erinnerung daran, dass Roboter, um die menschliche Sprache wirklich zu verstehen, nicht nur lernen müssen, was Wörter bedeuten, sondern auch, wie wir sie benutzen, um Bilder in unseren Köpfen zu malen.