Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

Im leisen Summen moderner Computertechnik ist eine neue Art von Künstler entstanden, einer, der nicht mit Pinseln oder Ton malt, sondern mit Worten. Dies sind Text-zu-Bild-Systeme, Computerprogramme, die eine menschliche Beschreibung hören und versuchen, ein Bild zu zeichnen, das ihr entspricht. Jahrelang wurden diese Systeme an einfachen Anfragen getestet, wie etwa „eine Katze, die auf einer Matte sitzt“, wobei sie mit überraschender Eleganz abschneiden. Doch die reale Welt ist selten so einfach. Wenn ein Nutzer nach etwas Spezifischem und Komplexem fragt – wie etwa einer Szene mit genau vier roten Stühlen, einem Schild, auf dem in klaren Buchstaben „OPEN“ steht, und einer Spiegelung in einer Pfütze, die den Gesetzen der Physik gehorcht –, geraten die Programme oft ins Straucheln. Sie zeichnen vielleicht drei statt vier Stühle, bringen die Buchstaben auf dem Schild durcheinander oder lassen die Spiegelung in der Luft schweben. Zu verstehen, warum diese Systeme scheitern und welche am wenigsten versagen, ist entscheidend für jeden, der hofft, sie für ernsthafte Arbeit einzusetzen, vom Entwerfen von Werbeanzeigen bis hin zur Erstellung von Storyboards. Die Lücke zwischen einem System, das bei einfachen Aufgaben gut funktioniert, und einem, das die chaotischen, detaillierten Anforderungen der Realität bewältigen kann, ist dort, wo die wahre Prüfung der Intelligenz liegt.

Ein Team von Forschern setzte sich zum Ziel, diese Lücke zu messen, indem sie vier der fortschrittlichsten bildgenerierenden Systeme einem strengen Test unterzogen. Sie baten die Computer nicht, einfache Bilder zu zeichnen; stattdessen fütterten sie sie mit den achtundvierzig schwierigsten Beschreibungen, die in einer großen Sammlung realer Bildunterschriften verfügbar waren. Diese Prompts wurden gewählt, weil sie Präzision erforderten: exakte Zählungen von Objekten, spezifische räumliche Anordnungen und lesbarer Text, der in die Szene eingebettet ist. Die getesteten Systeme waren Hunyuan 3.0, Gemini 3 Pro Image, Black Forest Labs FLUX.2 und Ideogram 3.0. Um ein faires und unvoreingenommenes Urteil zu gewährleisten, wandten die Forscher ein kluges zweistufiges Verfahren an. Zuerst fungierte eine künstliche Intelligenz als Schreiber, der eine detaillierte Checkliste erstellte, wie ein perfektes Bild für jeden spezifischen Prompt aussehen sollte, während sie gleichzeitig das tatsächlich vom System erzeugte Bild betrachtete, um offensichtliche Mängel festzustellen. Dann nutzte ein völlig anderes KI-Modell, das als Richter fungierte, diese Checkliste, um das Bild zu bewerten. Diese Trennung stellte sicher, dass das Modell, das entschied, worauf zu achten war, niemals dasselbe Modell war, das entschied, ob das Bild den Test bestand, wodurch die Voreingenommenheit vermieden wurde, die auftreten kann, wenn ein System seine eigene Arbeit bewertet.

Die Ergebnisse offenbarten eine klare Kluft in der Leistungsfähigkeit. Zwei Systeme, Gemini 3 Pro Image und FLUX.2, kristallisierten sich als die Spitzenreiter heraus und erreichten bzw. erzielten 84,8 bzw. 82,3 von 100 Punkten. Es folgte eine signifikante Lücke, wobei Ideogram 3.0 65,7 und Hunyuan 3.0 63,3 Punkte erreichte. Der Unterschied zwischen den Top-Performern und den Schlusslichtern war nicht nur eine Frage kleiner Fehler; es war ein grundlegender Unterschied darin, wie sie mit Komplexität umgingen. Die führenden Systeme bekamen im Allgemeinen das Gesamtbild richtig, unterliefen jedoch gelegentlich Fehler beim Zählen von Objekten oder führten kleinere geometrische Glitches ein, wie etwa ein Rad, das sich seltsam mit einem Rahmen verband. Im Gegensatz dazu hatten die nachfolgenden Systeme mit den Grundlagen zu kämpfen. Sie versäumten es häufig, angeforderte Elemente überhaupt einzubeziehen, wie etwa das Auslassen eines spezifischen Objekts aus der Szene, oder sie verstümmelten den Text, wodurch Wörter als unleserliche Kritzeleien statt als klare Buchstaben erschienen. Wenn man ihnen beispielsweise befahl, einen Briefkasten in Form eines Autos mit einer spezifischen Adresse zu zeichnen, erfasste das Top-System jedes Detail korrekt, während das am schlechtesten bewertete System versäumte, den Briefkasten überhaupt wie ein Auto aussehen zu lassen, die Adresse übersah und nur zwei statt vier Reifen zeichnete.

Die Studie verdeutlicht, dass diese Systeme zwar besser werden, aber noch immer kein natives Verständnis für diskrete, symbolische Regeln besitzen. Sie sind exzellent darin, die allgemeine Stimmung, Farbe und Komposition einer Szene einzufangen, aber sie haben Schwierigkeiten mit der präzisen Logik, die erforderlich ist, um Gegenstände zu zählen oder Wörter korrekt zu buchstabieren. Die Forscher fanden heraus, dass die schwierigsten Herausforderungen für jedes System die exakte sequentielle Beschriftung waren, wie etwa die Nummerierung von Startblöcken von fünf bis acht, sowie das Zählen einer spezifischen Anzahl von Menschen oder Objekten. Selbst das leistungsstärkste System, Gemini 3 Pro Image, verlor bei diesen Aufgaben Punkte, tat dies jedoch weita viel seltener als die anderen. Die nachfolgenden Systeme, insbesondere Ideogram 3.0, zeigten ein Muster des Auslassens ganzer angeforderter Elemente, was darauf hindeutet, dass sie manchmal komplexe Anweisungen eher aufgeben, als zu versuchen, die Details falsch zu machen. Diese Unterscheidung ist für Nutzer wichtig: Wenn ein Projekt eine Szene mit vielen verschiedenen Objekten erfordert, sind die führenden Systeme weitaus zuverlässiger, aber wenn das Ziel darin besteht, Text innerhalb eines Bildes zu generieren, haben selbst die besten Systeme immer noch Schwierigkeiten, dies jedes Mal richtig zu machen.

Letztendlich zeigt diese Forschung, dass die Fähigkeit, komplexen Anweisungen zu folgen, die neue Grenze der Bildgenerierung ist. Die Lücke zwischen den Besten und dem Rest ist keine Frage des Stils oder des künstlerischen Flairs, sondern der logischen Konsistenz. Die beiden führenden Systeme bewiesen, dass sie die schwere Last kompositorischer Anforderungen bewältigen können, während die anderen anfällig für fundamentale Fehler bleiben, die die Illusion der Realität zerstören. Während diese Werkzeuge von experimentellen Kuriositäten zu Produktionswerkzeugen werden, wird die Wahl des Systems stark von der spezifischen Aufgabe abhängen. Für einfache, atmosphärische Bilder mögen die Unterschiede vernachlässigbar sein, aber für Anfragen, die Präzision verlangen, bieten die Spitzenreiter ein Maß an Zuverlässigkeit, das die anderen noch nicht erreicht haben. Der Weg nach vorn führt über die Verfeinerung dieser Systeme, damit sie die Regeln des Zählens, des Textes und des Raums besser verstehen und sich von Künstlern, die Details erraten, zu Werkzeugen entwickeln, die sie mit Gewissheit ausführen können.