Easier Painting Than Thinking: Can Text-to-Image Models Set the Stage, but Not Direct the Play?

Die Autoren stellen mit T2I-CoReBench ein umfassendes Benchmark vor, das die Fähigkeiten von Text-zu-Bild-Modellen in Komposition und logischem Schlussfolgern anhand eines detaillierten 12-dimensionalen Rahmens evaluiert und dabei zeigt, dass insbesondere das implizite Schlussfolgern eine kritische Schwachstelle aktueller Modelle bleibt.

Das Wesentliche

Das große Problem: Malen ist leicht, Nachdenken ist schwer

Stell dir vor, du hast einen genialen Maler, der auf Befehl Bilder malt. Wenn du sagst: „Malt mir einen roten Ball", malt er einen perfekten roten Ball. Das ist Komposition (das Zusammenfügen von Dingen).

Aber was passiert, wenn du sagst: „Malt mir einen roten Ball, der von einem Hahn getroffen wird, sodass er platzt und die Farbe auf den Boden spritzt, aber nur auf der linken Seite"?
Hier muss der Maler nicht nur malen, sondern auch denken: Er muss verstehen, was ein Hahn ist, wie ein Ball platzt, wie Schwerkraft funktioniert und was „links" bedeutet. Das ist Logik und Schlussfolgerung.

Die Forscher von diesem Papier haben herausgefunden: Unsere aktuellen KI-Maler sind super im Malen, aber sie sind noch ziemlich dumm im Nachdenken. Sie können die Bühne bauen, aber sie können das Stück nicht wirklich inszenieren.

---

Der neue Test: „T2I-CoReBench"

Bisherige Tests waren wie Schulprüfungen für Grundschüler: „Zeichne einen Hund." oder „Zeichne einen Hund und eine Katze." Die KIs haben das meist gut gemacht.

Die Forscher haben aber einen neuen, viel härteren Test entwickelt, den sie T2I-CoReBench nennen. Stell dir das wie eine Olympiade für KI-Künstler vor, bei der die Aufgaben absichtlich knifflig sind.

Der Test besteht aus zwei großen Disziplinen:

1. Die Kompositions-Disziplin (Das „Was")

Hier geht es darum, viele Dinge gleichzeitig auf ein Bild zu bekommen.

• Die Aufgabe: „Zeichne eine Küche mit 25 verschiedenen Gegenständen, von denen 5 fehlen müssen, und 20 Details, die genau richtig sein müssen (z. B. ein roter Topf auf einem blauen Herd)."
• Die Metapher: Stell dir vor, du bist ein Koch, der eine riesige Party vorbereitet. Du musst 25 verschiedene Zutaten gleichzeitig auf dem Teller haben, ohne dass sie sich vermischen. Die KIs schaffen das mittlerweile ganz gut, aber bei so vielen Details wird es oft chaotisch.

2. Die Denk-Disziplin (Das „Warum" und „Was passiert dann")

Hier geht es um Logik und Kausalität.

• Die Aufgabe: „Zeichne eine Szene, in der ein Seil reißt, ein Stuntman fällt und einen Tisch zertrümmert, auf dem nur Schaumstoff-Food liegt."
• Die Metapher: Stell dir vor, du bist ein Regisseur. Du sagst dem Schauspieler (der KI): „Wenn das Seil reißt, muss er fallen." Die KI muss verstehen, dass „Reißendes Seil" = „Fallender Mensch" bedeutet.
• Das Problem: Die KIs malen oft einfach nur einen Mann, der auf einem Tisch steht, und vergessen, dass das Seil gerissen ist oder dass der Tisch zerbrechen muss. Sie malen das Bild, aber sie verstehen die Geschichte nicht.

---

Was haben die Forscher herausgefunden?

Sie haben 38 verschiedene KI-Modelle (die besten der Welt, sowohl von Firmen wie OpenAI als auch Open-Source) getestet. Das Ergebnis ist eindeutig:

1. Der Maler wird besser: Die KIs werden immer besser darin, viele Details auf ein Bild zu packen. Wenn du sagst „25 Gegenstände", schaffen sie es, fast alle zu malen. Das ist wie ein Maler, der immer schneller und präziser Pinselstriche setzt.
2. Der Denker hinkt hinterher: Bei den Logik-Aufgaben scheitern selbst die besten KIs.
   • Beispiel: Wenn du sagst „Alle Räder im Bild sind quadratisch", malen die KIs oft trotzdem runde Räder, weil sie im Training gelernt haben, dass Räder rund sind. Sie können ihre eigene „Gewohnheit" nicht überwinden, um eine neue Regel zu befolgen.
   • Beispiel: Wenn ein Stuntman fällt, malen sie ihn oft einfach nur stehend, weil sie nicht verstehen, dass eine Fallbewegung nötig ist.

Das Fazit: Die KIs sind wie geniale Handwerker, die keine Architekten sind. Sie können die Steine (Bilder) perfekt legen, aber sie verstehen nicht immer den Bauplan (die Logik dahinter).

---

Wie haben sie das getestet? (Der „Checklisten-Trick")

Früher haben Menschen die Bilder angeschaut und gesagt: „Sieht gut aus!" Das ist subjektiv.
Bei diesem neuen Test hat die Forscher eine Checkliste erstellt.

• Für jede Aufgabe gibt es 10 bis 30 kleine Ja/Nein-Fragen.
• Beispiel: „Ist der Topf rot?", „Ist der Topf auf dem Herd?", „Ist der Herd blau?", „Fehlt die Banane?".
• Eine andere, sehr starke KI (ein „Korrektor-KI") schaut sich das Bild an und kreuzt auf der Checkliste ab, was stimmt.
• So wissen sie genau: Die KI hat 20 von 25 Details richtig, aber bei der Logik (das Zerbrechen des Tisches) hat sie komplett versagt.

Was bedeutet das für die Zukunft?

Die Forscher sagen: Wir müssen die KIs nicht nur lehren, was sie malen sollen, sondern auch warum.

• Aktuell: Die KI lernt durch das Anschauen von Millionen Bildern (Mustererkennung).
• Zukunft: Die KI muss lernen, wie die Welt funktioniert (Physik, Kausalität, Logik), bevor sie malt.

Zusammenfassend:
Die KI kann heute eine wunderschöne Bühne bauen (das Bild malen), aber sie kann noch nicht die Handlung dirigieren (die Logik verstehen). Damit wir wirklich intelligente Bilder bekommen, müssen wir die KIs erst einmal „nachdenken" lernen, bevor sie „malen".

Technische Zusammenfassung

1. Problemstellung

Text-to-Image (T2I) Modelle haben in den letzten Jahren erhebliche Fortschritte gemacht, doch bestehende Benchmarks zur Evaluierung dieser Modelle weisen zwei wesentliche Mängel auf:

• Mangelnde Ganzheitlichkeit (Comprehensiveness): Die meisten aktuellen Benchmarks bewerten entweder nur die Komposition (das Erstellen expliziter visueller Elemente) oder das Reasoning (das Ableiten impliziter Elemente) isoliert. Zudem basieren ihre Taxonomien oft auf heuristischen Ansätzen und erfassen nicht systematisch alle relevanten Dimensionen.
• Mangelnde Komplexität (Complexity): Die bestehenden Tests beschränken sich oft auf Szenen mit geringer Dichte an visuellen Elementen und einfache, einstufige Schlussfolgerungen (z. B. „eine Aktion führt zu einem Ergebnis"). Sie spiegeln nicht die Komplexität realer Anwendungen wider, die hohe semantische Dichte und mehrstufige kausale Ketten erfordern.

Das Paper stellt fest, dass T2I-Modelle zwar explizite Anweisungen gut befolgen können, aber Schwierigkeiten haben, implizite visuelle Konsequenzen oder komplexe logische Zusammenhänge korrekt zu inferieren.

2. Methodik: T2I-COREBENCH

Die Autoren stellen T2I-COREBENCH vor, ein umfassendes und komplexes Benchmark-System, das sowohl Kompositions- als auch Reasoning-Fähigkeiten systematisch bewertet.

A. Evaluierungs-Taxonomie (12 Dimensionen)

Das Benchmark basiert auf einer strukturierten Taxonomie, die zwei Hauptfähigkeiten in 12 Dimensionen unterteilt:

1. Komposition (Composition): Basierend auf der Struktur von Szenengraphen (Instanzen, Attribute, Relationen) und Text-Rendering.

   • MI (Multi-Instance): Generierung vieler verschiedener Objekte in einem Bild (~25 Objekte pro Prompt).
   • MA (Multi-Attribute): Zuweisung vieler Attribute zu einem einzigen Subjekt (~20 Attribute).
   • MR (Multi-Relation): Verknüpfung vieler räumlicher, interaktiver oder numerischer Beziehungen (~15 Relationen).
   • TR (Text Rendering): Präzises Rendern von Textinhalten und Layouts (~15 Texte).

2. Reasoning: Basierend auf dem philosophischen Rahmenwerk der Inferenz (deduktiv, induktiv, abduktiv), verfeinert für T2I-Szenarien.

   • Deduktiv: LR (Logisches Reasoning), BR (Verhaltensreasoning), HR (Hypothetisches Reasoning), PR (Prozedurales Reasoning).
   • Induktiv: GR (Generalisierungsreasoning), AR (Analogisches Reasoning).
   • Abduktiv: CR (Commonsense-Reasoning), RR (Rekonstruktives Reasoning).

B. Datengenerierung und Komplexität

• Prompt-Erstellung: Anstatt manueller oder einfacher Template-basierter Prompts nutzen die Autoren Large Reasoning Models (LRMs) (z. B. Claude Sonnet 4, Gemini 2.5 Pro, OpenAI o3), um komplexe, semantisch dichte Prompts zu generieren. Diese enthalten oft Negationen („es gibt keine Bananen") und mehrstufige logische Ketten.
• Checklisten-Evaluation: Um eine feinkörnige und zuverlässige Bewertung zu ermöglichen, wird jeder Prompt mit einer Checkliste aus unabhängigen Ja/Nein-Fragen gekoppelt (insgesamt ca. 13.500 Fragen für 1.080 Prompts).
• Automatisierte Bewertung: Ein Multi-Modal Large Language Model (MLLM), spezifisch Gemini 2.5 Flash, bewertet die generierten Bilder basierend auf diesen Checklisten. Die Bewertung erfolgt strikt visuell: Das Modell muss das Vorhandensein oder Fehlen eines Elements nur anhand des Bildes bestätigen, ohne sich auf den Prompt zu verlassen, um Halluzinationen zu vermeiden.

3. Wichtige Beiträge

1. T2I-COREBENCH: Das erste Benchmark, das Komposition und Reasoning in einer einzigen, umfassenden Taxonomie mit 12 Dimensionen vereint und dabei reale Komplexität (hohe Dichte und Reasoning-Intensität) simuliert.
2. Feinkörnige Evaluierungsmethode: Die Einführung von manuell verifizierten Checklisten mit Ja/Nein-Fragen ermöglicht eine präzise Fehleranalyse und vermeidet die Akkumulation von Fehlern bei der Bewertung ganzer Szenen.
3. Umfassende Analyse: Evaluation von 38 aktuellen T2I-Modellen (Diffusion, autoregressiv, Unified) sowie Closed-Source-Modellen.

4. Ergebnisse

Die Experimente offenbaren deutliche Unterschiede zwischen den Fähigkeiten der Modelle:

• Komposition zeigt Fortschritt, bleibt aber ungelöst:
  • Die Kompositionsleistung verbessert sich stetig mit neuen Modelliterationen. Top-Modelle (z. B. Nano Banana Pro, FLUX.2-dev) erreichen hohe Scores in einfachen Szenen.
  • In komplexen Szenen (hohe Dichte an Objekten, Attributen und Relationen) bleiben jedoch signifikante Lücken bestehen. Selbst die besten Modelle scheitern oft an der korrekten Bindung vieler Attribute oder der Einhaltung komplexer räumlicher Beziehungen.
• Reasoning ist die kritische Flaschenhals:
  • Die Reasoning-Fähigkeiten hinken der Komposition massiv hinterher. Selbst State-of-the-Art (SOTA) Modelle können implizite visuelle Elemente oft nicht zuverlässig ableiten.
  • Modelle scheitern besonders bei mehrstufigen Inferenzen (z. B. „eine Aktion führt zu mehreren Konsequenzen" oder „mehrere Prämissen führen zu einer Schlussfolgerung").
  • Beispiel: Bei hypothetischem Reasoning (z. B. „alle Räder sind quadratisch") versagen Modelle oft, da sie die physikalische Realität (runde Räder) nicht überwinden können, selbst wenn der Prompt dies explizit fordert.
• Prompt-Rewriting:
  • Das Vorverarbeiten von Prompts durch ein Reasoning-Modell (Rewriting), um implizite Details explizit zu machen, verbessert die Reasoning-Leistung schwächerer Modelle erheblich.
  • Starke Modelle profitieren weniger davon, was darauf hindeutet, dass ihre native Reasoning-Fähigkeit bereits besser ist. Dennoch reicht reines Text-Rewriting nicht aus, um alle visuellen Reasoning-Herausforderungen zu lösen, da die Kopplung zwischen Text und Bild (visuelle Bias) bestehen bleibt.

5. Bedeutung und Fazit

Das Paper unterstreicht, dass T2I-Modelle zwar gut darin sind, eine „Bühne zu setzen" (Komposition expliziter Elemente), aber Schwierigkeiten haben, das „Stück zu leiten" (Reasoning impliziter Zusammenhänge).

• Forschungsrichtung: Die Arbeit zeigt, dass zukünftige Fortschritte nicht nur in der Skalierung von Daten liegen, sondern in der Integration von Reasoning-Mechanismen direkt in den Generierungsprozess (z. B. Chain-of-Thought vor der Bildgenerierung oder multimodale Reasoning-Schritte).
• Benchmark-Standards: T2I-COREBENCH setzt einen neuen Standard für die Evaluierung, der über einfache Objekterkennung hinausgeht und die Fähigkeit von KI-Modellen testet, komplexe, realweltliche Szenarien logisch zu verstehen und visuell umzusetzen.
• Ethik: Die Autoren weisen darauf hin, dass die Verbesserung dieser Fähigkeiten auch ethische Herausforderungen bezüglich der Authentizität und Urheberrechte von KI-generierten Inhalten mit sich bringt.

Zusammenfassend liefert das Paper den Beweis, dass das „Denken" (Reasoning) für Text-to-Image-Modelle derzeit eine viel größere Hürde darstellt als das „Malen" (Komposition), und bietet das notwendige Werkzeug (Benchmark), um diesen Fortschritt systematisch zu messen.