CompBench: Benchmarking Complex Instruction-guided Image Editing

Die Arbeit stellt CompBench vor, ein umfassendes Benchmark für komplexe instruktionsgesteuerte Bildbearbeitung, das mithilfe eines MLLM-Mensch-Kollaborationsrahmens und einer neuen Dekompositionsstrategie für Anweisungen entwickelt wurde, um die aktuellen Grenzen von Bildbearbeitungsmodellen aufzudecken und deren Weiterentwicklung zu fördern.

Das Wesentliche

Stell dir vor, du hast einen sehr talentierten digitalen Maler, der Bilder nach deinen Anweisungen verändern kann. Bisher war dieser Maler aber eher wie ein Anfänger in einer ruhigen Werkstatt: Er konnte einfache Dinge tun, wie „Mach den Hund rot" oder „Tausche den Ball gegen einen Apfel aus". Aber wenn du ihn gebeten hättest, eine komplexe Szene zu verändern – zum Beispiel „Nimm den Tiger, der hinter dem Busch versteckt ist, weg, aber lass den Schatten des Baumes darauf liegen, und schiebe gleichzeitig die Giraffe so, dass sie den Löwen anschaut" – dann wäre er völlig überfordert gewesen. Er hätte entweder das Falsche verändert, den Hintergrund zerstört oder einfach nur verwirrt geguckt.

Genau dieses Problem wollen die Autoren des Papers CompBench lösen. Hier ist die Erklärung, wie sie es angehen, ganz einfach und mit ein paar Bildern im Kopf:

1. Das Problem: Der alte Test war zu leicht

Bisher gab es Tests (Benchmarks) für diese KI-Maler, die aber wie ein Kinderspielzeug-Parcours waren. Die Bilder waren einfach, die Anweisungen kurz und die Szenen leer.

• Das Problem: Wenn ein Maler auf so einem leichten Parcours gut abschneidet, heißt das noch lange nicht, dass er im echten Leben (in einer vollen, chaotischen Stadt oder einem dichten Wald) zurechtkommt. Es ist wie ein Autofahrer, der nur auf einer geraden, leeren Straße geübt hat und dann in den dichten Stadtverkehr gesetzt wird. Er würde sofort panisch werden.

2. Die Lösung: CompBench – Der „Großstadt-Parcours"

Die Forscher haben CompBench erfunden. Das ist kein einfacher Test mehr, sondern ein großer, chaotischer, realistischer Parcours.

• Was ist neu? Statt leerer Felder gibt es jetzt Bilder voller Details: viele Objekte, die sich überlappen (wie Menschen in einer Menschenmenge), versteckte Dinge und komplexe räumliche Beziehungen.
• Die Anweisungen: Die Befehle sind jetzt wie echte Gespräche. Statt „Mach den Ball rot" heißt es: „Verschiebe den roten Ball so, dass er hinter dem blauen Auto liegt, aber nicht verdeckt wird, und ändere die Farbe des Autos zu Gelb."
• Das Ziel: Wir wollen sehen, ob die KI wirklich versteht, was sie tun soll, und nicht nur zufällig etwas Richtiges macht.

3. Wie haben sie den Test gebaut? (Der menschliche Co-Pilot)

Sie haben nicht einfach nur Computer benutzt, um die Tests zu machen. Sie haben eine Mannschaft aus KI und Menschen zusammengestellt.

• Die Idee: Stell dir vor, eine KI (ein sehr schlauer Assistent) schlägt vor, wie man ein Bild verändern könnte. Aber ein menschlicher Expert schaut sich das Ergebnis an und sagt: „Nein, das sieht nicht richtig aus, der Schatten ist falsch" oder „Die Anweisung war missverständlich."
• Das Ergebnis: Nur die perfekten, menschlich geprüften Bilder und Anweisungen kamen in den Test. Das ist wie ein Qualitäts-Siegel für die schwierigsten Aufgaben.

4. Die vier Säulen der Komplexität

Um sicherzugehen, dass die KI wirklich alles kann, haben die Forscher die Aufgaben in vier Kategorien unterteilt, wie die vier Räder eines Autos:

1. Wo ist es? (Ort): „Stell den Stuhl links vom Tisch, aber nicht unter dem Fenster."
2. Wie sieht es aus? (Aussehen): „Mach den Hund pelziger und brauner."
3. Was tut es? (Bewegung): „Lass den Vogel fliegen, nicht stehen."
4. Was ist es? (Objekt): „Ersetze den Apfel durch eine Banane."
   Erst wenn ein Modell alle vier Räder gleichzeitig drehen kann, besteht es den Test.

5. Was haben sie herausgefunden? (Die harte Wahrheit)

Als sie die aktuellen KI-Maler auf diesem neuen, harten Test geprüft haben, kam eine ernüchternde Nachricht ans Licht:

• Die meisten fallen durch: Viele der besten Modelle, die auf den alten, leichten Tests glänzten, scheiterten hier kläglich. Sie verwechselten Objekte, veränderten den Hintergrund oder schafften es nicht, die räumliche Logik zu verstehen.
• Der Gewinner: Ein paar neue Modelle (wie Bagel oder Qwen-Image-Edit) haben es besser gemacht. Der Trick? Sie nutzen eine Art Super-Gehirn (ein großes Sprachmodell), das nicht nur Bilder sieht, sondern auch denkt und versteht, bevor es malt.
• Das Hauptproblem: Oft wissen die KIs genau, was sie tun sollen (der Plan), aber sie scheitern beim Umsetzen (die Ausführung). Es ist, als würde ein Architekt einen perfekten Plan zeichnen, aber der Bauarbeiter setzt die Ziegel falsch ein.

Fazit

CompBench ist wie ein neuer, strenger Fahrprüfungs-Parcours für KI-Künstler. Er zeigt uns, dass wir noch einen langen Weg vor uns haben, bevor KIs wirklich komplexe Bilder so gut manipulieren können wie ein menschlicher Künstler. Aber mit diesem neuen Maßstab wissen wir jetzt genau, wo die Schwachstellen liegen und wie wir die nächsten Generationen von KI besser machen können.

Kurz gesagt: Die alten Tests waren wie ein Spaziergang im Park. CompBench ist ein Marathon durch einen Sturm. Und die KI muss lernen, nicht nur zu laufen, sondern auch zu überleben.

Technische Zusammenfassung

1. Problemstellung

Bestehende Benchmarks für instruktionsgesteuerte Bildbearbeitung (Instruction-guided Image Editing) weisen erhebliche Defizite auf, die eine realistische Bewertung aktueller Modelle behindern:

• Mangelnde Szenenkomplexität: Viele Datensätze basieren auf vereinfachten, objektfokussierten Szenen (z. B. aus MS COCO) mit geringer räumlicher Dichte, wenigen Verdeckungen (Occlusion) und einfachen Kompositionen. Dies spiegelt nicht die komplexen visuellen Strukturen realer Anwendungen wider.
• Eingeschränkte Instruktionen: Die Anweisungen sind oft atomar und einfach (z. B. „Hund zu Katze ändern") und fehlen komplexe logische Schlussfolgerungen, räumliche Beziehungen oder Mehr-Objekt-Manipulationen.
• Qualitätsmängel: Editierte Bilder in bestehenden Benchmarks weisen häufig Inkonsistenzen auf (z. B. Hintergrundartefakte, geometrische Verzerrungen oder mangelnde Übereinstimmung mit der Instruktion), was die Evaluierung verzerrt.

2. Methodik

Um diese Lücken zu schließen, stellen die Autoren CompBench vor, einen groß angelegten Benchmark für komplexe Szenen.

• Datenerstellung (MLLM-Human Collaborative Framework):
  • Die Datenbasis stammt aus dem MOSE-Datensatz, der durch strenge Qualitätsfilterung (automatische Metriken wie NIQE und manuelle Überprüfung) bereinigt wurde.
  • Es wird ein kollaborativer Ansatz verwendet: Multimodale Large Language Models (MLLMs) generieren initiale Bearbeitungsinstruktionen basierend auf visuellen Szenen, die dann von menschlichen Experten validiert und verfeinert werden.
  • Nur hochqualitative, erfolgreiche Editierungen werden beibehalten.
• Instruktions-Decoupling-Strategie:
  • Um die Präzision zu erhöhen, werden Bearbeitungsinstruktionen in vier Dimensionen zerlegt:
    1. Positionierung (räumliche Lage, z. B. „links vom Tisch").
    2. Visuelle Attribute (Farbe, Textur).
    3. Bewegungszustände (Dynamik, z. B. „fliegend").
    4. Objekt-Entitäten.
  • Dies wandelt mehrdeutige Anfragen in präzise Spezifikationen um, ohne die natürliche Ausdrucksfähigkeit zu verlieren.
• Aufgabenkategorisierung:
  Der Benchmark umfasst 3.000+ hochwertige Bild-Instruktion-Paare, unterteilt in 5 Hauptkategorien und 9 spezifische Aufgaben:
  1. Lokale Bearbeitung: Hinzufügen, Entfernen, Ersetzen von Objekten.
  2. Multi-Bearbeitung: Mehrere Objekte oder mehrere Bearbeitungsschritte (Multi-turn).
  3. Aktions-Bearbeitung: Änderung dynamischer Zustände.
  4. Räumliche Szenen-Bearbeitung: Änderung von Position oder Blickwinkel (Viewpoint).
  5. Komplexe Schlussfolgerung: Implizite Kontextbearbeitungen, die logisches Denken erfordern.

3. Schlüsselbeiträge

• Erster umfassender Benchmark für komplexe Szenen: CompBench ist der erste Benchmark, der gezielt Szenen mit hoher Objektdichte, Verdeckungen und komplexen räumlichen Beziehungen abdeckt.
• Überlegene Komplexitätsmetriken: Im Vergleich zu bestehenden Benchmarks (wie MagicBrush, ReasonEdit, GEdit-Bench) weist CompBench signifikant höhere Werte auf bei:
  • Durchschnittlicher Objektanzahl pro Bild (+36,3 % gegenüber dem Zweitplatzierten).
  • Anzahl der Objektkategorien.
  • Verdeckungsrate (Occlusion Rate: 98,47 %).
  • Rate von Objekten außerhalb des Bildrahmens (OOF).
• Hohe Datenqualität: Durch den menschlichen Review-Prozess und die Decoupling-Strategie erreichen die Editierungen eine deutlich höhere strukturelle Ähnlichkeit (SSIM) als in anderen Datensätzen.
• Umfassende Evaluierungs-Metriken: Neben klassischen Metriken (PSNR, SSIM, LPIPS) werden für dynamische und räumliche Aufgaben auch Bewertungen durch LLMs (GPT-4o, Qwen2.5-VL) und menschliche Annotatoren herangezogen, um semantische und geometrische Konsistenz zu prüfen.

4. Ergebnisse

Die Autoren evaluierten über 15 aktuelle Modelle (u. a. InstructPix2pix, MagicBrush, SmartEdit, Bagel, FLUX.1 Kontext, Qwen-Image-Edit).

• Leistungslücken: Kein Modell dominiert in allen Aufgaben. Die meisten Modelle zeigen bei komplexen Aufgaben (Multi-Objekt, implizite Schlussfolgerung) deutliche Leistungseinbußen.
• Führende Modelle:
  • Bagel und Qwen-Image-Edit schneiden am besten ab, insbesondere bei der Wiedergabe von Vordergrunddetails (hohe LC-I Scores) und der Erhaltung des Hintergrunds.
  • FLUX.1 Kontext und Step1X-Edit zeigen ebenfalls starke Ergebnisse.
  • Ältere Modelle wie HQ-Edit oder InstructPix2pix schneiden in komplexen Szenarien deutlich schlechter ab.
• Multi-Turn-Bearbeitung: Bei mehrstufigen Bearbeitungen (Multi-turn) verschlechtert sich die Hintergrundkonsistenz bei fast allen Modellen in der zweiten Runde erheblich.
• Schlussfolgerungen aus der Fehleranalyse:
  • Rolle von MLLMs: Modelle, die MLLMs integrieren (als „Planer"), verstehen komplexe Anweisungen besser. Modelle ohne MLLM-Integration ignorieren oft Anweisungen oder bearbeiten falsche Objekte.
  • Planner-Executor-Misalignment: Selbst wenn das MLLM das Ziel korrekt identifiziert, scheitern die Diffusionsmodelle (als „Executor") oft an der präzisen Maskierung in dichten Szenen, was zu Hintergrund-Lecks führt.
  • Geometrische Halluzinationen: Bei Aufgaben, die räumliches Verständnis erfordern (z. B. Blickwinkeländerung), neigen Modelle zu verzerrten Geometrien, da ihnen 3D-Strukturwissen fehlt.

5. Bedeutung und Ausblick

CompBench deckt fundamentale Grenzen aktueller Bildbearbeitungssysteme auf und zeigt, dass einfache semantische Ausrichtung (CLIP-Alignment) für komplexe reale Szenen nicht ausreicht.

• Zukünftige Richtungen:
  • Stärkere Integration von MLLMs für besseres logisches Schlussfolgern und Intent-Verständnis.
  • Entwicklung von Architekturen, die das Verständnis (Planning) und die Generierung (Execution) besser synchronisieren, um Maskierungsfehler zu minimieren.
  • Einbeziehung von 3D-Struktur-Priors oder geometrischen Leitlinien, um physikalische Konsistenz und Vermeidung von geometrischen Halluzinationen zu gewährleisten.

Zusammenfassend etabliert CompBench einen neuen Standard für die Evaluierung von Bildbearbeitungssystemen, der über einfache Objektmanipulation hinausgeht und die Fähigkeit zur komplexen räumlichen und logischen Manipulation von visuellen Inhalten fordert.