CompBench: Benchmarking Complex Instruction-guided Image Editing

Dit paper introduceert CompBench, een groot benchmark voor complexe instructiegeleide beeldbewerking dat, via een MLLM-menselijk samenwerkingsframework en een strategie voor instructiedecoupling, de beperkingen van huidige modellen blootlegt en inzicht biedt in de ontwikkeling van toekomstige systemen.

De kern

Stel je voor dat je een digitale fotograaf bent die een magische pen heeft. Je kunt tegen een foto zeggen: "Verander de hond in een kat," en poef, het is gebeurd. Dit is wat huidige AI-foto-editors kunnen. Maar wat als je zegt: "Verplaats de hond naar de linkerkant, maar zorg dat hij onder de schaduw van de boom ligt, en laat de kat erbovenop springen terwijl hij naar de zon kijkt"?

Dat is waar de meeste AI's nu op vastlopen. Ze worden snel in de war bij complexe instructies.

Deze paper introduceert CompBench. Laten we dit uitleggen alsof we het bespreken in een koffiezaakje.

1. Het Probleem: De "Baby-voeding" van Foto's

Stel je voor dat je een kind wilt leren koken. Als je het alleen maar laat oefenen met het maken van boterhammen (eenvoudige taken), denk je misschien dat het een chef-kok is. Maar als je het vraagt om een ingewikkeld gerecht te maken met tien ingrediënten die tegelijkertijd moeten garen, faalt het.

Dit is precies wat er gebeurt met huidige AI-foto-editors. De tests die we nu gebruiken (de "benchmarks") zijn als die boterhammen. Ze zijn te simpel:

• Ze hebben te weinig objecten op de foto.
• De instructies zijn te simpel (bijv. "verander de kleur").
• Ze missen de echte chaos en complexiteit van de echte wereld (zoals objecten die elkaar overlappen of verbergen).

Daardoor denken we dat AI's slim zijn, terwijl ze in de echte wereld nogal onhandig zijn.

2. De Oplossing: CompBench (De "Chef-kookwedstrijd")

De onderzoekers hebben CompBench bedacht. Dit is geen simpele test meer; het is een grote, moeilijke kookwedstrijd.

In plaats van boterhammen, geven ze de AI's een opdracht als:

"Verwijder de tijger die achter de struik zit, maar zorg dat de schaduw van de boom nog steeds op de grond valt, en voeg een vogel toe die op de schouder van de man links zit."

CompBench heeft drie superkrachten:

1. Complexe Scènes: De foto's zijn druk, vol met objecten, en hebben veel details (zoals een echte drukke straat of een bos).
2. Slimme Instructies: De opdrachten zijn niet alleen "verander dit", maar bevatten logica, ruimtelijk inzicht (links/rechts/achter) en actie (springen/draaien).
3. Hoge Kwaliteit: Elke foto in deze test is handmatig gecontroleerd door experts. Er zijn geen "fouten" in de test zelf; als de AI faalt, is het echt de schuld van de AI, niet van de test.

3. Hoe hebben ze het gemaakt? (De "AI-Mens Team")

Ze hebben niet zomaar foto's geselecteerd. Ze hebben een samenwerking tussen mens en machine gebruikt:

• De AI (de assistent): Kijkt naar een foto en bedenkt een moeilijke opdracht.
• De Mens (de chef): Kijkt of de opdracht logisch is en of het resultaat eruitziet zoals bedoeld.
• De "Decoupling"-strategie: Ze hebben de instructies ontrafeld in vier stukjes: Waar moet het gebeuren? Hoe moet het eruit zien? Wat moet er gebeuren (actie)? En wat is het object? Dit zorgt ervoor dat de AI niet in de war raakt.

4. Wat hebben ze ontdekt? (De Uitslag)

Toen ze de beste AI's van vandaag de dag op deze zware test lieten, was het resultaat verhelderend:

• Niets is perfect: Geen enkele AI kon alle taken perfect doen. Het is alsof je een groep sporters laat racen; de ene is goed in hardlopen, de andere in zwemmen, maar niemand is de beste in alles.
• De winnaars: Enkele nieuwe modellen (zoals Bagel en Qwen-Image-Edit) deden het het beste. Ze lijken een soort "brein" te hebben dat beter begrijpt wat er in de foto gebeurt.
• De valkuil: Veel AI's begrijpen de tekst wel, maar kunnen de actie niet precies uitvoeren. Ze verplaatsen een object, maar laten de schaduw achter of verstoren de achtergrond. Dit noemen ze "Planner-Executor misalignement": het brein weet wat er moet gebeuren, maar de hand (de AI die de pixels tekent) is te onhandig.
• De toekomst: Om echt goede foto's te maken, moeten AI's niet alleen tekst begrijpen, maar ook redeneren (logica) en ruimtelijk inzicht hebben (weten hoe licht en schaduwen werken).

Samenvattend

CompBench is de nieuwe "reality check" voor AI-foto-editors. Het is een test die laat zien dat we nog niet klaar zijn voor de echte wereld. Het is alsof we net beginnen met het bouwen van een auto die kan vliegen, maar we testen hem nog steeds op een vlakke parkeerplaats. Met CompBench duwen we de AI's eindelijk de lucht in, zodat we kunnen zien wie er echt kan vliegen en wie er neerstort.

Het is een belangrijke stap om AI's te helpen niet alleen "tekenen", maar echt te denken over wat ze doen.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor instructiegeleide beeldbewerking (image editing) vertonen drie kritieke tekortkomingen die hen ongeschikt maken voor het evalueren van modellen in complexe, realistische scenario's:

1. Gebrek aan taakcomplexiteit: Bestaande datasets (zoals MS COCO-gebaseerde benchmarks) bevatten vaak vereenvoudigde, object-gerichte scènes met weinig ruimtelijke interacties, occultatie (overlapping) of achtergrondrommel. Dit leidt tot een discrepantie tussen benchmarkprestaties en real-world toepasbaarheid.
2. Beperkte instructie- en taakdekking: De instructies zijn vaak atomair en simpel (bijv. "verander de hond in een kat") en missen contextuele redenering, meervoudige objectbewerkingen, of dynamische staatswijzigingen die gebruikerstypisch zijn.
3. Kwaliteitsproblemen bij bewerkte beelden: Veel bestaande datasets bevatten fouten zoals onnauwkeurige instructie-opvolging, geometrische vervormingen en semantische inconsistenties, wat de betrouwbaarheid van evaluatiemetingen ondermijnt.

Methodologie

Om deze kloof te overbruggen, introduceren de auteurs CompBench, een grootschalig benchmark voor complexe instructiegeleide beeldbewerking.

• Dataverzameling en Voorverwerking:
  • De brondata komt van het MOSE-dataset (een real-world VOS-dataset).
  • Er wordt een strikte filtering toegepast op beeldkwaliteit (via NIQE en handmatige verificatie) en maskers (opdeling van multi-object annotaties, verwijdering van discontinuïteiten).
• MLLM-Menselijke Collaboratie Framework:
  • De dataset wordt gegenereerd via een samenwerking tussen Multimodale Grootte Taalmodellen (MLLMs) en menselijke experts.
  • MLLMs genereren initiële instructies op basis van visuele scènes en bewerkingsdoelen.
  • Menselijke experts valideren en verfijnen deze instructies om zekerheid te krijgen over de uitlijning tussen instructie en beeld, en de kwaliteit van de bewerking.
• Instructie-Decompositiestrategie:
  • Om instructies preciezer te maken, worden ze ontleed in vier dimensies:
    1. Locatie: Ruimtelijke positie (bijv. "links van de tafel").
    2. Uiterlijk: Visuele attributen (kleur, textuur).
    3. Dynamiek: Bewegingstoestanden (bijv. "vliegend").
    4. Objecten: De entiteiten zelf.
  • Dit zorgt voor instructies die zowel natuurlijk taalgebruik behouden als technisch specifiek zijn.
• Taakcategorisatie:
  CompBench omvat 9 specifieke taken verdeeld over 5 hoofdcategorieën:
  1. Lokale Bewerking: Object toevoegen, verwijderen, vervangen.
  2. Multi-bewerking: Multi-turn (meerdere rondes) en multi-object bewerking.
  3. Actie-bewerking: Wijziging van dynamische toestanden of interacties.
  4. Ruimtelijke Scène-bewerking: Locatie en gezichtspunt (viewpoint) wijzigingen.
  5. Complexe Redenering: Impliciete contextuele bewerkingen die logisch redeneren vereisen.

Belangrijkste Bijdragen

1. Eerste Grootte Benchmark voor Complexe Scènes: CompBench bevat meer dan 3.000 hoogwaardige beeld-instructieparen. Het onderscheidt zich door een aanzienlijk hogere complexiteit in vergelijking met bestaande benchmarks (gemeten aan het aantal objecten per beeld, categorie-diversiteit, en occultatie-ratio's).
2. Uitgebreide Taakdekking: Het is de eerste benchmark die systematisch complexe taken zoals multi-turn editing, viewpoint editing en impliciete redenering test, die in eerdere benchmarks ontbraken.
3. Hoge Kwaliteitscontrole: Alle samples zijn handmatig gevalideerd. De dataset toont aanzienlijk hogere SSIM-scores (Structural Similarity Index Measure) dan andere datasets, wat aangeeft dat de achtergronden beter behouden blijven en de bewerkingen nauwkeuriger zijn.
4. Uitgebreide Evaluatie Framework: Naast traditionele metrics (PSNR, SSIM, LPIPS) wordt gebruikgemaakt van CLIP-scores voor voorgrond-achtergrond decoupling en een multi-perspectief scoringssysteem (GPT-4o, Qwen2.5-VL, en menselijke annotatoren) voor taken waar automatische metrics tekortschieten (zoals actie- en viewpoint editing).

Resultaten

De auteurs hebben 15 state-of-the-art modellen geëvalueerd, waaronder InstructPix2pix, MagicBrush, SmartEdit, Bagel, FLUX.1 Kontext en Qwen-Image-Edit.

• Algemene Prestaties: Geen enkel model domineert alle taken. Bagel presteert het meest consistent, met topprestaties in 18 van de 37 gemeten metrics. Qwen-Image-Edit en FLUX.1 Kontext volgen op de voet.
• MLLM-integratie is cruciaal: Modellen die Multimodale Grootte Taalmodellen (MLLMs) integreren (zoals Bagel en Qwen) presteren significant beter dan modellen die alleen op CLIP-tekstuitlijning vertrouwen. Dit benadrukt de noodzaak van geavanceerde redeneringscapaciteiten voor complexe instructies.
• Meer-rondes bewerking: Bij multi-turn editing zien alle modellen een daling in achtergrondconsistentie in de tweede ronde, wat aangeeft dat het behouden van context over meerdere bewerkingen heen een uitdaging blijft.
• Foutanalyse:
  • Planner-Executor Misalignment: Zelfs als het MLLM (de planner) het doel correct identificeert, faalt het diffusiemodel (de executor) vaak bij precieze masking, wat leidt tot "background leakage".
  • Geometrische Hallucinaties: Bij complexe ruimtelijke taken (zoals viewpoint wijziging) genereren modellen vaak vervormde geometrieën, wat wijst op een gebrek aan 3D-structurele priors.

Betekenis en Toekomstperspectief

CompBench blootlegt fundamentele beperkingen van huidige beeldbewerkingsmodellen en biedt een robuust platform voor de ontwikkeling van de volgende generatie systemen. De paper concludeert dat toekomstig onderzoek zich moet richten op:

1. Het integreren van MLLMs voor betere instructie-interpretatie en contextueel begrip.
2. Het verbeteren van pixel-level grounding in rommelige scènes om de kloof tussen planning en uitvoering te dichten.
3. Het versterken van redeneringscapaciteiten via trainingsparadigma's die bewust zijn van redenering (reasoning-aware training).
4. Het incorporeren van 3D-structurele priors of geometrische geleiding om fysieke consistentie en het voorkomen van geometrische hallucinaties te waarborgen.

Samenvattend stelt CompBench een nieuwe standaard voor in de evaluatie van beeldbewerking, waarbij de focus verschuift van simpele objectmanipulatie naar complexe, contextbewuste en redeneringsgedreven scènes.