EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing

Probleemstelling

Instruction-based image editing (afbeeldingbewerking op basis van instructies) heeft zich snel ontwikkeld, maar betrouwbare en interpreteerbare evaluatie blijft een knelpunt. Bestaande evaluatieprotocollen hebben twee fundamentele tekortkomingen:

1. Afhankelijkheid van referentieafbeeldingen: Veel benchmarks vereisen een "ground-truth" bewerkte afbeelding. Dit beperkt de dekking van de evaluatie en introduceert de vooroordelen van de generatieve modellen die deze referenties hebben gegenereerd.
2. Beperkingen van Zero-shot VLM's: Protocollen die uitsluitend vertrouwen op Vision-Language Models (VLM's) voor beoordeling, lijden vaak onder gebrek aan precisie. VLM's zijn slecht in ruimtelijk redeneren, hebben last van object-hallucinaties, missen subtiele pixelveranderingen en zijn niet goed gekalibreerd voor het detecteren van artefacten of esthetische kwaliteit in gegenereerde afbeeldingen.

Vooral bij multi-turn editing (meerdere opeenvolgende bewerkingstappen) is het moeilijk om na te gaan of een model de instructie volgt zonder de consistentie van de rest van de afbeelding te schaden.

Methodologie: EdiVal-Agent

De auteurs introduceren EdiVal-Agent, een geautomatiseerd, object-gericht evaluatiekader dat specifiek is ontworpen voor multi-turn instructiegebaseerde bewerking. Het proces bestaat uit drie fasen:

1. Decompositie (Decomposition):

   • Een VLM (bijv. GPT-4o) analyseert de invoerafbeelding en decomposeert deze in semantisch betekenisvolle objecten.
   • Elk object wordt gestructureerd beschreven in JSON (naam, kleur, materiaal, tekst, aantal, voorgrond/achtergrond).
   • Een objectdetector (Grounding-DINO) valideert deze objecten en levert bounding boxes op om een betrouwbare "All Objects Pool" te creëren.

2. Generatie van Instructies (Instruction Generation):

   • Op basis van de object-pool genereert het agent diversiteit in bewerkingssituaties.
   • Er worden instructies gegenereerd voor 9 typen bewerkingen (o.a. object toevoegen, verwijderen, vervangen, kleur wijzigen, materiaal wijzigen, tekst veranderen, positie veranderen, aantal veranderen, achtergrond veranderen).
   • Het systeem beheert dynamisch drie object-pools tijdens de rondes (turns):
     • $P_{all}$: Alle objecten die ooit aanwezig waren.
     • $P_{unch}$: Objecten die tot nu toe niet zijn bewerkt.
     • $P_{avail}$: Objecten die momenteel bewerkbaar zijn.
   • Dit zorgt voor contextbewuste multi-turn scenario's waarbij de staat van de afbeelding continu wordt bijgewerkt.

3. Evaluatie (Evaluation):
   Het kader gebruikt drie nieuwe metrieken:

   • EdiVal-IF (Instruction Following): Meet of de instructie is opgevolgd.
     • Voor symbolisch verifieerbare taken (bijv. "verwijder object X", "verander positie") wordt gebruikgemaakt van een open-vocabulary detector (Grounding-DINO) voor logische checks (aanwezigheid/afwezigheid, coördinaten).
     • Voor semantische taken (bijv. "verander kleur") wordt de detector gebruikt om het object te lokaliseren, waarna een VLM de specifieke eigenschap verifieert op de uitgesneden afbeelding (crop).
   • EdiVal-CC (Content Consistency): Meet of niet-bewerkte delen van de afbeelding behouden blijven.
     • Berekent de semantische gelijkenis (via DINOv3) van de achtergrond en de objecten in de $P_{unch}$-pool tussen de originele en de bewerkte afbeelding.
   • EdiVal-VQ (Visual Quality): Meet de algehele visuele kwaliteit.
     • Gebruikt menselijke voorkeursmodellen (HPSv3) in plaats van VLM's, omdat VLM's vaak onnauwkeurig zijn in het beoordelen van artefacten en esthetiek.

De totale score (EdiVal-O) is het geometrisch gemiddelde van EdiVal-IF en EdiVal-CC, wat een balans creëert tussen instructievolging en consistentie.

Belangrijkste Bijdragen

1. EdiVal-Agent: Een volledig geautomatiseerd, object-gecentreerd evaluatie-agent dat multi-turn editing nauwkeurig kan beoordelen zonder referentieafbeeldingen.
2. EdiVal-Bench: Een nieuw benchmark met 1.716 instructies over 572 real-world afbeeldingen, die 16 state-of-the-art modellen test (zowel gesloten als open-source, inclusief diffusion, flow-matching en autoregressive modellen).
3. Nieuwe Metrieken: De introductie van EdiVal-IF en EdiVal-CC, die een hogere overeenkomst met menselijke beoordelingen tonen dan bestaande methoden (zoals CLIP-directional scores of puur VLM-gebaseerde scoring).
4. Uitgebreide Analyse: Een diepgaande vergelijking van multi-turn editing versus complexe single-shot prompts, en een analyse van de "exposure bias" bij autoregressive modellen.

Resultaten

De evaluatie van 16 modellen leverde de volgende inzichten op:

• Top Performers: Seedream 4.0 behaalt de beste algehele prestatie, met een sterke balans tussen instructievolging, consistentie en latentie. GPT-Image-1.5 presteert aanzienlijk beter dan zijn voorganger (GPT-Image-1), vooral in content consistentie over meerdere rondes.
• Open Source vs. Gesloten: Er is een duidelijke kloof tussen gesloten en open-source systemen. Qwen-Image-Edit presteert goed in de eerste ronde maar degradeert scherp in latere rondes (van 78.36 naar 41.93 in EdiVal-O), wat wijst op sterke exposure bias (het model is getraind op echte afbeeldingen, niet op zijn eigen generaties).
• Flow-Matching: FLUX.2-max is de sterkste flow-matching baseline. FLUX.1-Kontext-dev heeft moeite met instructievolging.
• Consistentie: Modellen zoals Nano Banana en FLUX.1-Kontext-max tonen uitstekende consistentie, terwijl GPT-Image-1 vaak de consistentie verliest ten gunste van instructievolging.
• Visuele Kwaliteit: Sommige modellen (zoals GPT-Image-1) neigen naar "beautification" (het verbeteren van de esthetiek), wat soms ten koste gaat van de inhoudelijke consistentie. Andere modellen behouden de originele stijl beter.
• Menselijke Overeenkomst: EdiVal-IF bereikt een overeenkomst met menselijke beoordelaars van 81,3%, wat significant hoger is dan puur VLM-based methoden (75,2%) of CLIP-based methoden (65,4%).

Betekenis en Impact

Dit paper biedt een cruciale stap voorwaarts in het veld van image editing door een robuust, object-gericht evaluatiekader te introduceren dat de complexiteit van multi-turn interacties adresseert.

• Het identificeert specifieke faalmodi (zoals exposure bias en ruimtelijke redeneringsproblemen) die eerder onopgemerkt bleven.
• Het biedt ontwikkelaars van generatieve AI een betrouwbaar hulpmiddel om hun modellen te optimaliseren, niet alleen voor single-shot maar ook voor dialogische, multi-stap bewerkingen.
• De bevindingen suggereren dat de volgende generatie edit-modellen zich moet richten op het verminderen van exposure bias en het verbeteren van ruimtelijk redeneren om echt bruikbaar te zijn voor complexe, iteratieve creatieve workflows.

De code en dataset zijn openbaar beschikbaar gesteld, wat de reproduceerbaarheid en verdere onderzoek in dit domein stimuleert.