DLEBench: Evaluating Small-scale Object Editing Ability for Instruction-based Image Editing Model

Dit paper introduceert DLEBench, de eerste benchmark die specifiek is ontworpen om de vaardigheid van instructiegebaseerde beeldbewerkingsmodellen te evalueren bij het bewerken van kleine objecten, waarbij een nieuw evaluatieprotocol wordt voorgesteld om de huidige prestatiekloof op dit gebied in kaart te brengen.

De kern

Stel je voor dat je een digitale schilder bent die een opdracht krijgt om een klein detail in een groot schilderij te veranderen. Misschien moet je de sjaal van een figuurtje in de verte van rood naar geel veranderen, of een klein bordje met tekst aanpassen.

Vroeger waren de kunstenaars (de AI-modellen) geweldig in het schilderen van grote dingen, zoals een hele auto of een persoon. Maar als je ze vroeg om iets heel kleins te doen, faalden ze vaak. Ze zagen het kleine object niet, veranderden de verkeerde persoon, of maakten het hele schilderij onherkenbaar.

Deze paper introduceert een nieuwe manier om te kijken of deze digitale kunstenaars nu eindelijk goed kunnen schilderen aan de hand van een nieuwe test en een slimmer beoordelingssysteem.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Kleine Vlieg" in de Kamer

Tot nu toe waren de tests voor beeldbewerkings-AI's gericht op grote objecten. Het was alsof je een schilder testte door te vragen: "Verander de auto in de voorgrond." Dat ging vaak goed.
Maar in het echte leven zijn de moeilijkste taken vaak klein: "Verander de kleur van de horlogeband" of "Verwijder de vlieg op de neus van de man."
De auteurs zeggen: "De huidige AI's zijn als schilders die een vergrootglas nodig hebben om een vlieg te zien. Zonder dat zien ze het niet, of ze veranderen per ongeluk de hele neus van de man."

2. De Oplossing: DLEBench (De "Kleintjes-Test")

De onderzoekers hebben een nieuwe testbank gemaakt, genaamd DLEBench.

• Wat is het? Een verzameling van bijna 1.900 voorbeelden.
• Het unieke: In al deze voorbeelden is het object dat je moet veranderen heel klein (minder dan 10% van het hele plaatje).
• Hoe maakten ze het? Ze namen bestaande vragen over kleine objecten (bijvoorbeeld: "Wat is de kleur van de sjaal?") en draaiden ze om in een opdracht: "Verander de sjaal van rood naar geel."
• De moeilijkheidsgraad: Het is net als een zoektocht naar een speld in een hooiberg, waarbij je die speld ook nog eens moet vervangen zonder de rest van het hooi aan te raken.

3. Het Beoordelingssysteem: Waarom een computer niet genoeg is

Als je vraagt aan een andere AI (een "rechter-AI") om te kijken of de opdracht goed is uitgevoerd, faalt die vaak ook.

• Het probleem: Een AI-rechter kijkt vaak naar het hele plaatje en ziet de kleine verandering niet. Het is alsof je vraagt aan iemand om te kijken of er een stofje op een tafel ligt, terwijl die persoon door een verrekijker naar de horizon kijkt.
• De nieuwe methode: De auteurs hebben twee slimme manieren bedacht om dit op te lossen:
  1. De "Tool-driven" manier (De gereedschapskist): De AI-rechter krijgt niet alleen een plaatje, maar ook digitale gereedschappen. Hij kan een "zoom-in" gebruiken om heel dichtbij het kleine object te kijken, of een "verschil-detector" die precies laat zien wat er is veranderd. Het is alsof je de rechter een vergrootglas en een liniaal geeft.
  2. De "Oracle-guided" manier (De magische masker): Hierbij wordt het kleine object dat je moet veranderen alvast uitgesneden en vergroot. De AI-rechter hoeft dan niet te zoeken; hij kijkt alleen naar het object. Voor het controleren van de rest van het plaatje wordt het object juist afgedekt met een witte doek, zodat de AI alleen naar de achtergrond kijkt en niet afgeleid wordt.

4. Wat hebben ze ontdekt?

Toen ze 10 verschillende AI-modellen op deze nieuwe test lieten werken, was het resultaat verbluffend:

• Ze zijn nog niet zo goed: Zelfs de beste modellen faalden vaak. Ze zagen het kleine object niet (lokalisatie-fout) of veranderden het verkeerde ding.
• De "Grote" modellen zijn niet altijd de beste: Soms deed een open-source model het beter dan een dure, gesloten model.
• Het gevaar van "Over-actief": Veel modellen veranderden wel het juiste ding, maar maakten het erger. Ze veranderden bijvoorbeeld de kleur van de sjaal, maar maakten ook de stofstructuur kapot of veranderden de persoon erachter.

Conclusie: Waarom is dit belangrijk?

Deze paper zegt eigenlijk: "We moeten stoppen met alleen kijken of AI's grote dingen kunnen veranderen. Als we AI echt slim willen maken voor details, moeten we ze testen op de kleine dingen."

Het is alsof we eindelijk een rijexamen hebben voor een auto die niet alleen op de snelweg moet kunnen rijden, maar ook moet kunnen parkeren in een hele smalle steegje zonder de burenauto aan te raken. Zonder deze test weten we niet of de auto (of de AI) echt klaar is voor de echte wereld.

Technische samenvatting

Probleemstelling

Hoewel Instruction-based Image Editing Models (IIEMs) aanzienlijke vooruitgang hebben geboekt en goed presteren op bestaande benchmarks, blijft hun vermogen om kleine objecten (small-scale objects) nauwkeurig te bewerken onderbelicht. Bestaande benchmarks vertonen een sterke bias naar het bewerken van prominente objecten met een groot ruimtelijk oppervlak.
De auteurs stellen dat naarmate het ruimtelijke oppervlak van een object afneemt, het bewerkingsparadigma verschuift van brede modificatie naar gelokaliseerde, fijne aanpassingen. Dit vormt een aanzienlijke uitdaging voor IIEMs, die vaak falen bij het lokaliseren van kleine doelen (bijv. een klein sjaaltje of een klein detail op een voorwerp), wat leidt tot mislukte bewerkingen of het onbedoeld aanpassen van het verkeerde object. Bovendien zijn bestaande evaluatiemethoden (zoals CLIP-scoren of LMM-as-a-Judge) ontoereikend omdat ze moeite hebben met het waarnemen van subtiele, fijne visuele veranderingen en vaak subjectief zijn.

Methodologie

1. DLEBench: De Benchmark

Om dit probleem aan te pakken, stellen de auteurs DeepLookEditBench (DLEBench) voor, de eerste benchmark die specifiek is ontworpen om de vaardigheid van IIEMs bij het bewerken van kleine objecten te evalueren.

• Dataconstructie: De dataset bevat 1.889 samples waarbij de doelobjecten slechts 1% tot 10% van het totale beeldoppervlak beslaan.
• Bron: De data is afgeleid van visuele redeneringsdatasets (zoals MME-Realworld, Pixel-Reasoner, V*-Bench) via een semi-automatische, drie-staps pijplijn:
  1. Metadata Constructie: Het omzetten van vraag-antwoordparen (QA) naar bewerkingsinstructies via counterfactual synthesis (met GPT-4.1).
  2. Referentiebeeld Generatie: Gebruikmakend van een "crop-and-edit" strategie. Omdat state-of-the-art modellen vaak falen bij het bewerken van kleine objecten in een volledig beeld, wordt het doelgebied eerst geselecteerd en geëxpandeerd (met een adaptieve bbox-expansie) om context te behouden, waarna het wordt bewerkt om een hoogwaardig referentiebeeld (Ground Truth) te genereren.
  3. Menselijke Verificatie: Strikte controle op semantische consistentie en visuele kwaliteit.
• Categorieën: De benchmark omvat zeven instructietypes, onderverdeeld in attributeniveau (materiaal, kleur, vorm, OCR) en objectniveau (aantal, vervanging, verwijdering), inclusief complexe scenario's zoals gedeeltelijke occlusie en multi-object bewerking.

2. Evaluatieprotocol

De auteurs introduceren een nieuw evaluatieprotocol om de subjectiviteit van bestaande methoden te minimaliseren:

• Criteria:
  • Instruction Following (IF): Evalueert of het model het kleine doelobject correct lokaliseert en de instructie nauwkeurig uitvoert zonder overmatige modificatie.
  • Visual Consistency (VC): Evalueert de integriteit van de niet-doelgebieden (het behoud van de rest van het beeld).
• Score Rubrics: In plaats van vage termen, worden objectieve scores gebaseerd op specifieke faalmodi (bijv. Score 1: Lokalisatiefout, Score 2: Foutieve actie, Score 3: Overmatige modificatie, Score 4: Foutloze uitvoering).
• Dual-Mode Evaluatie Framework: Om de beperkingen van LMMs (Large Multimodal Models) als beoordelaars te overwinnen, worden twee modi voorgesteld:
  1. Tool-driven Mode: De LMM fungeert als agent die externe tools gebruikt (zoals GroundingDINO voor lokalisatie, Zoom-In voor detailinspectie, Difference voor pixelvergelijking en Enhancer voor scherpte) om de perceptie te verbeteren.
  2. Oracle-guided Mode: Gebruikt menselijk geannoteerde bounding boxes om de invoer voor te verwerken (bijv. door het doelobject te maskeren of te croppen), waardoor de LMM zich puur kan focussen op de uitvoering van de instructie of de consistentie van de achtergrond, zonder lokalisatiefouten.

Belangrijkste Resultaten

De auteurs hebben 10 representatieve IIEMs (zowel gesloten-bron als open-source) geëvalueerd op DLEBench:

• Algemene Prestaties: Er is een significante prestatiekloof geconstateerd. Zelfs de beste modellen (zoals Gemini-3-Pro) scoren gemiddeld slechts 65,55, wat aangeeft dat zelfs geavanceerde modellen moeite hebben met kleine objecten.
• Open vs. Gesloten Bron: In tegenstelling tot algemene redeneringsbenchmarks presteren bepaalde open-source modellen (zoals Bagel-Think) beter dan gesloten-bron modellen (zoals GPT-Image-1), wat suggereert dat gesloten modellen niet per se superieur zijn in dit specifieke domein.
• Uitdagingen per Type: De taak "Change Count" (aantal objecten wijzigen) bleek het moeilijkst, vanwege de complexiteit van het gelijktijdig isoleren en tellen van meerdere kleine objecten.
• Invloed van Schaal: Er is een sterke positieve correlatie gevonden tussen de grootte van het object en de prestaties. Modellen presteren aanzienlijk slechter bij zeer kleine objecten (<1% van het beeld).
• Foutanalyse: Veel modellen falen primair door lokalisatiefouten (ze vinden het verkeerde object) of door overmatige modificatie (ze veranderen te veel van het object, inclusief niet-gespecificeerde details).
• Validatie van Evaluatie: De Oracle-guided Mode en Tool-driven Mode tonen een veel hogere correlatie met menselijke oordelen dan de standaard "LMM-as-a-Judge" benadering, wat aantoont dat externe tools en menselijke annotaties essentieel zijn voor betrouwbare evaluatie van fijne details.

Bijdragen

1. DLEBench: De eerste benchmark die zich specifiek richt op de evaluatie van kleine-object-bewerkingsvaardigheden, met 1.889 zorgvuldig geconstrueerde samples.
2. Evaluatieprotocol: Een nieuw protocol met verfijnde, objectieve score-rubrics en een dual-mode framework (Tool-driven en Oracle-guided) dat de misalignering tussen LMM-beoordelaars en menselijke oordelen oplost.
3. Empirisch Inzicht: Een uitgebreide analyse van 10 IIEMs die aantoont dat kleine-object-bewerking een fundamentele beperking is in de huidige staat van de kunst, en dat gesloten-bron modellen niet automatisch beter presteren dan open-source alternatieven in dit specifieke scenario.

Significantie

Dit werk is cruciaal voor de toekomst van beeldbewerking omdat het de focus verschuift van "grote, duidelijke wijzigingen" naar "precieze, lokale correcties". Het benadrukt dat voor praktische toepassingen (zoals het corrigeren van kleine fouten in gegenereerde beelden zonder het hele beeld opnieuw te genereren) modellen moeten worden getraind en geëvalueerd op hun vermogen om kleine details te begrijpen en te manipuleren. De voorgestelde evaluatiemethoden bieden een robuustere manier om deze vaardigheden te meten dan de huidige stand van de techniek.