Technische Samenvatting: PAINTBENCH

Probleemstelling

Hoewel huidige multimodale modellen uitblinken in open-ended, subjectieve visuele bewerkingen (bijv. "maak de lucht blauwer"), hebben ze moeite met precieze, eenduidige visuele bewerkingsopdrachten. Bestaande benchmarks voor beeldbewerking vertrouwen grotendeels op menselijk oordeel, visie-taalmodel (VLM) scoring, of perceptuele metrieken (bijv. SSIM, LPIPS, FID). Deze benaderingen zijn ongeschikt voor taken met deterministische grondwaarheden (ground truths), omdat ze bias introduceren en het niet kunnen verifiëren van exacte correctheid. Het artikel identificeert een gat in de evaluatie van de vraag of modellen exacte rasteroperaties kunnen uitvoeren—zoals een vorm 50 pixels verplaatsen, een specifiek gebied vullen (flood-fill), of een specifiek object verwijderen—waarbij een unieke correcte output bestaat.

Methodologie

PAINTBENCH: Een Deterministische Benchmark

De auteurs introduceren PAINTBENCH, een procedureel gegenereerde benchmark ontworpen om 20 fundamentele precieze visuele bewerkingsoperaties te evalueren over vier categorieën:

1. Geometrische Transformatie: Translatie, rotatie, reflectie, schaling, shearing (afschuiving).
2. Structurele Manipulatie: Constructie, verwijdering, kopiëren, rand, cropping (bijsnijden).
3. Kleurverandering: Herkleuren, flood fill, blending (mengen), gradiënt, puntoperaties.
4. Symbolische Redenering: Vergelijking, ordening, patroon, tellen, legenda.

Generatie en Ontwerp:

• Procedurele Generatie: Problemen worden gegenereerd vanuit willekeurige seeds met configureerbare parameters (canvasdimensies, objectaantal, achtergrondtextuur, kleurenpalet). Dit creëert een effectief oneindige, contaminatiebestendige evaluatiesuite.
• Deterministische Grondwaarheid: Elk probleem bestaat uit een invoerbeeld, een natuurlijke taalinstructie en een unieke grondwaarheid-antwoordafbeelding gegenereerd door een deterministische transformatie $A = f(I, t)$.
• Visuele Condities: Om robuustheid te testen, wordt elke taak geëvalueerd onder acht visuele condities, waarbij telkens één parameter wordt gevarieerd (bijv. gestreepte versus effen achtergronden, objectaantallen van 3 tot 60, niet-standaard kleurenpaletten).

Evaluatieprotocol:

• Pixel-niveau Vergelijking: De evaluatie vermijdt volledig "judge models". In plaats daarvan wordt de output van het model $\hat{A}$ vergeleken met de grondwaarheid $A$ en de invoer $I$ op pixelniveau.
• Kleurafstand: Per-pixel correctheid wordt gemeten met behulp van $\Delta E^*_{76}$ (Euclidische afstand in de CIE Lab* ruimte). Een pixel wordt als correct beschouwd als de afstand binnen een tolerantie $t \in \{0, \dots, 10\}$ valt.
• Metrieken:
  • IoU@t: De Jaccard-index toegepast op pixel-correctheid, die zowel het falen om te bewerken (incorrect bewerkte pixels) als de corruptie van de preservatie-regio (incorrect behouden pixels) gezamenlijk bestraft.
  • mIoU (Mean IoU): De primaire samenvattende metriek, die de IoU@t middelt over 11 kleurtoleranties ($t=0$ tot $10$) en alle problemen. Dit legt prestaties vast over het volledige spectrum van kleurprecisie.

TINYGRAFIXBENCH

Om generalisatie buiten synthetische vormen te testen, introduceren de auteurs TINYGRAFIXBENCH, een begeleidende benchmark voor datavisualisatie-bewerking. Deze past hetzelfde procedurele, deterministische framework toe op vijf soorten grafieken (staaf-, scatter-, lijn-, heatmap- en netwerkgrafieken) met 600 problemen.

Belangrijkste Resultaten

Algemene Prestaties

Over 11 geëvalueerde modellen (variërend van native multimodale generatoren tot diffusion editors en flow-matching editors), is de prestatie extreem laag:

• Het best presterende model (NANO-BANANA-2) bereikt slechts 17,1% mIoU.
• Het op één na beste model (GPT-IMAGE-2) scoort 16,3%.
• Open-weight modellen scoren over het algemeen lager, waarbij sommige (bijv. HUNYUANIMAGE-3.0, INSTRUCTPIX2PIX) bijna 0% scoren op veel taken.

Taakmoeilijkheid en Specialisatie

• Moeilijkste Taken: Geometrische transformaties (vooral shearing en schaling), op formules gebaseerde kleurveranderingen (gradiënten, blending) en de meeste structurele manipulaties zijn consistent moeilijk voor alle modellen.
• Makkelijkere Taken: Verwijdering en enkelvoudige kleuroperaties (recolor, flood fill) zijn meer hanteerbaar maar nog lang niet opgelost (bijv. Removal bereikt ~50% voor het beste model).
• Model Specialisatie: Modellen vertonen duidelijke sterktes. Zo blinkt GPT-IMAGE-2 uit in geometrische en structurele taken, terwijl NANO-BANANA-2 leidt in kleurverandering en symbolische redenering. Opvallend is dat NANO-BANANA-2 47,1% scoort op "Legend"-taken vergeleken met 19,4% voor GPT-IMAGE-2.

Gevoeligheid voor Scènevariatie

Modellen zijn zeer broos tegen scènevariaties:

• Gestreepte Achtergronden: Veroorzaken significante dalingen in mIoU (bijv. -11,1% voor NANO-BANANA-2).
• Hoog Objectaantal: De prestaties nemen lineair af naarmate het aantal objecten toeneemt (bijv. een daling van -11,9% voor NANO-BANANA-2 bij de overgang van 3 naar 60 objecten).
• Niet-standaard Kleuren: Hoewel de headline mIoU-scores stabiel lijken, stort de exacte pixel-match nauwkeurigheid ($\Delta E^*_{76} = 0$) in bij niet-standaard paletten, wat aangeeft dat modellen moeite hebben met het precies reproduceren van specifieke, niet-standaard kleuren.
• Grootte van het Bewerkingsgebied: Modellen bewerken te veel ten opzichte van de doelregio. Voor kleine bewerkingsregio's (< 32² pixels) veranderen modellen 50 tot 1.400 keer meer pixels dan vereist, wat leidt tot scherpe prestatiedalingen.

Generalisatie

Er is een sterke lineaire correlatie ($R^2 = 0,91, p < 0,001$) tussen de PAINTBENCH- en TINYGRAFIXBENCH-scores. Dit suggereert dat de synthetische benchmarks van PAINTBENCH fundamentele capaciteiten vastleggen die generaliseren naar toegepaste datavisualisatie-bewerkingstaken.

Betekenis en Claims

Het artikel claimt dat PAINTBENCH een rigoureuze, bias-vrije basis biedt voor het meten van vooruitgang in precieze multimodale visuele bewerking. Door de focus te verschuiven van subjectieve, open-ended evaluatie naar deterministische, pixel-niveau verificatie, onthult de benchmark dat de huidige state-of-the-art modellen fundamenteel niet in staat zijn om basis rasteroperaties met hoge precisie uit te voeren.

De auteurs benadrukken dat:

1. Huidige modellen niet "opgelost" zijn voor precieze bewerking: Zelfs de beste modellen falen bij de meerderheid van de taken, vooral die welke geometrische precisie of complexe kleurlogica vereisen.
2. Evaluatie taakspecifiek moet zijn: Geaggregeerde ranglijsten verbergen significante modelspecialisaties en foutmodi (bijv. kleurimprecisie versus structurele weglating).
3. Procedurele generatie essentieel is: Statische benchmarks zijn gevoelig voor contaminatie; dynamische generatie maakt gecontroleerde ablatie-studies van scènevariaties mogelijk (achtergronden, objectaantallen, kleuren).
4. Het framework uitbreidbaar is: De aanpak gebruikt voor PAINTBENCH en TINYGRAFIXBENCH kan worden toegepast op andere domeinen met unieke correcte outputs, zoals wetenschappelijke visualisatie, technische tekeningen en 3D-scène manipulatie.

Het artikel concludeert dat hoewel open-ended generatie geavanceerd is, het vermogen om exacte, deterministische visuele bewerkingen uit te voeren een kritische, onopgeloste uitdaging blijft in multimodale AI.