💻 computer science

TECCI: Tricky Edits of Collected and Curated Images

Het artikel introduceert TECCI, een uitdagende nieuwe benchmark bestaande uit 7.550 gecureerde afbeelding-bewerkingparen die zijn ontworpen om de beperkingen van huidige tekstgestuurde afbeelding-bewerkingsmodellen op het gebied van instructieopvolging, bewerkingsminimaliteit en visuele kwaliteit systematisch te evalueren en bloot te leggen, met name voor complexe ruimtelijke en creatieve taken.

Oorspronkelijke auteurs: Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer getalenteerde digitale kunstenaars hebt (AI-modellen) die beroemd zijn om het schilderen van plaatjes op basis van jouw beschrijvingen. Je vraagt hen: "Teken een kat," en ze doen een geweldig werk. Maar wat gebeurt er wanneer je hen iets lastigs vraagt, zoals: "Verander de hoed van de kat in een piepklein parapluutje, maar houd de rest van de kat exact hetzelfde, en zorg ervoor dat de paraplu erbij lijkt te horen"?

Dat is precies waar dit artikel, TECCI, over gaat. Het is een enorme, lastige test die ontworpen is om te zien hoe goed deze digitale kunstenaars echt zijn wanneer de instructies ingewikkeld worden.

Hier is een uitsplitsing van het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: De "Te Makkelijke" Tests

De auteurs merkten op dat eerdere tests voor deze AI-kunstenaars leken op het geven van een wiskundetoets aan een leerling met alleen maar makkelijke optelsommen. De AI-modellen haalden perfecte scores, maar ze faalden nog steeds wanneer er lastigere dingen werden gevraagd, zoals het veranderen van de tijd op een klok, het verplaatsen van een auto naar een andere plek, of het herschrijven van tekst op een bord.

De auteurs realiseerden zich: "We hebben een moeilijkere test nodig om te zien waar deze modellen echt breken."

2. De Oplossing: Een Nieuwe, Geheime Speeltuin (De Dataset)

Om een eerlijke test te creëren, bouwden de auteurs een gloednieuwe speeltuin genaamd TECCI (Tricky Edits of Collected and Curated Images).

Verse Ingrediënten: In tegen tegenstelling tot andere tests die foto's gebruiken die overal op het internet te vinden zijn (die de AI misschien al heeft "gezien" tijdens het leren), hebben de auteurs deze 1.934 foto's zelf gedurende meerdere jaren gemaakt. Het is alsof je de leerlingen een gloednieuw, geheim receptenboek geeft dat ze nog nooit hebben gezien.
Het Menu: De foto's dekken 7 verschillende "smaken": Tekst, Klokken, Voertuigen, Gebouwen, Kunst, Dieren en Natuur.
De Instructies: Ze creëerden 7.550 specifieği uitdagingen. Sommige werden door mensen geschreven om super moeilijk te zijn (zoals "verander deze kat in een zwart-wit logo"), en veel werden automatisch gegenereerd door een andere AI om verschillende soorten trucjes te dekken.

3. De Uitdaging: Drie Regels van het Spel

Wanneer de AI-kunstenaars deze foto's probeerden te bewerken, beoordeelden de juryleden (mensen) hen op drie specifieke regels, als een strenge kunstcriticus:

Heb je geluisterd? (Instructie-opvolging): Heeft de AI daadwerkelijk gedaan wat je vroeg? Als je om een gouden auto vroeg, heb je een gouden auto gegeven?
Heb je de rest verpest? (Minimaliteit): Dit is de "raak de rest niet aan"-regel. Als je om de kleur van de auto te veranderen vroeg, heeft de AI dan per ongeluk ook de lucht of de weg veranderd? Goede bewerking is als een chirurg: precieze sneden, zonder gezond weefsel te beschadigen.
Ziet het er goed uit? (Visuele Kwaliteit): Is het resultaat wazig, vreemd of gepixelde? Of ziet het eruit als een echte, hoogwaardige foto?

4. De Resultaten: De AI-Kunstenaars Worstelden

De auteurs testten vijf van de beste AI-modellen ter wereld op deze nieuwe test. De resultaten waren een realiteitscheck:

Het Scorebord: Zelfs het beste AI-model haalde slechts een "voldoende" op ongeveer 22% van de taken. Dat betekent dat de AI bij bijna 8 op de 10 lastige verzoeken op minstens één van de drie regels faalde.
De Winnaar: Eén model, genaamd Nano Banana Pro, kwam bovenaan te staan, maar faalde nog steeds vaker dan het slaagde.
De Zwakke Punten:
- Makkelijke dingen: Het veranderen van kleuren of eenvoudige verschijningen was het makkelijkst voor de AI.
- Moeilijke dingen: Dingen die "denken" vereisten, zoals het veranderen van de tijd op een klok, het op een logische manier verplaatsen van objecten, of het bewerken van complexe gebouwen en natuurscènes, waren erg moeilijk. De AI raakte vaak in de war door de ruimtelijke lay-out (waar dingen zich in de 3D-ruimte bevinden).
- De "Over-Editor": Sommige modellen waren goed in het opvolgen van instructies, maar waren vreselijk in het gelijk houden van de rest van de afbeelding. Ze veranderden de auto wel in goud, maar maakten per ongeluk ook de lucht paars.

5. De "Robotrechter" (Auto-Rater)

Omdat het inhuren van mensen om duizenden plaatjes te beoordelen traag en duur is, bouwden de auteurs een "Robotrechter" (een AI die andere AI's beoordeelt).

Deze Robotrechter was getraind om als een mens te denken.
Het was verrassend nauwkeurig en kwam in ongeveer 75% van de gevallen overeen met de meningen van mensen. Dit betekent dat we deze Robotrechter kunnen gebruiken om toekomstige AI-modellen snel te testen zonder een enorm team van mensen nodig te hebben.

De Kernboodschap

Het artikel concludeert dat hoewel AI-beeldbewerkers beter worden, ze nog lang niet perfect zijn. Ze zijn als leerlingen die geweldig zijn in het kopiëren van een tekening, maar worstelen wanneer ze gevraagd wordt een kleine, precieze verandering aan te brengen zonder het hele plaatje te verpesten. De TECCI-dataset is nu een publiek instrument voor onderzoekers om te proberen deze specifieke zwakheden op te lossen, zodat de volgende generatie AI-kunstenaars de "lastige bewerkingen" kunnen afhandelen zonder de afbeelding te verpesten.

Technische Samenvatting: TECCI - Tricky Edits of Collected and Curated Images

Probleemstelling

Ondanks aanzienlijke vooruitgang in generatieve modellen, worden huidige methoden voor tekstgestuurde beeldbewerking geconfronteerd met hardnekkige uitdagingen op drie kerngebieden: getrouwe instructieopvolging, het minimaliseren van bewerkingen aan de bronafbeelding (het behouden van niet-doelgerichte regio's) en het handhaven van een hoge visuele kwaliteit. Deze beperkingen zijn bijzonder uitgesproken bij het afhandelen van "tricky" (lastige) bewerkingen die complexe ruimtelijke redenering, beweging, gezichtspuntveranderingen, schaalinstellingen en creatieve modificaties vereisen. Bestaande benchmarks vertrouwen vaak op synthetische data of afbeeldingen die al aanwezig zijn in de trainingssets van modellen, waardoor ze er niet in slagen om generalisatie op onbekende, natuurlijke afbeeldingen met genuanceerde, uitdagende instructies adequaat te testen.

Methodologie

Dataset Constructie (TECCI)

De auteurs introduceren TECCI (Tricky Edits of Collected and Curated Images), een nieuwe benchmark bestaande uit 7.550 paren afbeeldingen en bewerkingsinstructies afgeleid van 1.934 unieke afbeeldingen.

Curatie van afbeeldingen: In tegenstelling tot eerdere werken die bestaande datasets gebruiken (bijv. COCO, OpenImages) of synthetische generatie, zijn de TECCI-afbeeldingen volledig nieuw, handmatig vastgelegd door de auteurs over meerdere jaren. Dit garandeert dat de afbeeldingen niet gezien zijn tijdens de training van huidige state-of-the-art (SOTA) modellen.
Categorieën: De dataset beslaat zeven beeldcategorieën: Tekst, Klok, Voertuig, Architectuur, Kunst, Dier en Natuur. Deze zijn gekozen om specifieke foutmodi van bestaande modellen aan te pakken (bijv. het renderen van tekst op gebogen oppervlakken, logische stand van klokwijzers, structurele veranderingen in gebouwen).
Instructiesets:
- TECCI-IRCS (Instruction Rich Challenge Set): 530 afbeeldingen met handmatig geschreven uitdagende instructies. Deze dekken precisietaken zoals tekstmodificatie, stijltransfer, het toevoegen/verwijderen van objecten en subject-recontextualisering.
- TECCI-GGIS (Gemini Generated Instruction Set): 1.404 afbeeldingen met automatisch gegenereerde instructies met behulp van Gemini 3 Pro. Elke afbeelding is gekoppeld aan vijf verschillende bewerkingstypen (Redenering, Voorgrond Verschijning, Voorgrond Semantiek, Afbeelding Stijl, Achtergrond, Creatief) die zijn afgestemd op de specifieke beeldcategorie.

Evaluatiekader

Het artikel hanteert een multidimensionale evaluatiestrategie:

Menselijke Evaluatie: Een subset van 1.315 monsters (uit zowel IRCS als GGIS) werd geëvalueerd door vijf onafhankelijke menselijke beoordelaars.
- Metrieken: Beoordelaars scoren outputs op een 5-punts Likert-schaal over drie dimensies:
  1. Instruction Following (IF): Getrouwheid aan de tekstprompt.
  2. Image Consistency (IC): Minimaliteit van bewerkingen (het behoud van de originele identiteit en niet-doelgerichte regio's).
  3. Visual Quality (VQ): Esthetische en technische excellentie (afwezigheid van artefacten).
- Succespercentage: Een bewerking wordt pas als "succesvol" beschouwd als deze gelijktijdig voldoet aan een drempelwaarde ( $\tau=4,5$ ) op alle drie de criteria.
- Schaal: De studie verzamelde 32.875 menselijke oordelen over vijf modellen.
Automatische Evaluatie (Auto-rater): Om de evaluatie naar de volledige dataset te schalen, hebben de auteurs een auto-rater gebouwd met behulp van Gemini 3 Flash.
- Het model analyseert de bronafbeelding, de instructie en de bewerkte afbeelding, en scoort dezelfde drie criteria.
- De auto-rater werd gekalibreerd tegenover menselijke oordelen met behulp van Z-score normalisatie en bereikte een nauwkeurigheid van 74,7% in het matchen van menselijke algemene succespercentages.

Geëvalueerde Modellen

Vijf propriëtaire SOTA-modellen werden getest via hun officiële API's:

Nano Banana Pro (Gemini 3 Pro Image Preview)
Nano Banana 2 (Gemini 3.1 Flash Image Preview)
Grok Imagine Pro
Seedream 5.0 Lite
GPT Image 1.5

Belangrijkste Resultaten

Algemene Prestaties

De benchmark onthult een aanzienlijke kloof in de huidige capaciteiten. Geen enkel model overschreed een algemeen succespercentage van 22,3% op de gecombineerde dataset.

Top performer: Nano Banana Pro behaalde het hoogste algemene succespercentage (22,3%), gevolgd door Grok Imagine Pro (20,0%) en Nano Banana 2 (19,7%).
Moeilijkheidsgraad van IRCS: De handmatig gecureerde IRCS-subset bleek aanzienlijk moeilijker dan de GGIS-subset, waarbij het beste model slechts 19,7% succes behaalde op IRCS vergeleken met 23,0% op GGIS.

Dimensionale Analyse

Instruction Following vs. Kwaliteit: Modellen presteerden over het algemeen beter op Instruction Following (IF) dan op Image Consistency (IC) of Visual Quality (VQ). Zo behaalde GPT Image 1.5 concurrerende IF-scores (~42%) maar worstelde het ernstig met IC (9,6%), wat wijst op een neiging tot overmatige bewerking.
Categorie-moeilijkheidsgraad:
- Makkelijkst: De categorieën Tekst en Dier leverden hogere scores op, waarschijnlijk door geïsoleerde onderwerpen.
- Moeilijkst: De categorieën Architectuur en Natuur vormden de grootste uitdagingen, waarbij zelfs de beste modellen zelden de 20% succes overschreden. Deze vereisen een sterk begrip van de ruimtelijke lay-out en intrikate detailbehoud.
Moeilijkheidsgraad van Bewerkingstype:
- Makkelijkst: Kleur- en verschijningsveranderingen.
- Moeilijkst: Redenering en Creatieve bewerkingen (bijv. logische tekstvertaling, humoristische creatieve toevoegingen) waren het moeilijkst en bereikten vaak een plateau rond de 20% succes.

Validatie van de Auto-rater

De auto-rater slaagde erin de evaluatie op te schalen naar de volledige 7.550 paren. Hoewel het een lichte bias vertoonde naar hogere IF- en VQ-scores vergeleken met mensen, vielen de trends in het algemene succespercentage nauw samen met de menselijke evaluaties, wat de bruikbaarheid ervan bevestigt als een schaalbare proxy voor menselijk oordeel.

Betekenis en Claims

Het artikel positioneert TECCI als een cruciale bron voor de gemeenschap en claimt de volgende bijdragen:

Een Nieuwe Benchmark: TECCI biedt de eerste grootschalige, uitdagende benchmark voor beeldbewerking met gebruik van volledig onbekende, natuurlijke afbeeldingen, waarmee het probleem van datacontaminatie in eerdere werken aanpakt.
Systematische Gat-analyse: Door modellen te evalueren over diverse categorieën en bewerkingstypes, onthullen de auteurs specifieke zwakheden in SOTA-modellen, met name in ruimtelijke redenering, architecturaal begrip en creatieve verbeelding.
Schaalbare Evaluatie: De ontwikkeling van een hoog-nauwkeurige auto-rater (74,7% match met mensen) biedt een praktische methode voor toekomstige grootschalige benchmarking zonder de prohibitieve kosten van menselijke annotatie.
Hulpmiddel voor Toekomstig Onderzoek: De release van 1.934 unieke afbeeldingen, 7.550 instructies en automatisch gegenereerde bijschriften dient als een fundamentele dataset voor het bevorderen van onderzoek naar text-to-image generatie, image captioning en de afstemming tussen beeld en tekst.

De auteurs concluderen dat hoewel huidige modellen een robuuste instructieopvolging vertonen, ze fundamenteel beperkt blijven in het uitvoeren van minimale, hoogwaardige en complexe bewerkingen, wat een duidelijke richting aangeeft voor toekomstig onderzoek in gecontroleerde generatie.