🤖 machine learning

Graphic-Design-Bench: A Comprehensive Benchmark for Evaluating AI on Graphic Design Tasks

Dit paper introduceert GraphicDesignBench (GDB), het eerste uitgebreide benchmarksuite dat specifiek is ontworpen om AI-modellen te evalueren op professionele grafische ontwerptaken, waarbij de resultaten aantonen dat huidige modellen nog tekortschieten in complexe ruimtelijke redenering, typografische precisie en vectoriële structuur.

Oorspronkelijke auteurs: Adrienne Deganutti, Elad Hirsch, Haonan Zhu, Jaejung Seol, Purvanshi Mehta

Gepubliceerd 2026-04-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adrienne Deganutti, Elad Hirsch, Haonan Zhu, Jaejung Seol, Purvanshi Mehta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat kunstenaars en ontwerpers eeuwenlang hebben getekend, geschilderd en ontworpen. Nu proberen we computers die taak over te laten. Maar hoe weten we of die computer écht een goede ontwerper is, of dat hij alleen maar mooie plaatjes maakt die op het eerste gezicht goed lijken, maar bij nader inzien vol fouten zitten?

Dat is precies wat dit paper, GraphicDesignBench (GDB), doet. Het is als een grote, strenge rijbewijstest voor AI-ontwerpers.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Mooie Plaatjes" Valstrik

Tot nu toe hebben we AI getest op het maken van "natuurlijke" foto's (zoals een hond op een grasveld). Maar professioneel ontwerp is anders. Het gaat niet alleen om een mooi plaatje; het gaat om regels.

Een affiche moet de tekst "Koop nu!" leesbaar hebben.
Het logo moet op de juiste plek staan.
De kleuren moeten exact overeenkomen met het merk.
Als je een animatie maakt, moet alles op het juiste moment bewegen.

De huidige tests kijken alleen of het plaatje "leuk" is. GDB kijkt of de regels worden gevolgd. Het is het verschil tussen iemand die een huis bouwt dat er mooi uitziet, en iemand die een huis bouwt dat stabiel is en waar je veilig in kunt wonen.

2. De Test: 50 Uitdagingen in 5 Vakgebieden

De auteurs hebben 50 verschillende taken bedacht om de AI te testen. Ze hebben de AI in vijf categorieën onderverdeeld, alsof je een ontwerper test op verschillende vaardigheden:

De Indeling (Layout): Kun je de ruimte goed verdelen?
- Vergelijking: Het is alsof je de AI vraagt: "Zorg dat deze 15 objecten netjes in een raam passen zonder dat ze elkaar overlappen." De AI faalt hier vaak: ze weten niet precies waar dingen staan of tellen het aantal objecten verkeerd.
De Lettertype-Boer (Typography): Kun je letters goed lezen en kopiëren?
- Vergelijking: De AI moet een tekstje in een specifiek lettertype, met de juiste dikte en kleur, op een poster zetten. De AI is hier vaak een drukkersfout. Ze schrijven de tekst, maar dan in het verkeerde lettertype, met de verkeerde kleur, of de letters staan scheef.
De Vector-Builder (Infographics): Kun je de "recept" van het plaatje schrijven?
- Vergelijking: In plaats van een foto te maken, moet de AI de code (SVG) schrijven die het plaatje beschrijft. Het is alsof je de AI vraagt: "Schrijf het recept voor deze taart," maar de AI schrijft alleen "Maak een taart" en vergeet de ingrediënten. De code is vaak onleesbaar of kapot.
De Semantische Detective (Templates): Begrijp je wat het ontwerp bedoelt?
- Vergelijking: Als je een flyer ziet, moet de AI kunnen zeggen: "Dit is een uitnodiging voor een bruiloft, niet voor een verjaardag." De AI kan dit soms, maar vaak verwarren ze de stijl met de inhoud.
De Regisseur (Animatie): Kun je beweging plannen?
- Vergelijking: De AI moet een filmpje maken waarbij elementen op het juiste moment binnenvliegen. De AI is hier vaak een verkeerde regisseur: alles beweegt tegelijk, of het verkeerde object beweegt, of het filmpje is gewoon stil.

3. De Resultaten: De AI is nog een Leerling

De test liet zien dat de slimste AI-modellen (zoals die van Google, OpenAI en Anthropic) nog lang niet klaar zijn voor het echte werk.

Wat gaat goed? De AI kan soms een idee begrijpen ("Maak een poster voor een koffiezaak") en een basisontwerp maken dat er ruw goed uitziet.
Wat gaat mis? Zodra het om precisie gaat, crasht de AI.
- Ze kunnen niet tellen hoeveel objecten er zijn.
- Ze kunnen geen exacte kleuren of lettertypes kopiëren.
- Ze kunnen geen complexe animaties plannen waarbij elk element op zijn eigen tijd beweegt.

De conclusie: Als je de AI vraagt om een ontwerp te maken, krijg je vaak iets dat eruitziet als een ontwerp, maar dat voor een professionele ontwerper onbruikbaar is. Het is alsof je een beginnende kok vraagt om een 3-gangenmenu te koken; hij maakt een bord met eten, maar het is zout, de saus is verkeerd en het vlees is rauw. Het ziet eruit als eten, maar het is niet eetbaar.

4. Waarom is dit belangrijk?

De auteurs zeggen: "We moeten stoppen met kijken naar of het plaatje 'mooi' is, en gaan kijken of het werkbaar is."

Voor nu zijn deze AI's nog geen vervanging voor menselijke ontwerpers. Ze kunnen misschien helpen met ideeën bedenken (het "ruwe werk"), maar ze kunnen de feitelijke productie nog niet overnemen. Ze missen het "gevoel" voor de regels en de precisie die nodig is om een merk veilig en consistent te houden.

Kortom: GraphicDesignBench is de spiegel die we de AI voorhouden. Het zegt: "Jij bent slim, je kunt mooie dingen maken, maar je bent nog geen professionele ontwerper. Je moet nog veel leren over details, regels en precisie voordat je echt kunt meewerken."

Probleemstelling

Bestaande benchmarks voor kunstmatige intelligentie (AI) richten zich voornamelijk op het begrijpen van natuurlijke afbeeldingen of generieke tekst-naar-beeld synthese. Deze benaderingen missen echter de specifieke complexiteit van professioneel grafisch ontwerp. Design is een multidimensionale taak die niet alleen esthetiek vereist, maar ook strikte beperkingen op het gebied van:

Meerdere constraints: Gelijktijdig voldoen aan leesbaarheid van tekst, typografische hiërarchie, rasterstructuur en call-to-action.
Gestructureerde output: Het genereren van lagen, vectorcode (SVG) en animaties met precieze parameters.
Context en merkidentiteit: Ontwerpen zijn vaak sterk afhankelijk van specifieke merkrichtlijnen en context, waarbij er zelden één objectief "juist" antwoord is.

Huidige evaluatiemethoden (zoals FID of CLIP-score) meten alleen perceptuele kwaliteit en kunnen deze design-specifieke eisen niet vastleggen. Er is een dringend tekort aan een robuust benchmarkkader om te bepalen of AI-systemen daadwerkelijk bruikbare ontwerpcollaborators kunnen zijn.

Methodologie: GraphicDesignBench (GDB)

De auteurs introduceren GraphicDesignBench (GDB), het eerste uitgebreide benchmarkpakket specifiek ontworpen voor professionele grafische ontwerptaken.

Dataset: GDB is gebaseerd op de LICA-dataset, een grote collectie van real-world grafische templates met volledige structurele metadata (lagen, bounding boxes, z-ordering, typografische specificaties, SVG-broncode en animatie-eigenschappen). Dit stelt de auteurs in staat om taken te evalueren die onmogelijk zijn met platte rasterafbeeldingen.
Takenstructuur: Het pakket omvat 50 taken verdeeld over vijf domeinen:
1. Layout: Ruimtelijke redenering, componentdetectie, lagenordening en layout-generatie.
2. Typografie: Herkenning van lettertypes, kleuren, grootte, uitlijning en generatie van gestyleerde tekst.
3. Infographics (SVG & Vector): Begrip en bewerking van SVG-code, bugfixing en generatie van vectorafbeeldingen.
4. Sjablonen & Semantiek: Categorieclassificatie, voorspelling van gebruikersintentie en generatie van sjabloonvarianten.
5. Animatie: Temporeel begrip (keyframe-ordening, bewegingstypen) en generatie van geanimeerde content.
Evaluatiemodes: Elke taak wordt getest in twee modi: Begrip (het analyseren van een bestaand ontwerp) en Generatie (het creëren of aanpassen van een ontwerp).
Modellen: Er zijn drie toonaangevende gesloten bronmodellen (frontier models) geëvalueerd: Gemini 3.1 Pro/Flash, GPT-5.4/1.5 en Claude Opus 4.6.
Metrieken: In plaats van alleen pixel-metrieken, gebruikt GDB een taxonomie van "design-native" metrieken, waaronder:
- Ruimtelijke nauwkeurigheid (mIoU, mAP).
- Typografische fideliteit (OCR-nauwkeurigheid, lettertype-match, kleurafstand $\Delta E$ ).
- Structurele validiteit (JSON/SVG validatie).
- Semantische uitlijning en menselijke voorkeur (via M-Judge).

Belangrijkste Bijdragen

Eerste Omvattende Benchmark: GDB is de eerste suite die het volledige spectrum van professionele ontwerpcapaciteiten evalueert, van lay-out tot animatie.
Gelaagde Evaluatieframework: Door gebruik te maken van de metadata van LICA (lagen, z-ordering, etc.) kunnen taken worden uitgevoerd zoals "layer-aware inpainting" en "template variant generation", wat niet mogelijk is met bestaande datasets.
Design-Native Metrieken: De auteurs introduceren nieuwe metrieken die specifiek zijn voor design (bijv. leesbaarheid van gegenereerde tekst, validiteit van SVG-code), in plaats van te vertrouwen op algemene beeldkwaliteitscores.
Reproduceerbaar Kader: Het framework is openbaar beschikbaar en biedt een solide basis voor de gemeenschap om toekomstige systemen (inclusief open-source modellen) te benchmarken.

Resultaten

De evaluatie van de state-of-the-art modellen onthult dat de huidige AI-systemen op de kernuitdagingen van professioneel design nog ernstig tekortschieten. De resultaten worden ingedeeld in drie categorieën:

Grotendeels Opgelost (2 van 50 taken):
- Simpele vergelijkingsopgaven zoals het matchen van sjabloonparen en het rangschikken van sjablonen op basis van structuur. Hier presteren zelfs niet-LLM baselines (zoals font-Jaccard) goed.
Deels Opgelost (25 van 50 taken):
- Taken waarbij modellen soms werken, maar inconsistent zijn of falen bij complexiteit. Voorbeelden:
  - Layout: Aspectratio-classificatie werkt goed, maar het tellen van elementen of het detecteren van lagen is problematisch.
  - Typografie: Tekstuitlijning en letterafstand worden redelijk voorspeld, maar het herkennen van specifieke lettertypes (uit 167 opties) faalt (max 23,7% nauwkeurigheid).
  - Animatie: Eenvoudige bewegingstrajecten zijn mogelijk, maar complexe temporele decompositie (starttijden van meerdere elementen) faalt.
Niet Opgelost (23 van 50 taken):
- Taken waar modellen fundamenteel falen of nauwelijks beter presteren dan toeval.
  - Componentdetectie: De beste mAP@0.5 is slechts 6,4%, wat betekent dat modellen objecten in complexe lay-outs niet kunnen lokaliseren.
  - Vectorgeneratie: Het genereren van correcte SVG-code uit tekst (Text-to-SVG) resulteert vaak in schematische interpretaties in plaats van exacte reprodukties. Validatie van Lottie-animaties daalt drastisch bij multimodale input.
  - Animatiebegrip: Het classificeren van bewegingstypen (uit 32 opties) levert minder dan 13% nauwkeurigheid op.
  - Ruimtelijke redenering: Modellen kunnen niet betrouwbaar bepalen welk element "boven" of "onder" een ander ligt (z-order), wat essentieel is voor bewerkingen.

Kernbevindingen:

Modellen hebben moeite met precisie en structuur. Hoewel ze hoge-level semantiek kunnen begrijpen, falen ze bij de fijne details die nodig zijn voor bruikbaar werk (bijv. een lettertype kiezen, een exacte kleur matchen, of een animatie op de juiste tijd laten starten).
Er is een trade-off tussen tekstcorrectheid en typografische fideliteit; modellen genereren vaak leesbare tekst, maar met het verkeerde lettertype, formaat of kleur.
Animatie is een van de zwakste punten; modellen kunnen de temporele volgorde van keyframes nauwelijks reconstrueren en kunnen geen gecontroleerde, component-specifieke animaties genereren.

Betekenis en Conclusie

GDB toont aan dat hoewel AI grote stappen heeft gemaakt in het genereren van esthetisch aantrekkelijke beelden, er een grote kloof blijft bestaan tussen "kunstzinnige generatie" en "professioneel ontwerpcapaciteit".

Praktische Impact: Voor professionele ontwerpers zijn de huidige modellen nog niet betrouwbaar genoeg als directe collaborators voor complexe taken zoals het aanpassen van sjablonen, het genereren van vectorassets of het maken van geanimeerde content. De foutmarges zijn te groot voor productiewerk.
Toekomstige Richting: Om deze kloof te overbruggen, zijn er doorbraken nodig in:
- Structuurgeoriënteerde pretraining: Modellen moeten worden getraind op gelaagde composities en vectorcode, niet alleen op rasterbeelden.
- Nauwkeurige ruimtelijke redenering: Het vermogen om objecten te lokaliseren en hun onderlinge relaties te begrijpen moet verbeteren.
- Verbeterde evaluatie: Er is meer menselijke evaluatie nodig van professionele ontwerpers, aangezien automatische metrieken (zoals SSIM) vaak falen bij het onderscheiden van een correcte transformatie en een hallucinatie.

Kortom, GDB biedt een rigoureuze testomgeving die aantoont dat we nog ver verwijderd zijn van AI-systemen die volledig autonoom professioneel grafisch ontwerp kunnen uitvoeren, maar het biedt wel een duidelijke routekaart voor de benodigde vooruitgang.