Can Vision Language Models Assess Graphic Design Aesthetics? A Benchmark, Evaluation, and Dataset Perspective

Deze paper introduceert AesEval-Bench, het eerste systematische raamwerk met een benchmark en trainingsdataset om de capaciteit van vision language-modellen te evalueren en te verbeteren bij het beoordelen van grafische designaesthetica.

De kern

Stel je voor dat je een ontwerper bent die een prachtige affiche maakt voor een festival. Je hebt de kleuren, de letters en de afbeeldingen perfect in elkaar gezet. Maar hoe weet je of het echt mooi is? En nog belangrijker: als je een computer vraagt of het mooi is, kan die dan echt begrijpen waarom iets misgaat?

Dit is precies het probleem dat deze nieuwe studie (geschreven voor de conferentie ICLR 2026) aanpakt. De onderzoekers hebben gekeken of de slimme "beeld-taal" computers (VLMs) die we vandaag de dag hebben, ook echt kunnen oordelen over de schoonheid van grafisch ontwerp.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Smaak-Test" voor Computers

Vroeger waren computers goed in feiten: "Is dit een hond of een kat?" of "Wat staat er op dit bord?". Maar nu willen we dat ze ook kunnen zeggen: "Die poster ziet er rommelig uit" of "Die kleuren vechten met elkaar".

De onderzoekers ontdekten dat de huidige computers hierin nogal onzeker zijn. Het is alsof je een culinaire expert vraagt om een gerecht te beoordelen, maar je geeft hem alleen de ingrediëntenlijst en geen smaakpapillen. Ze kunnen wel zien dat er tomaten en kaas op liggen, maar ze snappen niet of de verhouding lekker is of niet.

2. De Oplossing: De "AesEval-Bench" (De Keuken van de Smaak)

Om dit op te lossen, hebben de onderzoekers een nieuwe test ontwikkeld, genaamd AesEval-Bench. Denk hierbij aan een groot, gestructureerd keuringssysteem voor ontwerpen.

In plaats van alleen te vragen "Is dit mooi?", hebben ze het ontwerp opgesplitst in vier belangrijke categorieën (dimensies), net zoals een chef-kok kijkt naar:

1. Lettertypes (Zoals de presentatie van het eten op het bord).
2. Opmaak (De indeling van de tafel).
3. Kleuren (De smaakcombinaties).
4. Afbeeldingen (De kwaliteit van de ingrediënten).

Binnen deze categorieën hebben ze 12 specifieke regels (indicators) bedacht. Bijvoorbeeld: "Is de tekst leesbaar?" of "Zitten de elementen netjes uitgelijnd?".

3. De Drie Uitdagingen voor de Computer

De test vraagt de computer om drie dingen te doen, die steeds moeilijker worden:

• De Smaak-Test (Aesthetic Judgment): "Is dit ontwerp mooi of lelijk?" (Ja/Nee).
• Het Vinden van de Fout (Region Selection): "Waar zit het probleem? Is het bij de tekst, de foto of de achtergrond?" (Hier moet de computer kiezen uit opties).
• De Precieze Diagnose (Precise Localization): "Trek precies een lijn om het probleem." (De computer moet een vakje om het foutieve deel tekenen).

4. Wat Vonden Ze? (De Resultaten)

Toen ze de slimste computers (zoals GPT-4o, GPT-5, en open-source modellen) deze test lieten doen, was het resultaat verrassend:

• Ze zijn nog niet perfect: Zelfs de slimste computers maken veel fouten. Ze kunnen vaak wel zeggen dat iets "niet goed" is, maar ze weten niet precies waarom of waar.
• Meer denken helpt niet altijd: Computers die speciaal zijn getraind om eerst lang na te denken (reasoning-modellen) deden het niet beter dan de standaardmodellen. Het lijkt erop dat "nadenken" alleen niet genoeg is als je geen echte ervaring hebt met design.
• Groot is niet altijd beter: Soms deden kleinere modellen het net zo goed als de gigantische modellen.

5. De Magische Truc: Leren van Mensen (De "Oefenboekjes")

Omdat de computers het nog niet zo goed doen, hebben de onderzoekers een slimme truc bedacht om ze te trainen. Ze hebben een oefenboekje gemaakt (een trainingsdataset).

Hierbij gebruiken ze twee slimme methoden:

1. Menselijke Gids: Een paar mensen kijken naar een ontwerp en zeggen: "Kijk, hier is de tekst te klein." De computer leert van deze menselijke voorbeelden.
2. De "Waarom"-Uitleg: In plaats van alleen het antwoord te geven, leren ze de computer om de reden te koppelen aan de plek.
   • Slecht: "De tekst is te klein."
   • Goed (zoals in deze studie): "De tekst [hier, met een vakje eromheen] is te klein, waardoor de lezer niet kan zien wat er staat."

Door deze "vakje + uitleg" methode te gebruiken, leerden de computers veel sneller en beter. Na het trainen met dit boekje waren ze veel beter in het vinden van fouten dan voorheen.

Conclusie: Waarom is dit belangrijk?

Dit onderzoek is als het bouwen van een school voor kunstcritici-computers.

Vroeger konden computers alleen feiten vertellen. Nu leren we ze om te oordelen over schoonheid en ontwerp. Dit is cruciaal voor de toekomst:

• Voor ontwerpers: Een computer kan je helpen zeggen: "Je logo staat te dicht bij de rand, dat ziet er onprofessioneel uit."
• Voor AI die ontwerpen maakt: Als een AI een poster maakt, kan deze zichzelf controleren en verbeteren voordat hij het aan een mens laat zien.

Kortom: Computers zijn nog geen Picasso, maar met deze nieuwe methode leren ze wel steeds beter om te begrijpen wat een mens mooi vindt.

Technische samenvatting

Probleemstelling

Het beoordelen van de esthetische kwaliteit van grafisch ontwerp is cruciaal voor visuele communicatie, maar dit domein blijft onderbelicht in Vision-Language Models (VLMs). Bestaande onderzoek richt zich vaak op natuurlijke foto's of gebruikt benchmarks die beperkt zijn tot een smal scala aan ontwerpprincipes. De huidige uitdagingen zijn:

1. Onvoldoende benchmarks: Bestaande benchmarks missen specifieke ontwerpfactoren (zoals typografie) en gebruiken vaak onnauwkeurige evaluatieprotocollen (bijv. vrije tekst die moeilijk te kwantificeren is, of scores zonder locatie-informatie).
2. Gebrek aan systematische vergelijking: Er is geen uitgebreide evaluatie van verschillende VLMs (propriëtaire, open-source en redenerings-versterkte modellen) in de context van grafisch ontwerp.
3. Tekort aan trainingsdata: Er is weinig data beschikbaar om VLMs specifiek te fine-tunen voor esthetische beoordeling, waardoor het potentieel voor verbetering onbenut blijft.

De kernvraag van het paper is: Kunnen VLMs de esthetische kwaliteit van grafisch ontwerp beoordelen op een manier die vergelijkbaar is met mensen?

Methodologie

De auteurs introduceren een holistische aanpak bestaande uit drie pijlers: een nieuw benchmark, een systematische evaluatie en een trainingsdataset.

1. AesEval-Bench (De Benchmark)

Dit is een uitgebreid benchmark voor het beoordelen van grafisch ontwerp, gebaseerd op vier kern-dimensies en twaalf specifieke indicatoren:

• Dimensies: Typografie, Lay-out, Kleur en Grafische elementen.
• Indicatoren: Concrete aspecten zoals hiërarchie, leesbaarheid, balans, contrast, witruimte, etc.
• Drie kwantificeerbare taken:
  1. Esthetisch oordeel (Aesthetic Judgment): Een ja/nee-beslissing of een ontwerp esthetisch aangenaam is.
  2. Regio-selectie (Region Selection): Het kiezen van het juiste gebied uit vier kandidaten waar een esthetisch probleem optreedt.
  3. Precieze lokalisatie (Precise Localization): Het voorspellen van de exacte coördinaten van een boks (bounding box) rond het probleemgebied.

Dataverzameling: De dataset is afgeleid van de Crello-dataset (professionele ontwerpen). Om een breed scala aan voorbeelden te creëren, worden gecontroleerde verstoringen (perturbations) toegepast op de metadata (JSON) van de ontwerpen (bijv. verschuiven van elementen, wijzigen van lettertypes of kleuren). Menselijke annotatoren verifiëren vervolgens of deze verstoringen daadwerkelijk esthetische fouten introduceren.

2. Systematische Evaluatie

De auteurs evalueren een breed scala aan VLMs, waaronder:

• Propriëtaire modellen (bijv. GPT-4o, GPT-5).
• Open-source modellen (bijv. Qwen-VL, Intern-VL, LLaVA).
• Redenerings-versterkte modellen (bijv. GPT-o1, GPT-o3, Gemini-2.5-Pro).
• Expert-modellen voor algemene beeldesthetiek.

De prestaties worden gemeten aan de hand van nauwkeurigheid (voor oordeel en selectie) en Intersection over Union (IoU) voor de lokalisatie-taak.

3. Trainingsdataset en Fine-tuning (AesEval-Train)

Om de prestaties te verbeteren, construeren de auteurs een trainingsdataset met twee innovatieve componenten:

• Human-guided VLM labeling: Een kleine set menselijke annotaties wordt gebruikt als voorbeelden (in-context learning) om krachtige VLMs te instrueren om labels te genereren voor een grotere dataset. Dit verlaagt de kosten van menselijke annotatie aanzienlijk.
• Indicator-grounded reasoning: In plaats van generieke redenering, worden abstracte indicatoren expliciet gekoppeld aan concrete regio's in het ontwerp. De redeneringspaden bevatten zowel de bounding box-coördinaten als tekstuele uitleg over waarom die regio relevant is voor de indicator.

De modellen worden gefine-tuned met de taak als input en zowel het redeneringspad als het label als supervisie.

Belangrijkste Resultaten

1. Prestatiekloof: Er is een duidelijke kloof tussen de huidige state-of-the-art VLMs en de subtiele eisen van esthetische beoordeling. Zelfs de beste modellen (zoals GPT-5) bereiken geen perfecte scores.
2. Propriëtaire vs. Open-source: Propriëtaire modellen presteren over het algemeen beter dan open-source modellen. Binnen open-source modellen presteren grotere varianten (bijv. 72B parameters) beter dan kleinere (7B).
3. Redenering zonder meerwaarde: Verassend genoeg bieden redenerings-versterkte modellen (zoals GPT-o1) geen duidelijke prestatieverbetering ten opzichte van hun niet-redenerende tegenhangers in dit domein. Generieke redenering helpt niet bij het begrijpen van ontwerpprincipes.
4. Effectiviteit van Fine-tuning: Het fine-tunen met de AesEval-Train dataset leidt tot significante verbeteringen:
   • +5,97% voor esthetisch oordeel.
   • +2,70% voor regio-selectie.
   • +17,17% voor precieze lokalisatie (IoU).
   • Het gefine-tuned model (Qwen-VL-7B) presteert zelfs beter dan de grootste open-source varianten en verslaat GPT-5 in de lokalisatietaken.
5. Input-analyse: De analyse toont aan dat de afbeelding essentieel is, maar dat metadata (JSON) cruciaal is voor precieze lokalisatie, en dat gedetailleerde uitleg van indicatoren vooral helpt bij subjectievere aspecten.

Bijdragen

1. AesEval-Bench: Het eerste systematische benchmark dat grafisch ontwerp beoordeelt over vier dimensies, twaalf indicatoren en drie volledig kwantificeerbare taken.
2. Uitgebreide Evaluatie: Een systematische vergelijking van diverse VLM-families, wat inzicht geeft in hun sterke en zwakke punten in het domein van design.
3. Trainingsframework: Een nieuwe methode voor het construeren van trainingsdata via mens-gestuurde VLM-labeling en indicator-gebaseerde redenering, wat bewezen effectief is voor het verbeteren van modelprestaties.

Significantie

Dit werk legt de basis voor de automatisering van feedback in grafisch ontwerp. Het toont aan dat VLMs, hoewel ze nog niet perfect zijn, wel degelijk kunnen worden getraind om esthetische kwaliteit te beoordelen en fouten lokaal te identificeren. De bevinding dat generieke redenering niet helpt, maar wel domeinspecifieke, op indicatoren gebaseerde redenering, biedt een nieuwe richting voor het ontwikkelen van AI-systemen die ontwerpers kunnen ondersteunen bij iteratieve verbetering zonder menselijke tussenkomst. De dataset en de code zijn openbaar beschikbaar gesteld om verdere research in dit domein te stimuleren.