📊 statistics

TASTE: A Designer-Annotated Multi-Dimensional Preference Dataset for AI-Generated Graphic Design

Dit artikel introduceert TASTE, een multidimensionaal voorkeursdataset geannoteerd door professionele ontwerpers volgens negen grafische ontwerpcriteria, en toont aan dat, hoewel huidige AI-evaluatoren moeite hebben om menselijke consensus te benaderen, een gespecialiseerd model dat op deze dataset is getraind de uitlijning met expertoordelen aanzienlijk verbetert.

Oorspronkelijke auteurs: Haonan Zhu, Elad Hirsch, Alexandria Minetti, Allison Nulty, Purvanshi Mehta

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haonan Zhu, Elad Hirsch, Alexandria Minetti, Allison Nulty, Purvanshi Mehta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een baas bent die een grafisch ontwerper probeert aan te nemen. Je hebt twee kandidaten en je vraagt je team van vijf expertontwerpers om de betere te kiezen.

In de wereld van Kunstmatige Intelligentie (AI) hebben we computers getraind om afbeeldingen te maken met een heel eenvoudige regel: "Welke foto ziet er realistischer uit?" of "Welke afbeelding is mooier?" Dit werkt uitstekend voor het maken van foto's van katten of zonsondergangen. Maar als het gaat om grafisch ontwerp (zoals posters, advertenties of app-layouts), is "mooi" niet genoeg. Een poster kan prachtig ogen maar een verkeerd lettertype hebben, de tekst kan een spelfout bevatten, of de kleuren kunnen botsen met het merk.

Dit artikel introduceert TASTE, een nieuw hulpmiddel om AI te leren hoe een echte grafisch ontwerper te zijn, niet slechts een generator van mooie plaatjes.

Hier is de uitleg van wat ze hebben gedaan, met behulp van alledaagse analogieën:

1. Het Probleem: De "Eén-maat-voor-alle" Rechter

Stel je voor dat je een kookwedstrijd beoordeelt.

Oude AI-rechters: Ze vragen alleen: "Ziet dit gerecht er lekker uit?" Als het eten er goed uitziet, geven ze een hoge score, zelfs als het te zout is of de verkeerde temperatuur heeft.
De Realiteit: Echte chefs (menselijke ontwerpers) beoordelen eten op veel verschillende dingen: Is het goed gekruid? Is de presentatie netjes? Heeft de chef het recept gevolgd? Heeft hij de juiste ingrediënten gebruikt?

De auteurs ontdekten dat huidige AI-modellen worden getraind op "eten dat er lekker uitziet" (fotografische data), maar dat ze moeten worden getraind op "eten dat het recept volgt en goed smaakt" (grafisch ontwerpdata). Een enkel "duim omhoog"-label is niet genoeg omdat het verbergt waarom een ontwerp faalde.

2. De Oplossing: Het "TASTE"-Dataset

Het team creëerde een dataset genaamd TASTE (Typografie, Esthetiek, Ruimtelijkheid, Toon, Etc.). Denk hierbij aan een enorm, gedetailleerd rapport.

De Spelers: Ze huurden 10 professionele menselijke ontwerpers in.
De Wedstrijd: Ze vroegen vier verschillende AI-afbeeldingsgeneratoren om ontwerpen te maken op basis van specifieke prompts (zoals "Maak een flyer voor een koffiezaak").
De Beoordeling: In plaats van alleen te zeggen "Ik vind deze leuk", beoordeelden de ontwerpers de AI op negen specifieke categorieën:
- Typografie: Is de keuze van het lettertype en de spatieruimte goed?
- Visuele Hiërarchie: Kun je zien wat het belangrijkste is om naar te kijken?
- Kleurenharmonie: Werken de kleuren goed samen?
- Ruimtelijke Nauwkeurigheid: Is de lay-out waar deze zou moeten zijn?
- Hallucinaties: Heeft de AI dingen verzonnen die niet waren gevraagd (zoals een hond in een advertentie voor een koffiezaak)?

Ze deden dit voor 1.600 verschillende beoordelingen per categorie. Dit geeft een heel duidelijk beeld van waar menselijke ontwerpers daadwerkelijk om geven.

3. De "Waarheidstest": Zijn de Mensen het Eens?

Voordat ze deze data konden gebruiken om AI te trainen, moesten ze ervoor zorgen dat de menselijke ontwerpers niet zomaar willekeurig gokten. Ze gebruikten drie statistische "leugendetector"-tests:

Zijn ze het eens over de rangschikking? (Alsof je 5 mensen vraagt om hun favoriete ijsjes te rangschikken).
Is er een duidelijke winnaar? (Zijn de meeste mensen het eens over de topkeuze, of is het een totale gelijkspel?).
Zijn er logische kringen? (Als Persoon A X boven Y verkiest, en Y boven Z, verkiest hij dan ook X boven Z? Of raken ze in de war?).

Het Resultaat: De mensen waren veel meer het eens dan willekeurige gokkers, maar minder dan mensen die het eens zijn over "is deze foto wazig?". Dit vertelt ons dat grafisch ontwerp een mix is van objectieve regels (zoals spelling) en subjectieve smaak (zoals kleurvibes). Het is een "sweet spot" tussen een recept volgen en een kunstenaar zijn.

4. De Realiteitscheck: Kunnen Huidige AI-rechters Dit?

De auteurs testten de slimste beschikbare AI-rechters van vandaag (de "scheidsrechters") om te zien of ze konden voorspellen wat de menselijke ontwerpers zouden kiezen.

De Score: De beste AI-rechters behaalden ongeveer 54% nauwkeurigheid.
De Analogie: Dit is als een munt opgooien. Als je een munt opgooit om te raden wie de menselijke ontwerpers zullen kiezen, zou je het 50% van de tijd goed hebben. De AI-rechters zijn slechts iets beter dan een muntworp.
Het Probleem: Grotere AI-modellen werden niet veel beter. Het lijkt erop dat de huidige AI-rechters geweldig zijn in het opsporen van "mooie foto's" maar slecht in het opsporen van "goed ontwerp". Ze raken in de war door tekst, lay-out en specifieke instructies.

5. De Nieuwe "Coach": Een Klein, Gespecialiseerd Model

Omdat de grote, algemene AI-rechters faalden, bouwden de auteurs een kleine, gespecialiseerde "coach" (een klein AI-model) die specifiek was getraind op de TASTE-data.

De Truc: In plaats van slechts één afbeelding tegelijk te bekijken, kijkt deze coach naar twee afbeeldingen naast elkaar en vraagt: "Wat is het verschil tussen deze twee dat de ene beter maakt?"
Het Resultaat: Deze nieuwe coach bereikte 61% nauwkeurigheid.
Het Plafond: De auteurs berekenden dat zelfs een perfecte AI slechts ongeveer 74% nauwkeurigheid zou kunnen bereiken, omdat soms zelfs mensen het oneens zijn. Deze nieuwe coach heeft dus ongeveer de helft van de kloof tussen "willekeurig gokken" en "menselijk expert" overbrugd.

Samenvatting

Dit artikel zegt: "We kunnen AI niet alleen leren mooie plaatjes te maken. We moeten het de specifieke regels van ontwerp leren (lettertypes, lay-out, kleuren) met behulp van een nieuwe dataset genaamd TASTE. Huidige AI-rechters falen hierin, maar een klein, gespecialiseerd model dat is getraind op onze nieuwe data begint de kneepjes van het vak te leren. We geven deze data nu aan de wereld zodat anderen betere ontwerptools kunnen bouwen."

Wat het artikel NIET beweert:

Het beweert niet dat AI menselijke ontwerpers nu kan vervangen.
Het beweert niet dat dit alle ontwerpproblemen oplost (zoals toegankelijkheid of merkconsistentie, wat ze toegeven ontbreekt).
Het beweert niet dat grotere modellen het probleem automatisch zullen oplossen; in feite ontdekten ze dat het simpelweg groter maken van modellen niet veel hielp.

Technische Samenvatting: TASTE – Een door ontwerpers geannoteerde multidimensionale voorkeursdataset voor AI-generatie van grafisch ontwerp

Probleemstelling

Huidige tekst-naar-beeld (T2I)-modellen worden steeds vaker ingezet voor grafisch ontwerp op productieschaal, maar hun optimalisatie en evaluatie zijn sterk afhankelijk van voorkeursdatasets die zijn afgeleid van fotorealistische beeldgeneratie (bijv. HPSv2, Pick-a-Pic, ImageReward). Deze datasets gebruiken doorgaans één label "welke is beter" per vergelijking, waardoor onderscheidende ontwerpaspecten zoals typografie, visuele hiërarchie, kleurharmonie en lay-outgetrouwheid worden samengevoegd. Dit creëert een misalignering waarbij modellen worden beloond voor fotorealistische plausibiliteit in plaats van voor specifieke ontwerprichtlijnen. Bovendien richten bestaande, ontwerpspecifieke bronnen (bijv. LICA, Graphic-Design-Bench) zich op structurele metadata of taakvoltooiing, maar missen ze menselijke voorkeurssignalen. Er is een kritieke lacune in multidimensionale, door ontwerpers geannoteerde voorkeursdata die de onderscheidende cognitieve processen vastlegt die betrokken zijn bij de evaluatie van grafisch ontwerp.

Methodologie

De TASTE-dataset

De auteurs introduceren TASTE (Typography, Aesthetics, Spatial, Tone, Etc.), een dataset ontworpen om subdimensionale voorkeuren vast te leggen.

Generatoren: Vier huidige T2I-modellen (FLUX.2 max, GPT Image 1.5, Nano Banana 2, Seedream 5.0 Lite) geëvalueerd onder blind codenamen.
Annotatoren: Twee disjuncte cohorten van elk 5 professionele ontwerpers (10 in totaal), gerekruteerd via Contra.
Structuur:
- Twee Cohorten: Een Esthetiek-cohort (gericht op sfeer, toon, hiërarchie, kleur, typografisch vakmanschap) en een Beschrijvingen-cohort (gericht op promptgetrouwheid: kleuraccuraatheid, ruimtelijke nauwkeurigheid, tekstweergave).
- Criteria: 9 distincte subdimensies.
- Schaal: 80 prompts per criterium × 5 beoordelaars × 4 modellen = 1.600 beoordelingen per criterium.
- Formaat: Beoordelaars voeren 6 paarwise vergelijkingen per prompt uit, geaggregeerd tot strikte 4-weg rangschikkingen. Bovendien bevatten overall-preferentie-cohorten hallucinatievlaggen (Nee, Minor, Major).

Validatiekader voor Signalen

Voordat de data als trainingsmateriaal wordt behandeld, stellen de auteurs een criterium-agnostisch diagnostisch kader voor om de aanwezigheid van een leerbare voorkeurssignaal te verifiëren, en dit te onderscheiden van willekeurige ruis of factiële meningsverschillen. Het kader test tegen exacte iid-uniforme nulverdelingen bij $(p=4, R=5)$ met behulp van drie statistieken:

Kendall's $\tau$ : Meet rangcorrelatie tussen beoordelaarsparen.
Meerderheidskans ( $p_{max}$ ): Meet de frequentie van beslissende winnaars in paarwise vergelijkingen.
Condorcet-cyclusindicator: Detecteert triadische intransitiviteit ( $A \succ B, B \succ C, C \succ A$ ) om onderscheid te maken tussen gedeelde ordeningsruis en factiële meningsverschillen.

Benchmarking en Modellering

Basisbenchmark: De auteurs evalueerden 9 voorgeprogrammeerde systemen (6 open-weight Vision-Language Models en 3 dedicated T2I-scorers zoals HPSv2.1) tegen de meerderheid van de 5 ontwerpers.
Training van een aangepast model: Een kleine modulaire voorkeurshoofd werd getraind op TASTE. De auteurs onderzochten architecturale keuzes, specifiek door een standaard scalair scorend hoofd (dat afzonderlijk afbeeldingen scoort) te vergelijken met een pairwise-difference hoofd dat expliciet kenmerken berekent van het verschil tussen twee afbeeldingen ( $g(t, i_a, i_b)$ ).

Belangrijkste Resultaten

1. Signaalkwaliteit en Domeinpositionering

Signaal Aanwezigheid: Elk TASTE-criterium verwerpt de nulhypothese van willekeurige beoordelaars op ten minste twee van de drie signaalstatistieken ( $p < 10^{-10}$ ).
Cross-Domein Vergelijking: De overeenstemming van ontwerpers over grafisch ontwerp ligt tussen subjectieve smaakdomeinen (Sushi, MovieLens) en foto-stijl beeldkwaliteit (HPSv2).
- De mediaan Kendall's $\tau$ voor TASTE varieert van +0,067 (Kleurharmonie) tot +0,200 (Ruimtelijke Nauwkeurigheid).
- Dit is lager dan de top-4 van HPSv2-test (0,267) maar hoger dan de iid-uniforme nul (0).
Overeenstemmingsstructuur: Cycluspercentages liggen op of onder de iid-uniforme nul, waardoor "factiële meningsverschillen" (waarbij beoordelaars incompatibele groepen vormen) worden uitgesloten. De data ondersteunt een model van een zwak gedeelde voorkeursorde met beoordelaarspecifieke ruis.
Signaalheterogeniteit: De signaalsterkte varieert aanzienlijk. Criteria voor beschrijvingsgetrouwheid (Typografie, Ruimtelijke Nauwkeurigheid) tonen ongeveer dubbel zoveel signaal als esthetische criteria (Kleurharmonie).

2. Prestaties van Kant-en-Klare Systemen

Lage Overeenstemming: Geen enkel voorgeprogrammeerd systeem (VLM's of dedicated scorers) overschrijdt 0,55 macro-overeenstemming met de meerderheid van de 5 ontwerpers.
Schaalbeperkingen: Binnen de VLM-familie leiden schaalparameters (bijv. Qwen3-VL van 4B naar 32B) niet tot verbeterde nauwkeurigheid. In plaats daarvan verschuift dit het werkingspunt langs een bias-versus-perceptie grens: grotere modellen vertonen minder positiebias, maar ook lagere contentgevoeligheid wanneer ze wel een oordeel vellen, wat resulteert in een vlakke netto-nauwkeurigheid.
Specialisatie: Dedicated esthetische scorers (bijv. LAION-Aesthetic-V2) falen significant bij tekstgetrouwheidstaken (dalend tot 0,411 voor typografie), terwijl HPSv2.1 de sterkste basisblijft met 0,543.

3. Resultaten van Modeltraining

Plafondanalyse: De theoretische bovengrens voor een model dat het panel nabootst, is de Leave-One-Out (LOO)-nauwkeurigheid van een enkele beoordelaar tegen de meerderheid van de andere vier, berekend op 0,741.
Prestaties: Een aangepast pairwise-difference hoofd getraind op TASTE behaalde een algehele nauwkeurigheid van 0,611.
- Dit dicht ongeveer de helft van de kloof tussen de willekeurige basislijn (0,5) en het plafond van een enkele beoordelaar (0,741).
- De verbetering wordt bijna uitsluitend gedreven door betere prestaties bij ambigu 3-2 splits (0,558 $\to$ 0,602), waarbij het model leert om zelfverzekerde beslissingen te nemen in gevallen waar menselijke beoordelaars het oneens zijn.
Architectuur: De pairwise-difference architectuur (die expliciet $i_a - i_b$ modelleert) presteerde beter dan standaard scalair hoofd, wat suggereert dat gezamenlijke aandacht voor afbeeldingsverschillen noodzakelijk is voor deze taak.

Betekenis en Claims

Het artikel positioneert TASTE niet louter als een benchmark, maar als een beslissingslaag voor de generatiestack van grafisch ontwerp. De betekenis ligt in drie gebieden:

Voltooien van de Stack: TASTE vult de ontbrekende "menselijke voorkeur"-laag tussen structurele data (LICA) en taakbenchmarks (Graphic-Design-Bench), waardoor de evaluatie mogelijk wordt van wat ontwerpers prefereren in plaats van alleen wat modellen kunnen doen.
Methodologische Standaard: De auteurs betogen dat de voorgestelde drie-statistiek signaalcheck (Kendall's $\tau$ , $p_{max}$ , Condorcet-cycli) standaardpraktijk moet worden voor elke nieuwe voorkeursdataset. Dit beantwoordt de voorafgaande vraag of er een leerbare signaal bestaat voordat er wordt geïnvesteerd in modeltraining.
Aanbieden van Controleerbare Alignering: De multidimensionale structuur maakt criteriumspecifieke rangschikking en controleerbare alignering mogelijk. Beoefenaars kunnen nu beloningsmodellen of aligneringsdoelen trainen die geoptimaliseerd zijn voor specifieke dimensies (bijv. prioritering van typografische getrouwheid boven kleurharmonie) in plaats van te vertrouwen op één geaggregeerde score.

De auteurs concluderen dat, hoewel huidige kant-en-klare systemen falen in het vastleggen van ontwerperpreferenties, de dataset een geverifieerde bron van signaal biedt voor het trainen van gespecialiseerde, door ontwerpers gealigneerde voorkeurmodellen, met aanzienlijke ruimte voor verbetering om het plafond van menselijke nabootsing te bereiken.