DesignSense: A Human Preference Dataset and Reward Modeling Framework for Graphic Layout Generation

Dit paper introduceert DesignSense-10k, een groot dataset met menselijke voorkeursparen voor grafische lay-outs, en het bijbehorende DesignSense-beloningmodel dat aanzienlijk beter presteert dan bestaande modellen en de kwaliteit van lay-outgeneratie verbetert via versterkingslering en inferentie-schaling.

De kern

Stel je voor dat je een digitale ontwerper bent die posters, advertenties of sociale media-afbeeldingen maakt. Je hebt een slimme computer die deze ontwerpen voor je kan maken, maar soms ziet het resultaat er net niet helemaal "goed" uit. Het is misschien wel technisch correct, maar het mist die zekere sfeer of balans die een mens direct voelt.

Dit is het probleem dat het team van Adobe met hun nieuwe project, DesignSense, probeert op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Smaak" van de Computer

Stel je voor dat je een kok hebt die fantastische gerechten kan maken, maar die nooit heeft geleerd wat mensen eigenlijk lekker vinden. Die kok maakt een bord met ingrediënten, maar hij plaatst de saus op de verkeerde plek of laat de groenten te veel overlappen. Voor de computer is het gerecht "klaar", maar voor de mens ziet het er rommelig uit.

Bestaande kunstmatige intelligenties (zoals de slimme chatbots die je kent) zijn getraind om prachtige foto's te maken van bijvoorbeeld een hond of een landschap. Maar als je ze vraagt om een ontwerp te beoordelen (waarbij het gaat om de plaatsing van tekst en plaatjes op een blanco vel), raken ze in de war. Ze kijken naar de inhoud (is het een hond?), maar niet naar de compositie (staat de tekst netjes?).

2. De Oplossing: Een "Smaaktest" voor Ontwerpen

Om dit op te lossen, hebben de onderzoekers DesignSense-10k gemaakt. Dit is een gigantische verzameling van 10.000 paar ontwerpen.

Stel je voor dat je een jury hebt die twee posters naast elkaar legt en moet zeggen:

• "Deze linker poster is beter."
• "Deze rechter poster is beter."
• "Beide zijn geweldig."
• "Beide zijn vreselijk."

De meeste bestaande systemen kunnen alleen zeggen "links" of "rechts". Maar in het echte leven is het vaak zo dat twee ontwerpen allebei mooi zijn, of allebei mislukken. Door deze vier opties toe te voegen, hebben ze de computer leren denken zoals een mens: met nuance.

3. Hoe hebben ze dit gemaakt? (De 5-staps recept)

Ze hebben niet zomaar willekeurige ontwerpen gemaakt. Ze hebben een slim proces (een "recept") bedacht om ontwerpen te genereren die echt verschillend zijn:

1. Groeperen: Ze nemen een ontwerp en zeggen: "Deze tekst en dit plaatje horen bij elkaar, laten we ze als één blok behandelen."
2. Voorspellen: Een slimme computer maakt nu nieuwe versies van dit blok, maar dan in andere vormen (bijvoorbeeld van een vierkant naar een langwerpig formaat).
3. Filteren: De computer gooit de rommelige versies weg (waarbij plaatjes over elkaar heen liggen).
4. Verscheidenheid: Ze zorgen ervoor dat ze niet alleen maar kleine variaties maken, maar echt verschillende stijlen.
5. Polijsten: Een laatste "schoonmaakbeurt" zorgt dat alles perfect uitgelijnd is.

Uiteindelijk krijgen mensen deze paren te zien om hun oordeel te geven.

4. De Nieuwe "Smaakjury" (Het Model)

Met deze 10.000 voorbeelden hebben ze een nieuwe AI getraind, genaamd DesignSense.

• De test: Ze hebben deze nieuwe AI laten strijden tegen de zwaarste concurrenten (zoals GPT-4o en andere dure modellen van Google en OpenAI).
• Het resultaat: De nieuwe DesignSense AI won met overmacht. Terwijl de andere modellen vaak dachten dat twee slechte ontwerpen allebei goed waren (of vice versa), zag DesignSense precies wat er mis was. Het was 54% beter in het begrijpen van menselijke smaak dan de beste concurrenten.

5. Waarom is dit belangrijk? (De "Superkracht")

Dit is niet alleen een theoretisch experiment. Het heeft een heel praktisch nut:

• Beter leren: Als je de ontwerper-computer (de "kok") traint met deze nieuwe smaakjury, leert hij sneller en beter. De ontwerpen worden direct mooier en meer in lijn met wat mensen leuk vinden.
• Meer keuzes: Stel je voor dat je 10 verschillende ontwerpen laat maken en de DesignSense AI er één uitkiest die het beste is. Door simpelweg meer opties te genereren en de beste te kiezen, wordt het eindresultaat alweer 3,6% beter.

Samenvattend

Het team van Adobe heeft een gigantische smaaktest bedacht voor grafisch ontwerp. Ze hebben een computer getraind om niet alleen te kijken naar wat er op een plaatje staat, maar vooral naar hoe het er staat. Hierdoor kunnen computers nu ontwerpen maken die niet alleen technisch correct zijn, maar ook echt mooi en aantrekkelijk aanvoelen voor de mens. Het is alsof je van een robot die alleen recepten volgt, een echte chef-kok maakt die ook echt begrijpt wat er op een bord moet staan.

Technische samenvatting

Probleemstelling

Hoewel recente modellen voor het genereren van grafische lay-outs (zoals posters en advertenties) indrukwekkende prestaties laten zien, sluiten ze vaak niet goed aan bij de subtiele menselijke esthetische oordelen. Bestaande voorkeursdatasets en beloningsmodellen (reward models), die zijn getraind op tekst-naar-afbeelding generatie (bijv. voor fotorealistische beelden), generaliseren niet naar lay-outevaluatie.

• Fundamentele mismatch: De kwaliteit van een lay-out hangt af van ruimtelijke relaties, compositiebalans en hiërarchische organisatie van identieke elementen, in plaats van de visuele inhoud van de elementen zelf.
• Gebrek aan data: Er ontbrak tot nu toe een grote, menselijk geannoteerde dataset die specifiek gericht is op de esthetiek van grafische lay-outs.
• Moeilijkheid: Algemene Vision-Language Models (VLMs) en bestaande reward-modellen falen vaak catastrofisch bij het beoordelen van lay-outs, vooral bij het onderscheiden van nuances zoals "beide goed" of "beide slecht".

Methodologie

De auteurs introduceren een holistisch framework dat bestaat uit drie hoofdblokken: een data-curatiepijplijn, een nieuwe dataset en een gespecialiseerd beoordelingsmodel.

1. Vijf-staps Data Curatie Pijplijn

Om een hoogwaardige dataset te creëren, hebben de auteurs een pijplijn ontwikkeld op basis van het Crello-dataset en het AesthetiQ lay-outmodel. De stappen zijn:

1. Groepering (Grouping): Semantische clustering van gerelateerde elementen (bijv. een datum en bijbehorende tekst) om de complexiteit voor het voorspellingsmodel te verminderen en de ontwerpintentie te behouden. Hiervoor wordt GPT-4o gebruikt.
2. Voorspelling (Prediction): Het genereren van kandidaat-lay-outs met verschillende aspectratio's (origineel, 2x gestrekt, en omgekeerde verhouding) door het getrainde AesthetiQ-model.
3. Filtering: Het verwijderen van lage-kwaliteit kandidaten (bijv. met overloop of overlappende elementen) met behulp van GPT-4o als tussenbeoordelaar.
4. Clustering: Het selecteren van diverse lay-outs door IoU-gebaseerde clustering, zodat alleen de meest onderscheidende varianten worden behouden.
5. Verfijning (Refinement): Gebruik van het OpenAI o3-model om de geselecteerde lay-outs verder te optimaliseren door overlappen te elimineren en uitlijning te verbeteren, zodat ze menselijke annotatie waardig zijn.

2. De DesignSense-10k Dataset

• Omvang: Een dataset van 10.235 menselijk geannoteerde voorkeursparen.
• Annotatieprotocol: In plaats van een simpele "links vs. rechts" keuze, gebruiken annotatoren een 4-class schema:
  • "Links" (Linker lay-out is beter)
  • "Rechts" (Rechter lay-out is beter)
  • "Beide goed" (Both Good)
  • "Beide slecht" (Both Bad)
    Dit schema vangt subjectieve ambiguïteit en gevallen op waar beide ontwerpen falen of slagen.
• Diversiteit: De dataset bevat lay-outs met diverse aspectratio's en complexe composities.

3. Het DesignSense Model (Reward Model)

• Architectuur: Een Vision-Language Model (VLM) gebaseerd op de InternVL3-8B backbone.
• Training: Het model wordt gefinetuned op de trainingset van DesignSense-10k. Het ontvangt zowel de gerenderde lay-outs als tekstuele metadata.
• Data Augmentatie: Om robuustheid te vergroten, worden gecontroleerde degradaties (perturbaties) toegepast op de grondwaarheid (bijv. willekeurige verschuivingen of schaalveranderingen van elementen) om negatieve voorbeelden te creëren.
• Doel: Het model fungeert als een "judge" die menselijke esthetische voorkeuren nabootst en kan worden gebruikt voor Reinforcement Learning (RL) of inference-time scaling.

Belangrijkste Resultaten

1. Prestaties van het Beoordelingsmodel

DesignSense presteert aanzienlijk beter dan bestaande open-source en proprietaire modellen (zoals GPT-4o, GPT-5, Gemini, ImageReward, HPSv3).

• Verbetering: Een verbetering van 54,6% in Macro F1-score ten opzichte van de sterkste proprietaire baseline (GPT-5-fewshot-deepthink).
• 4-klasse Taak: Bestaande state-of-the-art VLMs presteren slecht op de 4-klasse taak (vaak door fouten te maken bij het onderscheiden van "beide goed/slecht"), terwijl DesignSense hier sterk in is (Macro F1 van 0,456 vs. ~0,29 bij baselines).
• Generalisatie: Het model generaliseert uitstekend naar onbekende datasets (PrismLayers) en lay-outs gegenereerd door andere modellen (LayoutNUWA), wat aantoont dat het fundamentele ontwerpprincipes heeft geleerd in plaats van alleen de trainingdata te overfitten.

2. Impact op Lay-out Generatie

Het gebruik van DesignSense als beloningsfunctie (reward signal) heeft directe voordelen voor generatieve modellen:

• Reinforcement Learning (RL): Wanneer AesthetiQ wordt getraind met DesignSense als judge (in plaats van de originele ViLA judge), stijgt de "win rate" (hoe vaak de gegenereerde lay-out als beter wordt beoordeeld) met ongeveer 3%.
• Inference-time Scaling: Door meerdere kandidaat-lay-outs te genereren en de beste te selecteren met DesignSense, wordt de win rate met 3,6% verbeterd.

Bijdragen en Significantie

De paper levert drie fundamentele bijdragen aan het veld van grafisch ontwerp en machine learning:

1. Eerste grote dataset: DesignSense-10k is de eerste grote-scale dataset met menselijke voorkeursannotaties specifiek voor grafische lay-outs, inclusief een nuancering via een 4-klasse schema.
2. Nieuwe dataverzamelingspijplijn: Een innovatieve, vijf-staps pipeline die semantische groepering, generatie, filtering en verfijning combineert om hoogwaardige, diverse vergelijkingsparen te genereren.
3. Gespecialiseerd Reward Model: Het bewijs dat gespecialiseerde, lay-out-bewuste modellen nodig zijn om menselijke esthetiek te modelleren. Algemene VLMs zijn onbetrouwbaar voor deze taak.

Conclusie:
DesignSense sluit een kritieke kloof tussen geautomatiseerde lay-outgeneratie en menselijke esthetische oordelen. Door een gespecialiseerde dataset en een daarop getraind reward-model te introduceren, tonen de auteurs aan dat het mogelijk is om de kwaliteit van gegenereerde ontwerpen significant te verbeteren, zowel via training (RL) als via selectie tijdens de inferentie. Dit heeft directe praktische toepassingen voor tools in de grafische industrie, zoals Adobe.