DesignSense: A Human Preference Dataset and Reward Modeling Framework for Graphic Layout Generation

Die Arbeit stellt DesignSense vor, ein Framework bestehend aus einem großen, menschlich annotierten Datensatz für grafische Layouts und einem darauf trainierten Belohnungsmodell, das die Lücke bei der Bewertung ästhetischer Layouts schließt und die Qualität der Layoutgenerierung durch verbesserte menschliche Präferenzmodellierung signifikant steigert.

Das Wesentliche

Stell dir vor, du bist ein Chef-Designer für ein riesiges Werbeunternehmen. Deine Aufgabe ist es, Plakate, Social-Media-Posts und Banner zu erstellen. Früher hast du das alles mit der Hand gemacht, aber jetzt gibt es KI-Modelle, die diese Designs automatisch für dich entwerfen. Das klingt toll, oder?

Aber hier ist das Problem: Die KI ist wie ein sehr fleißiger, aber etwas verwirrter Praktikant. Sie kann Texte und Bilder auf ein Blatt Papier setzen, aber sie versteht nicht wirklich, was „schön" oder „ausgewogen" bedeutet. Manchmal schiebt sie das Logo mitten in den Text, manchmal ist alles zu eng gedrängt, und manchmal sieht das Ergebnis einfach nur chaotisch aus.

Bisher gab es keine gute Möglichkeit, dieser KI beizubringen, was ein Mensch als „gut" empfindet, besonders wenn es um das Layout (die Anordnung der Elemente) geht. Die meisten KI-Modelle, die wir haben, wurden trainiert, um zu beurteilen, ob ein Foto eines Hundes oder einer Landschaft „echt" aussieht. Aber bei einem Design-Layout geht es nicht um die Echtheit des Hundes, sondern darum, ob der Hund links oder rechts vom Text steht und ob das alles harmonisch wirkt.

Hier kommt DesignSense ins Spiel. Die Autoren dieses Papers haben eine Lösung entwickelt, die man sich wie einen dreiteiligen Superhelden-Plan vorstellen kann:

1. Der große Datensatz: Die „Schule für gute Geschmacksurteile"

Stell dir vor, du möchtest jemandem beibringen, wie man ein gutes Sandwich schichtet. Du könntest ihm einfach sagen: „Mach es gut." Das hilft nicht. Besser ist es, ihm 10.000 Paare von Sandwiches zu zeigen und zu fragen: „Ist das linke Sandwich besser, das rechte, sind beide lecker, oder sind beide schrecklich?"

Genau das haben die Forscher gemacht. Sie haben DesignSense-10k erstellt. Das ist eine riesige Sammlung von über 10.000 Paaren von Designs.

• Wie sie es gemacht haben: Sie haben eine KI benutzt, um tausende Variationen von Designs zu erstellen (z. B. ein Poster, das langgestreckt ist, und ein anderes, das hochkant ist).
• Die menschliche Prüfung: Echte Menschen haben sich diese Paare angesehen und bewertet. Das Besondere: Es gab nicht nur „Links ist besser" oder „Rechts ist besser". Es gab auch die Optionen „Beide sind toll" und „Beide sind schrecklich". Das ist wichtig, weil Design oft subjektiv ist. Manchmal sind beide Versionen einfach nur schlecht gemacht.

2. Der neue Richter: DesignSense

Bisher haben wir versucht, die KI-Modelle zu nutzen, die wir für Fotos von Hunden und Landschaften trainiert haben, um Designs zu bewerten. Das war, als würdest du einen Koch, der nur Pizza macht, bitten, ein Sushi-Restaurant zu bewerten. Er weiß nicht, worauf er achten muss.

Die Forscher haben nun einen neuen „Richter" namens DesignSense gebaut.

• Die Metapher: Stell dir vor, die alten KI-Modelle sind wie ein Tourist, der zum ersten Mal in einer fremden Stadt ist und versucht, die Straßen zu finden. Er läuft oft in die falsche Richtung. DesignSense ist wie ein erfahrener Stadtführer, der die Stadt (das Design) seit Jahren kennt. Er weiß genau, wo die Elemente stehen müssen, damit es harmonisch aussieht.
• Das Ergebnis: Dieser neue Richter ist viel besser als alle anderen. Er erkennt viel genauer, welches Design ein Mensch bevorzugen würde. In Tests hat er die alten Modelle (sogar die teuersten von OpenAI oder Google) deutlich geschlagen.

3. Der praktische Nutzen: Bessere Designs durch Training

Warum ist das alles wichtig? Weil man diesen neuen Richter nutzen kann, um die KI-Designer selbst zu verbessern.

• Training (Der Coach): Wenn die KI-Designer (die das Layout erstellen) wissen, dass ihr neuer Chef (DesignSense) sehr genau hinschaut, lernen sie schneller. Das Paper zeigt, dass das Training mit diesem neuen Richter die Qualität der Designs um etwa 3% verbessert hat. Das klingt nach wenig, aber im Design-Bereich ist das ein riesiger Unterschied zwischen „okay" und „wow".
• Auswahl (Der Filter): Stell dir vor, die KI erstellt 10 verschiedene Versionen eines Posters. Früher hat sie vielleicht die erste Version genommen. Jetzt kann sie alle 10 Versionen durch ihren neuen Richter (DesignSense) laufen lassen und die absolut beste auswählen. Das bringt nochmal eine Verbesserung von etwa 3,6%.

Zusammenfassung

Kurz gesagt: Die Autoren haben ein riesiges Trainingsbuch für KI erstellt, das nur über das „Schönheitsurteil" von Designs handelt. Sie haben einen neuen, super-intelligenten Richter gebaut, der dieses Buch gelernt hat. Und das Beste: Dieser Richter hilft nicht nur beim Bewerten, sondern macht auch die KI-Designer selbst zu besseren Handwerkern.

Es ist, als hätten wir endlich jemanden gefunden, der der KI beibringt, dass ein Bild nicht nur „richtig" sein muss, sondern auch „schön" aussehen soll – genau so, wie es ein Mensch empfindet.

Technische Zusammenfassung

1. Problemstellung

Graphische Layouts sind ein zentrales Medium für visuelle Kommunikation in Bereichen wie Werbung, Plakatdesign und digitaler Kunst. Obwohl moderne Deep-Learning-Modelle (z. B. Diffusionsmodelle oder Transformer) beeindruckende Fortschritte bei der Generierung von Layouts gemacht haben, bestehen erhebliche Lücken in der Ausrichtung auf menschliche ästhetische Präferenzen.

• Versagen bestehender Modelle: Vorhandene Reward-Modelle und Präferenz-Datensätze (wie ImageReward, HPD, Pick-a-pic), die für Text-zu-Bild-Generierung trainiert wurden, generalisieren nicht auf Layout-Aufgaben.
• Ursache: Diese Modelle wurden primär auf natürlichen Fotos trainiert, bei denen die Bildqualität durch fotorealistische Inhalte und Prompt-Alignment bestimmt wird. Layouts hingegen hängen von räumlichen Beziehungen, kompositorischem Gleichgewicht, Hierarchie und der Anordnung identischer Elemente ab.
• Datenmangel: Es fehlte bisher an großen, menschlich annotierten Datensätzen, die spezifisch die Präferenzen für grafische Layouts erfassen, insbesondere unter Berücksichtigung von Mehrdeutigkeiten (z. B. wenn beide Designs gut oder beide schlecht sind).

2. Methodik

Das Paper stellt einen umfassenden Rahmen vor, der aus einem neuen Datensatz, einer Datenkuratierungs-Pipeline und einem spezialisierten Bewertungsmodell besteht.

A. Die DesignSense-10k Datenkuratierungs-Pipeline

Um hochwertige Vergleichspaare zu generieren, wurde eine fünfstufige Pipeline entwickelt, die auf dem Crello-Dataset (ca. 19.300 Layouts) und dem Layout-Modell AesthetiQ aufbaut:

1. Gruppierung (Grouping): Semantische Clustering-Verfahren (unterstützt durch GPT-4o) gruppieren verwandte Elemente (z. B. Platzhalter und Text, Datum und Ereignis), um die Komplexität der Vorhersage zu reduzieren und den Design-Intent zu erhalten.
2. Vorhersage (Prediction): Das Layout-Modell generiert Kandidaten-Layouts für die gruppierten Elemente unter verschiedenen Seitenverhältnissen (Original, 2x gestreckt, invertiertes Seitenverhältnis).
3. Filterung (Filtering): Schlechte Kandidaten (z. B. mit Überlappungen oder Überläufen) werden durch ein Zwischenurteils-Modell (GPT-4o) entfernt.
4. Clustering: Um die Vielfalt im Datensatz zu maximieren, werden ähnliche Designs gruppiert und repräsentative Beispiele ausgewählt.
5. Verfeinerung (Refinement): Ein Feinabstimmungs-Modell (OpenAI o3) korrigiert subtile Fehler wie Unebenheiten im Abstand oder leichte Überlappungen, um die ästhetische Qualität vor der menschlichen Annotation zu sichern.

B. Annotation und Datensatz

• Größe: Der finale Datensatz DesignSense-10k enthält 10.235 menschlich annotierte Präferenzpaare.
• Annotationsschema: Annotatoren bewerten jedes Paar mit einem 4-Klassen-System:
  1. „Links" (Left)
  2. „Rechts" (Right)
  3. „Beide gut" (Both Good)
  4. „Beide schlecht" (Both Bad)
     Dies erfasst subjektive Mehrdeutigkeiten, die binäre Modelle oft ignorieren.
• Qualitätssicherung: Die Inter-Annotator-Übereinstimmung liegt bei ca. 56 % (4-Klassen) und 81 % (binär), was eine solide Konsistenz belegt.

C. Das DesignSense-Modell (Reward Model)

• Architektur: Ein auf InternVL3-8B basierendes Vision-Language-Modell (VLM), das als Klassifikator für Layout-Präferenzen trainiert wurde.
• Training: Das Modell wird auf dem Trainingsset des Datensatzes feinabgestimmt. Es erhält sowohl gerenderte Layouts als auch Text-Metadaten.
• Datenaugmentierung: Um die Robustheit zu erhöhen, werden kontrollierte Degradationen (Verschiebungen von 20–50 % oder Skalierungen von 0,8x–1,2x) auf 70 % der Elemente angewendet. Diese werden als negative Beispiele („schlechte Layouts") gelabelt, um das Modell für Fehler wie Fehlausrichtung zu sensibilisieren.

3. Wichtige Beiträge

1. DesignSense-Datensatz: Der erste große Datensatz (10.235 Paare) mit menschlichen Präferenzannotationen für Layout-Qualität, der diverse Seitenverhältnisse und konsistente Element-Sets mit variierenden räumlichen Anordnungen abdeckt.
2. Neue Daten-Pipeline: Eine innovative, fünfstufige Methode zur Generierung hochwertiger Layout-Varianten, die semantische Gruppierung, Vorhersage, Filterung, Clustering und Verfeinerung kombiniert.
3. Überlegenes Bewertungsmodell: Das trainierte DesignSense-Modell übertrifft sowohl Open-Source- als auch proprietäre State-of-the-Art-Modelle (wie GPT-5, Gemini 2.5-Pro, ImageReward) in allen Metriken.
4. Praktische Anwendbarkeit: Demonstration, dass das Modell als Reward-Model in Reinforcement-Learning-Frameworks (RL) und für Inference-Time-Scaling eingesetzt werden kann, um die Qualität generierter Layouts signifikant zu steigern.

4. Ergebnisse

Benchmark-Leistung

Das DesignSense-Modell wurde gegen eine breite Palette von Baselines getestet (Open-Source wie InternVL, proprietäre Modelle wie GPT-5, o3, Gemini).

• Metriken: Das Modell erreichte einen Macro F1-Score von 0,456 und einen Weighted F1-Score von 0,520.
• Verbesserung: Dies entspricht einer Steigerung von 54,6 % im Macro F1 gegenüber dem stärksten proprietären Baseline-Modell (GPT-5-fewshot-deepthink).
• Analyse: Während Frontier-VLMs oft hohe binäre Genauigkeit zeigen, versagen sie katastrophal bei der 4-Klassen-Aufgabe (hohe Fehlerrate bei „Beide gut/schlecht"). DesignSense löst diese Mehrdeutigkeiten zuverlässig.

Downstream-Effekte

• RL-Training: Die Verwendung von DesignSense als Judge im AAPA-RL-Framework zur Nachschulung von AesthetiQ erhöhte die Win-Rate (Gewinnrate gegen den Ground-Truth) um ca. 3 %.
• Inference-Time-Scaling: Durch die Generierung mehrerer Kandidaten (10 pro Sample) und die Auswahl des besten mittels DesignSense konnte die Win-Rate um 3,6 % gesteigert werden.
• Generalisierung: Das Modell zeigt hohe Robustheit auf Out-of-Distribution-Daten (PrismLayers-Datensatz) und bei Layouts, die von einem anderen Generator (LayoutNUWA) stammen, wo es Frontier-Modelle deutlich schlägt (z. B. 68,3 % Genauigkeit bei 4-Klassen vs. <42,5 % bei GPT-5).

5. Bedeutung und Fazit

Das Paper schließt eine kritische Lücke in der Forschung zur Layout-Generierung. Es zeigt, dass allgemeine Bildbewertungsmodelle nicht ausreichen, um menschliche ästhetische Urteile über räumliche Anordnungen zu treffen.

• Fachlicher Fortschritt: DesignSense etabliert einen neuen Standard für die Bewertung und Optimierung von grafischen Layouts durch spezialisierte, präferenzbewusste Modelle.
• Praktischer Impact: Die Integration dieses Reward-Modells führt zu messbar besseren Ergebnissen in der automatisierten Designgenerierung, was für Anwendungen in der Werbung und im digitalen Design von großem Wert ist.
• Zukunftsperspektive: Die Arbeit unterstreicht die Notwendigkeit von domänenspezifischen Datensätzen und Modellen, die über reine fotorealistische Bewertung hinausgehen und strukturelle sowie kompositorische Prinzipien verstehen.