DesignSense: A Human Preference Dataset and Reward Modeling Framework for Graphic Layout Generation

Cet article présente DesignSense, un cadre complet comprenant un jeu de données de 10 235 paires de préférences humaines et un modèle de récompense spécialisé, qui améliorent considérablement la génération de mises en page graphiques en alignant mieux les résultats sur le jugement esthétique humain.

L'essentiel

Imaginez que vous êtes un chef cuisinier talentueux. Vous savez parfaitement comment couper des légumes, assaisonner une sauce et cuire un steak à la perfection. C'est ce que font les modèles d'intelligence artificielle actuels pour créer des mises en page graphiques (des affiches, des publicités, des bannières) : ils assemblent des éléments (texte, images) avec une grande habileté technique.

Mais voici le problème : le chef ne sait pas si le plat est bon pour le client. Il peut créer un plat magnifique qui a l'air beau, mais qui a un goût terrible ou qui est mal présenté. C'est exactement ce qui se passe avec l'IA en design : elle crée des choses, mais elle ne comprend pas vraiment pourquoi une mise en page plaît à l'œil humain et une autre non.

Voici l'histoire de DesignSense, une nouvelle invention qui change la donne, expliquée simplement.

1. Le Problème : L'IA est aveugle au "Goût"

Jusqu'à présent, les IA qui jugent les images étaient formées sur des photos de paysages, de chats ou de portraits réalistes. Elles savaient dire : "Cette photo de chat est floue, celle-ci est nette."
Mais le design graphique, c'est différent. C'est comme de l'architecture intérieure. Ce n'est pas juste une question de netteté, c'est une question d'équilibre, d'espace et d'organisation.

• Si vous déplacez un titre de 2 centimètres, tout le design peut s'effondrer.
• Les anciennes IA ne comprenaient pas ces règles fines. Elles étaient comme un critique culinaire qui n'a jamais goûté de cuisine, mais qui juge un plat en se basant uniquement sur la couleur de l'assiette.

2. La Solution : Créer une "École de Goût" (Le Dataset DesignSense)

Pour apprendre à l'IA ce qui est "beau", les chercheurs d'Adobe ont créé une immense bibliothèque de leçons, appelée DesignSense.

Imaginez que vous avez un jeu de cartes avec des milliers de paires de mises en page. Pour chaque paire, des humains ont dit :

• "J'aime celle de gauche."
• "J'aime celle de droite."
• "Les deux sont superbes !" (parfois, deux designs sont excellents).
• "Les deux sont ratés !" (parfois, les deux sont moches).

C'est une bibliothèque de 10 235 leçons créées par des humains. C'est comme donner à l'IA un livre de recettes de "bon goût" écrit par les meilleurs critiques du monde.

3. La Méthode : Comment ont-ils créé ces leçons ?

Créer ces paires n'était pas facile. Ils ne pouvaient pas juste prendre deux images au hasard. Ils ont inventé une usine à 5 étapes (un pipeline) :

1. Regroupement : Ils ont pris des éléments qui vont ensemble (comme un titre et son image) et les ont mis dans un panier.
2. Prédiction : Une IA a généré des dizaines de versions différentes de ce design, en changeant la taille de la page (comme passer d'un format portrait à un format paysage).
3. Filtrage : Ils ont jeté les versions moches ou ratées (ceux où les textes se chevauchaient).
4. Diversité : Ils ont sélectionné les versions les plus différentes les unes des autres pour ne pas ennuyer les humains avec des choix identiques.
5. Raffinement : Une dernière touche de magie pour aligner parfaitement les éléments, comme un chef qui ajuste la présentation d'un plat avant de le servir.

Le résultat ? Des paires de designs parfaits pour que les humains disent : "J'aime ça, pas ça".

4. Le Résultat : Le "Nouveau Critique" (Le Modèle DesignSense)

Une fois l'IA entraînée sur cette bibliothèque de 10 000 leçons, elle est devenue un super-critique.

• Avant : Les meilleurs modèles existants (comme GPT-4 ou d'autres IA célèbres) avaient du mal à comprendre les nuances. Ils se trompaient souvent, disant qu'un design raté était "parfait" ou qu'un design magnifique était "nul".
• Aujourd'hui : Le modèle DesignSense est un champion. Il bat tous les autres, même les plus puissants, de plus de 50% en précision. Il comprend que l'équilibre est plus important que la simple netteté de l'image.

5. Pourquoi c'est important ? (L'Effet Papillon)

Ce n'est pas juste un jeu de "qui est le plus beau". Ce nouveau critique sert à améliorer les créateurs.

• Entraînement : Quand on utilise ce nouveau critique pour entraîner l'IA qui crée les designs, celle-ci devient bien meilleure. Elle apprend de ses erreurs et produit des designs qui plaisent vraiment aux humains (une amélioration de 3% à 4%, ce qui est énorme dans ce domaine).
• Sélection : Imaginez que l'IA génère 10 versions d'une affiche. Au lieu de choisir la première venue, elle utilise DesignSense pour les comparer et choisir la meilleure des 10. C'est comme si vous aviez un chef qui goûte 10 soupes différentes avant de servir la meilleure à votre client.

En résumé

DesignSense, c'est comme avoir donné à l'IA un cursus complet en esthétique et en design.

• Avant, l'IA dessinait comme un enfant qui a de bons crayons mais ne connaît pas les règles de l'art.
• Maintenant, grâce à cette nouvelle "école" (le dataset) et à ce nouveau "professeur" (le modèle de récompense), l'IA dessine comme un designer professionnel qui comprend l'équilibre, l'espace et ce qui plaît vraiment à l'œil humain.

C'est une avancée majeure pour que les publicités, les affiches et les sites web générés par IA soient non seulement fonctionnels, mais aussi vraiment beaux.

Résumé technique

1. Problématique

Les modèles récents de génération de mises en page graphiques (layouts) ont fait des progrès significatifs, mais ils échouent souvent à s'aligner avec les jugements esthétiques nuancés des humains.

• Échec des modèles existants : Les modèles de récompense et les ensembles de données de préférence actuels (comme ImageReward, HPD) sont entraînés sur des tâches de génération d'images à partir de texte (text-to-image). Ils se concentrent sur la fidélité photoréaliste et l'alignement avec le prompt, mais ne généralisent pas aux mises en page où la qualité dépend de relations spatiales, de l'équilibre compositionnel et de la hiérarchie visuelle, plutôt que du contenu sémantique des éléments.
• Absence de données : Il manquait un grand ensemble de données annoté par des humains spécifiquement pour évaluer les préférences esthétiques dans les mises en page graphiques.
• Limites des modèles Frontier : Les grands modèles de langage-vision (VLM) de pointe (GPT-4o, GPT-5, etc.) se révèlent peu fiables pour cette tâche, échouant souvent de manière catastrophique sur des tâches de préférence à 4 classes.

2. Méthodologie

L'approche proposée se divise en trois volets principaux : la création d'un pipeline de données, la construction du jeu de données, et l'entraînement d'un modèle de jugement.

A. Pipeline de Curation de Données (5 Étapes)

Pour générer des paires de mises en page comparables de haute qualité à partir du jeu de données Crello, les auteurs ont conçu un pipeline de transformation en cinq étapes :

1. Regroupement (Grouping) : Utilisation de GPT-4o pour regrouper sémantiquement les éléments liés (ex: un titre et son sous-titre) afin de réduire la complexité de prédiction et préserver l'intention de conception.
2. Prédiction : Génération de mises en page candidates en utilisant un modèle de synthèse de mise en page de pointe (AesthetiQ), entraîné pour opérer au niveau des groupes d'éléments et non des éléments individuels, sur différentes ratios d'aspect (original, étiré, inversé).
3. Filtrage : Élimination des prédictions de mauvaise qualité (chevauchements, débordements) à l'aide d'un modèle juge intermédiaire.
4. Clustering : Sélection de la diversité des layouts en regroupant les designs similaires et en choisissant des représentants pour garantir une variété suffisante dans les paires de comparaison.
5. Raffinement (Refinement) : Utilisation du modèle OpenAI o3 pour ajuster finement les positions des groupes, éliminer les chevauchements résiduels et améliorer l'alignement visuel avant l'annotation humaine.

B. Construction du Dataset DesignSense-10k

• Volume : 10 235 paires de mises en page annotées par des humains.
• Protocole d'annotation : Contrairement aux choix binaires simples, les annotateurs utilisent un schéma à 4 classes :
  • "Gauche" (Left)
  • "Droite" (Right)
  • "Les deux bons" (Both Good)
  • "Les deux mauvais" (Both Bad)
  • Objectif : Capturer l'ambiguïté subjective et les cas où les deux designs échouent ou réussissent.
• Diversité : Les données couvrent divers ratios d'aspect et niveaux de complexité compositionnelle.

C. Modèle de Jugement : DesignSense

• Architecture : Un classifieur basé sur un modèle Vision-Language (VLM), spécifiquement fine-tuné sur la base InternVL3-8B.
• Apprentissage : Le modèle est entraîné sur les paires de layouts et les annotations humaines. Il reçoit les layouts rendus et des métadonnées textuelles.
• Augmentation de données : Une stratégie de perturbation est utilisée pour générer des échantillons négatifs (layouts dégradés par des décalages de position ou des changements d'échelle aléatoires) afin d'améliorer la robustesse du modèle face aux défauts visuels.

3. Résultats Clés

Performance du Modèle de Jugement

Le modèle DesignSense surpasse significativement tous les modèles de base (open-source et propriétaires) :

• Amélioration Macro F1 : +54,6 % par rapport au modèle propriétaire le plus performant (GPT-5-fewshot-deepthink).
• Précision Binaire : 73,2 % (contre ~68-71 % pour les meilleurs VLMs propriétaires).
• Robustesse : Contrairement aux modèles Frontier qui échouent sur la tâche à 4 classes (confondant souvent "les deux bons" avec un choix binaire), DesignSense maintient une haute précision sur l'ensemble des 4 classes.
• Généralisation : Le modèle généralise bien à des données hors distribution (PrismLayers) et à des layouts générés par d'autres modèles (LayoutNUWA), prouvant qu'il a appris des principes esthétiques fondamentaux et non un surapprentissage stylistique.

Impact sur la Génération de Mises en Page

L'utilisation de DesignSense comme modèle de récompense (Judge) dans un cadre d'apprentissage par renforcement (RL) a des effets tangibles :

• Amélioration du taux de victoire (Win Rate) : L'entraînement d'un générateur (AesthetiQ) avec DesignSense améliore son taux de victoire de ~3 % par rapport à l'utilisation de juges plus faibles.
• Mise à l'échelle au moment de l'inférence (Inference-time scaling) : En générant plusieurs candidats et en les classant avec DesignSense pour sélectionner le meilleur, le système obtient une amélioration supplémentaire de 3,6 % dans l'alignement avec les préférences humaines.

4. Contributions Principales

1. DesignSense-10k : Le premier grand ensemble de données de paires de préférences humaines pour l'évaluation de la qualité des mises en page graphiques, incluant des annotations à 4 classes pour gérer l'ambiguïté.
2. Pipeline de curation innovant : Une méthode en 5 étapes pour générer des paires de comparaison de haute qualité et diversifiées à travers différents ratios d'aspect.
3. Modèle de récompense spécialisé : Un modèle VLM fine-tuné qui démontre une supériorité nette sur les modèles généraux pour la tâche spécifique de l'esthétique des mises en page.
4. Validation pratique : Démonstration que l'utilisation de ce modèle de jugement améliore directement la qualité des layouts générés par d'autres modèles via le RL et le tri au moment de l'inférence.

5. Signification et Impact

Ce travail comble un vide critique entre la génération d'images photoréalistes et la conception graphique structurée. Il démontre que les modèles de préférence généralistes ne suffisent pas pour les tâches de mise en page, où la structure spatiale est primordiale. En fournissant un dataset de référence et un modèle de jugement robuste, DesignSense offre un cadre complet pour aligner les systèmes d'IA générative sur les standards esthétiques humains, ouvrant la voie à des outils de design assisté par IA plus fiables et de meilleure qualité pour des applications réelles (publicité, affichage, design numérique).