Résumé Technique : TASTE – Un Jeu de Données de Préférences Multi-dimensionnelles Annoté par des Designers pour la Conception Graphique Générée par IA

Énoncé du Problème

Les modèles actuels de texte vers image (T2I) sont de plus en plus déployés pour la conception graphique à l'échelle de la production, pourtant leur optimisation et leur évaluation reposent fortement sur des jeux de données de préférences dérivés de la génération d'images photoréalistes (par exemple, HPSv2, Pick-a-Pic, ImageReward). Ces jeux de données utilisent généralement une seule étiquette « laquelle est meilleure » par comparaison, ce qui réduit à néant des axes de conception distincts tels que la typographie, la hiérarchie visuelle, l'harmonie des couleurs et la fidélité de la mise en page. Cela crée un décalage où les modèles sont récompensés pour leur vraisemblance photoréaliste plutôt que pour le respect de contraintes de conception spécifiques. De plus, les ressources existantes spécifiques à la conception (par exemple, LICA, Graphic-Design-Bench) se concentrent sur les métadonnées structurelles ou l'achèvement de tâches, mais manquent de signaux de préférence humaine. Il existe une lacune critique en matière de données de préférences multi-dimensionnelles annotées par des designers, capables de capturer les processus cognitifs distincts impliqués dans l'évaluation de la conception graphique.

Méthodologie

Le Jeu de Données TASTE

Les auteurs introduisent TASTE (Typographie, Esthétique, Spatial, Ton, Etc.), un jeu de données conçu pour capturer des préférences sous-dimensionnelles.

• Générateurs : Quatre modèles T2I actuels (FLUX.2 max, GPT Image 1.5, Nano Banana 2, Seedream 5.0 Lite) évalués sous des noms de code anonymes.
• Annotateurs : Deux cohortes disjointes de 5 designers professionnels chacune (10 au total), recrutées via Contra.
• Structure :
  • Deux Cohortes : Une cohorte Esthétique (se concentrant sur l'ambiance, le ton, la hiérarchie, la couleur, l'artisanat typographique) et une cohorte Descriptions (se concentrant sur la fidélité au prompt : précision des couleurs, précision spatiale, rendu du texte).
  • Critères : 9 sous-dimensions distinctes.
  • Échelle : 80 prompts par critère $\times$ 5 évaluateurs $\times$ 4 modèles = 1 600 notes par critère.
  • Format : Les évaluateurs effectuent 6 comparaisons par paires par prompt, agrégées en classements stricts à 4 voies. De plus, les cohortes de préférence globale incluent des drapeaux d'hallucination (Non, Mineur, Majeur).

Cadre de Validation du Signal

Avant de traiter les données comme matériau d'entraînement, les auteurs proposent un cadre diagnostique agnostique au critère pour vérifier la présence d'un signal de préférence apprenable, le distinguant du bruit aléatoire ou d'un désaccord factionnel. Le cadre teste contre des distributions nulles iid-uniformes exactes à $(p=4, R=5)$ en utilisant trois statistiques :

1. $\tau$ de Kendall : Mesure la corrélation de rang entre les paires de notateurs.
2. Probabilité Majoritaire ($p_{max}$) : Mesure la fréquence des gagnants décisifs dans les comparaisons par paires.
3. Indicateur de Cycle de Condorcet : Détecte l'intransitivité triadique ($A \succ B, B \succ C, C \succ A$) pour distinguer le bruit d'ordonnancement partagé du désaccord factionnel.

Étalonnage et Modélisation

• Étalonnage de Référence : Les auteurs ont évalué 9 systèmes pré-entraînés (6 Modèles de Langage-Vision à poids ouverts et 3 scoreurs T2I dédiés comme HPSv2.1) par rapport à la majorité des 5 designers.
• Entraînement de Modèle Personnalisé : Une petite tête de préférence modulaire a été entraînée sur TASTE. Les auteurs ont exploré des choix architecturaux, comparant spécifiquement une tête de score scalaire standard (notant les images indépendamment) à une tête de différence par paires qui calcule explicitement les caractéristiques de la différence entre deux images ($g(t, i_a, i_b)$).

Résultats Clés

1. Qualité du Signal et Positionnement Domainal

• Présence du Signal : Chaque critère TASTE rejette l'hypothèse nulle de notateur aléatoire sur au moins deux des trois statistiques de signal ($p < 10^{-10}$).
• Comparaison Inter-domaines : L'accord des designers sur la conception graphique se situe entre les domaines de goût subjectif (Sushi, MovieLens) et la qualité d'image de style photo (HPSv2).
  • La médiane du $\tau$ de Kendall pour TASTE varie de +0,067 (Harmonie des Couleurs) à +0,200 (Précision Spatiale).
  • Cela est inférieur au top-4 de HPSv2-test (0,267) mais supérieur à la distribution nulle iid-uniforme (0).
• Structure de l'Accord : Les taux de cycles sont égaux ou inférieurs à la distribution nulle iid-uniforme, écartant le « désaccord factionnel » (où les notateurs forment des groupes incompatibles). Les données soutiennent un modèle d'ordre de préférence partagé faible avec un bruit spécifique au notateur.
• Hétérogénéité du Signal : La force du signal varie considérablement. Les critères de fidélité de la description (Typographie, Précision Spatiale) montrent environ deux fois plus de signal que les critères esthétiques (Harmonie des Couleurs).

2. Performance Prête à l'Emploi

• Faible Accord : Aucun système pré-entraîné (VLM ou scoreurs dédiés) ne dépasse 0,55 d'accord macro avec la majorité des 5 designers.
• Limites de Mise à l'Échelle : Au sein de la famille VLM, l'augmentation des paramètres (par exemple, Qwen3-VL de 4B à 32B) n'améliore pas la précision. Au lieu de cela, cela déplace le point de fonctionnement le long d'une frontière biais-vers-perception : les modèles plus grands présentent moins de biais de position mais aussi une sensibilité au contenu plus faible lorsqu'ils se prononcent, résultant en une précision nette plate.
• Spécialisation : Les scoreurs esthétiques dédiés (par exemple, LAION-Aesthetic-V2) échouent significativement sur les tâches de fidélité textuelle (chutant à 0,411 pour la typographie), tandis que HPSv2.1 reste la référence la plus forte avec 0,543.

3. Résultats de l'Entraînement du Modèle

• Analyse du Plafond : La limite supérieure théorique pour un modèle imitant le panel est la précision Leave-One-Out (LOO) d'un seul notateur contre la majorité des quatre autres, calculée à 0,741.
• Performance : Une tête de différence par paires personnalisée entraînée sur TASTE a atteint 0,611 de précision globale.
  • Cela comble environ la moitié de l'écart entre la référence aléatoire (0,5) et le plafond d'un seul notateur (0,741).
  • L'amélioration est presque entièrement due à une meilleure performance sur les divisions 3-2 ambiguës (0,558 $\to$ 0,602), où le modèle apprend à prendre des décisions confiantes dans les cas où les notateurs humains sont en désaccord.
• Architecture : L'architecture de différence par paires (modélisant explicitement $i_a - i_b$) a surpassé les têtes scalaires standard, suggérant qu'une attention conjointe aux différences d'images est nécessaire pour cette tâche.

Signification et Revendications

Le papier positionne TASTE non pas simplement comme un étalonnage, mais comme une couche de décision pour la pile de génération de conception graphique. Sa signification réside dans trois domaines :

1. Compléter la Pile : TASTE comble la couche manquante de « préférence humaine » entre les données structurelles (LICA) et les étalonnages de tâches (Graphic-Design-Bench), permettant l'évaluation de ce que les designers préfèrent plutôt que simplement de ce que les modèles peuvent faire.
2. Standard Méthodologique : Les auteurs soutiennent que le contrôle de signal à trois statistiques proposé ($\tau$ de Kendall, $p_{max}$, cycles de Condorcet) devrait devenir une pratique standard pour tout nouveau jeu de données de préférences. Il répond à la question préalable de l'existence d'un signal apprenable avant d'investir dans l'entraînement de modèles.
3. Permettre un Alignement Contrôlable : La structure multi-dimensionnelle permet un classement spécifique au critère et un alignement contrôlable. Les praticiens peuvent désormais entraîner des modèles de récompense ou des objectifs d'alignement qui optimisent des dimensions spécifiques (par exemple, prioriser la fidélité typographique sur l'harmonie des couleurs) plutôt que de s'appuyer sur un score agrégé unique.

Les auteurs concluent que si les systèmes prêts à l'emploi actuels échouent à capturer la préférence des designers, le jeu de données fournit une source vérifiée de signal pour l'entraînement de modèles de préférence spécialisés et alignés sur les designers, avec une marge de progression substantielle pour atteindre le plafond d'imitation humaine.