Résumé Technique : CreatiPoster

Problématique

Le design graphique est une composante critique de la communication moderne, pourtant la production de compositions de haute qualité et éditables reste une tâche chronophage exigeant une expertise significative. Les approches existantes basées sur l'IA font face à un compromis fondamental : elles peinent à satisfaire simultanément quatre critères essentiels :

1. Précision du texte : Orthographe et typographie correctes.
2. Fidélité des ressources : Préservation fidèle et placement des images, logos ou photos fournis par l'utilisateur.
3. Éditabilité : Capacité pour les utilisateurs de modifier le texte et de remplacer les ressources après la génération.
4. Attrait esthétique : Qualité visuelle professionnelle.

Les méthodes open-source actuelles échouent souvent à intégrer les ressources de l'utilisateur ou à atteindre des standards professionnels, tandis que les systèmes commerciaux (ex. Canva, Adobe Express) reposent sur de vastes bibliothèques de modèles propriétaires difficiles à reproduire pour les individus ou les petites organisations. De plus, la plupart des modèles génératifs produisent des images de pixels « aplaties », rendant la sortie non éditable et détruisant la fidélité des ressources.

Méthodologie

Les auteurs introduisent CreatiPoster, un cadre ouvert qui reformule la génération de design graphique comme une synthèse de programme de design éditable plutôt que comme une synthèse d'image aplatie. Le système fonctionne via un pipeline en deux étapes qui découple la génération du premier plan (texte et ressources) de l'arrière-plan.

1. Générateur de Protocole par Couches ($P_M$)

La première étape utilise un grand modèle multimodal (basé sur InternLM2.5) pour synthétiser un programme de design JSON exécutable.

• Entrée : Prompts utilisateur ($p$), ressources RGBA optionnelles ($I$), taille du canevas ($s$), et contraintes optionnelles ($C$).
• Sortie : Un protocole structuré $P = \{L, c_{bg}\}$, où :
  • $L$ est une liste ordonnée de couches. Chaque couche $\ell_j$ contient quatre groupes d'attributs : identité sémantique ($a_{sem}$), géométrie ($a_{geo}$, ex. position, taille, rotation), style ($a_{sty}$, ex. police, couleur) et ordre ($o_j$).
  • $c_{bg}$ est une légende concise décrivant l'arrière-plan.
• Stratégie d'entraînement : Le modèle est entraîné sous un objectif unique de complétion de protocole. Au lieu de têtes spécifiques à la tâche, il apprend à récupérer un protocole complet à partir d'une version partiellement masquée ($\hat{P}$). Cette approche unifiée permet la génération par prompt seul, la génération conditionnée par ressource, et l'édition de canevas sans changements architecturaux.
• Rendu : Le programme JSON généré est rendu en une image de premier plan entièrement éditable ($I_{fg}$) en utilisant des moteurs graphiques standards (ex. Skia), garantissant que le texte et les ressources restent des couches distinctes.

2. Synthétiseur d'Arrière-plan Sensible au Premier Plan ($B_M$)

La seconde étape génère uniquement la couche d'arrière-plan ($I_{bg}$), conditionnée par le premier plan rendu et la légende de l'arrière-plan.

• Architecture : Construite sur un squelette de Transformeur de Diffusion Multimodal (MM-DiT).
• Conditionnement : Le modèle concatène trois flux de tokens :
  1. Tokens de premier plan ($h_f$) : Encodés à partir du premier plan RGBA sur un canevas gris neutre.
  2. Tokens de légende ($h_b$) : Encodés à partir de la légende de l'arrière-plan.
  3. Tokens d'image bruitée ($h_z$) : Échantillonnés dans l'espace latent.
• Mécanisme : Les blocs MM-DiT effectuent une attention conjointe entre ces flux, permettant à la génération de l'arrière-plan de s'harmoniser avec le premier plan en termes de couleur, de disposition et de style, sans corrompre le texte ou les ressources.
• Entraînement : Le squelette de diffusion est gelé ; seuls les modules LoRA et les couches AdaLN sont entraînés en utilisant des objectifs de flow matching. Le système subit un processus d'entraînement en deux étapes (résolutions de 512px et 1024px) pour équilibrer la sensibilité au premier plan et l'adaptabilité à haute résolution.

Modes Contrôlables Unifiés

Parce que le système est basé sur la complétion de protocole, un seul modèle supporte diverses modes de génération :

• Prompt-only (Prompt seul) : Génère un design complet à partir de texte.
• Asset-conditioned (Conditionné par ressource) : Préserve les ressources téléchargées et prédit leur placement et leur style.
• Canvas-conditioned (Conditionné par canevas) : Complète les couches ou attributs manquants basés sur les éléments verrouillés de l'utilisateur.
• Re-layout (Réorganisation de la mise en page) : Régénère la disposition pour une nouvelle taille de canevas tout en préservant le contenu et le style.

Contributions Clés

1. Synthèse de Programme de Design Éditable : L'article propose de formuler le design graphique comme la génération de programmes JSON éditables plutôt que d'images statiques, garantissant une éditabilité native des couches.
2. Génération de Protocole par Couches : Développement d'un modèle multimodal RGBA qui spécifie le contenu, la géométrie, le style et l'ordre de chaque couche, couplé à une légende d'arrière-plan.
3. Synthèse d'Arrière-plan Sensible au Premier Plan : Introduction d'un synthétiseur basé sur MM-DiT qui génère des arrière-plans conditionnés par le premier plan rendu, préservant la précision du texte et la fidélité des ressources.
4. Évaluation et Ressources : Les auteurs publient un nouveau benchmark avec des métriques automatisées, un ensemble de données de 100 000 échantillons multi-couches libres de droits, ainsi que le code et les modèles, démontrant une performance supérieure aux systèmes existants.

Résultats

CreatiPoster a été évalué sur un nouveau benchmark comprenant 45 cas de prompt seul, 39 cas à ressource unique et 6 cas à ressources multiples. Les dimensions d'évaluation incluaient la Mise en page (Layout), la Couleur, le Style Graphique et la Conformité, notées par GPT-4.1 et des volontaires humains.

• Performance : CreatiPoster (variantes S et F) a obtenu des scores de premier rang ou proches du sommet dans presque toutes les dimensions par rapport à OpenCOLE (open-source), Microsoft Designer et Canva Magic Design (commerciaux).
• Gestion des Ressources : Dans les contextes conditionnés par ressource, CreatiPoster a nettement surpassé les bases de référence en matière de Conformité et de Style Graphique, car les systèmes commerciaux échouent souvent à intégrer correctement les ressources de l'utilisateur ou réutilisent des squelettes de modèles.
• Limitations : Les auteurs notent que la Mise en page reste la dimension la plus difficile pour tous les systèmes (aucune méthode n'a dépassé un score de 3.0), indiquant un écart persistant avec les designers humains dans les compositions complexes mêlant texte et éléments graphiques. Les modes d'échec incluent la distorsion de petites icônes et occasionnellement un mauvais alignement texte-ressource.

Signification

L'article affirme que CreatiPoster fait progresser la démocratisation du design graphique assisté par IA en supprimant la dépendance aux bibliothèques de modèles propriétaires. En représentant les designs comme des programmes éditables, le cadre garantit que les ressources de l'utilisateur restent intactes et que chaque élément demeure éditable après la génération. L'approche unifiée de complétion de protocole permet diverses applications — incluant l'édition de canevas, la superposition de texte, le redimensionnement réactif, l'adaptation multilingue et les posters animés — sans nécessiter de pipelines spécifiques à chaque tâche. La publication du cadre, du jeu de données et du benchmark vise à catalyser la recherche future dans le domaine du design graphique éditable piloté par l'IA.