💻 computer science

UniWorld-Design: From Pixel Generation to Layer-Native Design

UniWorld-Design introduit un nouveau cadre qui redéfinit la génération d'images en passant de la synthèse de pixels plats à une création structurée et native par couches, utilisant des couches RGBA sémantiques comme unités atomiques, permettant ainsi une compréhension, une édition et une manipulation agentique plus robustes du contenu visuel grâce à ses modèles spécialisés Text-to-RGBA et Image-to-Layer.

Auteurs originaux : Zongjian Li, Zhiyuan Yan, Chenxu Bai, Chen Chen, Haoxiang Sun, Shaodong Wang, Feize Wu, Shenghai Yuan, Bin Lin, Zheyuan Liu, Yuwei Niu, Li Yuan

Publié 2026-08-05

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zongjian Li, Zhiyuan Yan, Chenxu Bai, Chen Chen, Haoxiang Sun, Shaodong Wang, Feize Wu, Shenghai Yuan, Bin Lin, Zheyuan Liu, Yuwei Niu, Li Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une peinture numérique sur votre écran. Depuis longtemps, les ordinateurs traitent ces images comme une simple feuille de papier plate. Si vous vouliez déplacer le soleil dans un coin, l'ordinateur devait deviner quels pixels appartenaient au soleil et lesquels appartenaient au ciel, laissant souvent un bord irrégulier et dentelé ou effaçant accidentellement une partie de l'arrière-plan. C'est ainsi que fonctionne la plupart des IA de « text-to-image » aujourd'hui : elle peint une image plate, pixel par pixel, sans comprendre que l'image est en réalité composée d'objets distincts empilés les uns sur les autres.

Mais les graphistes humains ne travaillent pas ainsi. Lorsqu'un graphiste crée une affiche, il utilise un système de « calques ». Imaginez cela comme une pile de feuilles de verre transparentes. Sur la feuille du bas, vous peignez le ciel. Sur la suivante, vous dessinez une montagne. Sur la feuille du haut, vous écrivez le titre. Parce que chaque objet est sur sa propre feuille, vous pouvez soulever la montagne, la déplacer ou effacer le titre sans toucher au ciel. Ce document, appelé UniWorld-Design, pose une question simple : et si l'IA pouvait arrêter de peindre des images plates pour commencer à construire ces piles de verre transparentes ? Les chercheurs proposent qu'en apprenant à l'IA à générer des images sous forme de « calques » (plus précisément des calques RGBA, qui incluent la couleur et une carte de transparence), nous pourrons créer une IA capable de comprendre comment créer, éditer et réorganiser du contenu visuel, tout comme un graphiste humain.

L'idée maîtresse : De la peinture plate aux piles transparentes

Le problème central que l'équipe de UniWorld-Design s'attaque est que les générateurs d'images par IA actuels sont comme des artistes qui ne savent peindre que sur une seule toile. Une fois que la peinture est sèche, tout est figé ensemble. Si vous voulez changer l'arrière-plan, vous devez tout gratter et espérer ne pas gâcher le premier plan. Le papier soutient que les pixels nous disent comment une image apparaît, mais les calques nous disent comment une image a été faite.

Pour corriger cela, l'équipe a construit un cadre qui traite les calques sémantiques RGBA comme les briques élémentaires de la création. « RGBA » est simplement une façon sophistiquée de dire « Rouge, Vert, Bleu et Alpha » (où l'Alpha est la transparence). Au lieu de générer une image plate, leur système génère une pile d'objets séparés et transparents qui peuvent être déplacés, supprimés ou édités individuellement.

Les deux outils magiques

Le cadre repose sur deux modèles spécifiques qui travaillent ensemble comme un duo créatif :

T2RGBA (Text-to-RGBA) : Imaginez que vous avez une baguette magique capable de conjurer un objet transparent unique et parfait à partir de rien, simplement en le décrivant. Si vous dites « un cristal bleu flottant », ce modèle ne vous donne pas l'image d'un cristal sur un fond blanc ; il vous donne le cristal lui-même, avec un fond transparent, prêt à être placé n'importe où. Cet outil génère des éléments autonomes directement à partir du texte.
I2L (Image-to-Layer) : C'est le sorcier inverse. Imaginez que vous avez une affiche finie et plate sur une table. Vous la donnez au modèle I2L et vous dites : « S'il vous plaît, séparez l'arrière-plan, le texte et le personnage principal en leurs propres calques. » Le modèle ne se contente pas de deviner ; il reconstruit la pile invisible de feuilles de verre qui aurait dû créer cette affiche. Il déduit ce qui était caché derrière d'autres objets (comme la partie d'un arbre qui était couverte par un oiseau) et maintient ce contenu caché intact afin que vous puissiez déplacer l'oiseau plus tard sans voir de trou.

Comment cela fonctionne : La révolution de l'« instruction »

Ce qui rend cela spécial, c'est la manière dont le modèle I2L écoute les instructions. Ce n'est pas seulement un simple outil de « découpage ». Il comprend des commandes complexes telles que :

Décomposition de haut niveau : « Divise toute cette image en arrière-plan, sujets et texte. »
Décomposition récursive : « Prends ce calque de 'sujet' que tu viens de créer, et divise-le davantage en personne et chapeau. »
Extraction ciblée : « Donne-moi juste la lune et le lapin, et laisse tout le reste derrière. »

Cela transforme le calque en une conversation. Un agent IA (un programme informatique intelligent) peut utiliser ces outils pour planifier un design, demander un calque spécifique, l'affiner, puis tout réassembler, le tout sans jamais perdre la structure de l'image.

Les résultats : Plus intelligent, plus propre et plus éditable

Les chercheurs ont testé leur système contre d'autres modèles de pointe, comme Qwen-Image-Layered, en utilisant un benchmark appelé Crello (une collection de 512 modèles de design du monde réel). Les résultats suggèrent que UniWorld-Design est une étape significative vers la création d'images générées par IA réellement utiles pour l'édition.

Meilleure précision : Lorsqu'ils ont comparé les calques générés par l'IA aux calques originaux de « vérité terrain » (ground truth), le modèle I2L de UniWorld-Design a réduit l'erreur de couleur (RGB) de 37 % par rapport au modèle précédent le plus performant.
Bords plus nets : Le modèle a également amélioré la qualité des bords transparents (Alpha Soft IoU) de 34 %. Cela signifie que les découpes sont plus nettes et moins susceptibles d'avoir des bords dentelés ou flous.
Moins d'erreurs : Le système a généré 63 % de calques « vides » en moins (des feuilles qui ne devraient pas être là) et a considérablement réduit les calques « vitrés » (des calques qui paraissent étranges ou cassés).
Meilleure compréhension du texte : Dans un test où un modèle de langage visuel (VLM) a évalué la qualité des calques, UniWorld-Design a obtenu un score de 20,43 sur 25, battant le score de 17,60 de son concurrent.

Pour le modèle T2RGBA (celui qui crée des objets à partir de texte), il a atteint le score CLIP le plus élevé (une mesure de la correspondance entre l'image et la description textuelle) de 33,03, surpassant d'autres modèles comme LayerDiffuse et OmniAlpha.

Le revers de la médaille : Ce n'est pas encore parfait

Les auteurs sont honnêtes sur les points où le système éprouve encore des difficultés. Bien que les calques soient excellents pour séparer les objets, les bords de détails très fins (comme les cheveux ou les branches fines) peuvent encore être un peu désordonnés. De plus, le système a du mal avec le texte dense, en particulier les caractères complexes comme les caractères chinois, manquant parfois des traits ou se trompant dans la mise en page. Le papier suggère que les futures versions devront posséder de meilleures capacités de génération de texte pour gérer ces cas délicats.

Pourquoi cela importe

Il ne s'agit pas seulement de créer de plus belles images ; il s'agit de changer la façon dont nous interagissons avec l'art généré par l'IA. Actuellement, si vous voulez éditer une image d'IA, vous devez souvent recommencer ou utiliser des outils de masquage laborieux. UniWorld-Design suggère un futur où l'IA ne se contente pas de peindre une image, mais construit un kit de design. Vous pourriez demander à une IA de « faire une affiche avec un dragon », puis dire plus tard « déplace le dragon vers la gauche et change l'arrière-plan pour un coucher de soleil », et l'IA saurait exactement quel « calque » déplacer et comment maintenir le reste de l'image parfait. Cela transforme la génération d'images d'un tour de magie ponctuel en un processus créatif, flexible et éditable.

Résumé Technique : UniWorld-Design

Problématique

Les modèles actuels de génération de texte en image synthétisent principalement des canevs de type RGB plats. Bien que ces modèles produisent des résultats visuellement saisissants, ils manquent d'une structure explicite et éditable. Dans cette représentation plate, les pixels définissent la manière dont une image est rendue, mais ne décrivent pas comment elle est composée, quels éléments sémantiques elle contient, ni comment ces éléments doivent être manipulés. Une fois qu'un design multicouche est aplati en une image raster, la structure éditable — incluant la hiérarchie des objets, l'ordre des couches et le contenu caché par l'occlusion — est perdue. Les tentatives d'édition ultérieures doivent reconstruire cette structure à partir des pixels, un processus généralement incomplet qui échoue souvent à récupérer le contenu occlus ou à maintenir la pile de couches originale. Les méthodes existantes de segmentation et d'édition localisent les modifications ou extraient les régions visibles, mais ne reconstruisent pas la stratification sémantique originale ou le contenu caché.

Méthodologie

Les auteurs proposent UniWorld-Design, un cadre qui redéfinit la génération et la compréhension d'images en traitant les couches sémantiques RGBA (Rouge, Vert, Bleu, Alpha) comme les unités atomiques de génération, de décomposition et d'édition. Le cadre se compose de deux modèles principaux opérant dans un espace visuel natif en couches :

1. Modèles de base

Text-to-RGBA (T2RGBA) : Génère des actifs (assets) RGBA autonomes et réutilisables directement à partir de prompts textuels. Il traite le RGBA comme une représentation compositionnelle native, encodant chaque objet avec son propre canal de couleur et d'alpha pour garantir qu'ils soient indépendamment plaçables et composables.
Image-to-Layer (I2L) : Se conditionne sur une image composite terminée, une instruction de tâche globale et des prompts par couche. Il produit conjointement une pile ordonnée de couches RGBA sémantiques complètes sur un canevas partagé. Contra irement aux taxonomies de segmentation fixes, I2L traite la décomposition comme une opération adressable par instruction, supportant :
- Décomposition de haut niveau : Séparer une image complète en couches sémantiques spécifiées.
- Décomposition récursive : Affiner une couche sélectionnée en composants plus fins.
- Extraction ciblée : Séparer le contenu demandé du reste non sélectionné.

2. Innovations architecturales

LIB-MMDiT (Layer–Instruction Binding MMDiT) : Pour résoudre le problème de correspondance où les descriptions sémantiques doivent contrôler des couches de sortie spécifiques plutôt que l'ensemble de la pile, les auteurs introduisent un mécanisme d'attention spécialisé.
- Attention de liaison Couche-Instruction (Layer–Instruction Binding Attention) : Les instructions globales sont diffusées à toutes les requêtes d'image, tandis que les prompts de couches spécifiques sont restreints à leurs jetons (tokens) de couche correspondants via un mécanisme de masquage.
- Positions rotatives 3D indexées par couche (Layer-Indexed 3D Rotary Positions) : Le modèle réutilise la coordonnée constante des positions rotatives du transformer de base pour encoder l'identité de la couche (indice $i$ ) plutôt que d'ajouter un nouvel axe positionnel. Cela permet aux jetons de différentes couches de rester alignés sur le même canevas $(h, w)$ tout en conservant des identités de couche distinctes.
Autoencodeur RGBA : Le cadre étend un autoencodeur RGB pré-entraîné en ajoutant un quatrième canal alpha. L'encodeur et le décodeur sont entraînés sur un mélange d'images RGBA transparentes et d'images RGB opaques, utilisant un terme d'alignement de latent RGB pour garantir que les encodages des images opaques restent proches de l'espace latent pré-entraîné.

3. Stratégie d'entraînement

Construction des données : Les données d'entraînement pour I2L sont dérivées de documents PSD créés par des designers. Les auteurs rendent les couches PSD et les organisent en arbres sémantiques, préservant le contenu caché par l'occlusion (contrairement aux partitions de pixels visibles). Cela permet au modèle d'apprendre des objets sémantiques complets.
Distillation progressive : Pour réduire les coûts d'échantillonnage associés à la génération de multiples couches à pleine résolution, les auteurs emploient une distillation adversaire progressive. Un modèle étudiant apprend à prédire l'emplacement du flux atteint par un modèle enseignant à plusieurs étapes en une seule étape.
Post-entraînement DiffusionNFT : Les modèles subissent un post-entraînement piloté par récompense.
- T2RGBA utilise des récompenses basées sur le suivi de l'alpha (alpha-following), la similitude prompt-image de type CLIP (Qwen3-VL) et une notation basée sur les MLLM (Qwen3.5-9B).
- I2L utilise des récompenses basées sur l'erreur absolue moyenne (L1) sur les canaux RGBA et la perte perceptuelle (LPIPS) sur les canaux RGB, moyennée sur les couches cibles.

Contributions clés

Formulation native en couches : Le papier introduit un cadre où les couches sémantiques RGBA servent d'unité atomique pour la génération, la décomposition et l'édition. Cela expose des états d'objets persistants et indépendamment manipulables, fournissant une interface structurée pour que des agents de design externes puissent planifier et exécuter des modifications.
Système à double modèle : La réalisation de cette formulation via T2RGBA (pour la génération d'actifs) et I2L (pour la décomposition contrôlée par instruction). I2L unifie la décomposition de haut niveau, récursive et ciblée en une interface unique qui apprend des objets sémantiques complets plutôt que des partitions de pixels visibles.
Évaluation systématique : Une évaluation complète couvrant la fidélité par couche, la transparence, l'éditabilité et la génération d'actifs.

Résultats

Le cadre a été évalué sur le benchmark Crello (512 designs) et sur un ensemble de test pour T2RGBA.

Performance de l'Image-to-Layer (I2L) :
- Comparé à Qwen-Image-Layered, I2L a réduit l'erreur L1 RGB par couche de 37 % (0,2014 à 0,1264).
- A obtenu une amélioration relative de 34 % de l'Alpha Soft IoU (0,5454 à 0,7325).
- A réduit les "Mauvaises Couches" (sorties vides ou vitrées) de 33 % (de 42,3 % à 33,0 %) et les couches vides de 63 %.
- A obtenu un score basé sur le VLM plus élevé (20,43 contre 17,60) sur diverses dimensions, notamment la séparation sémantique, la distribution du contenu et la validité du contenu, bien qu'il ait obtenu un score légèrement inférieur sur la propreté de l'alpha.
Performance de la Text-to-RGBA (T2RGBA) :
- A obtenu le score CLIP le plus élevé (33,03) parmi les modèles comparés (LayerDiffuse : 29,22 ; OmniAlpha : 31,00), indiquant un alignement textuel supérieur.
- Bien qu'OmniAlpha ait obtenu un FID plus faible (87,86 contre 117,14) et un MSE/SAD d'Alpha légèrement meilleur, T2RGBA a démontré une forte performance dans la génération d'actifs réutilisables.

Signification et Revendications

Le papier affirme que UniWorld-Design établit une boucle fermée où le contenu visuel peut circuler entre le langage, les images finies et la structure éditable. En traitant les couches comme l'unité atomique, le cadre répond à la limitation fondamentale des sorties plates : l'absence de structure éditable.

Les auteurs soulignent que leur approche permet une édition agentique, où des agents externes peuvent décomposer des images, affiner des couches spécifiques de manière récursive et les recomposer sans perdre le contenu caché ou l'intégrité structurelle. Ce travail se positionne comme une étape vers un "espace de design natif en couches" où la génération et la décomposition opèrent directement dans un environnement visuel structuré, plutôt que de dépendre du post-traitement ou de l'inférence au niveau du pixel.

Limites

Les auteurs reconnaissent des limites spécifiques :

Frontières d'Alpha : Le modèle éprouve actuellement des difficultés avec les frontières d'alpha fines, ce qui se traduit par des scores de "propreté d'alpha" inférieurs à ceux de Qwen-Image-Layered.
Typographie dense : Les glyphes complexes, particulièrement le texte chinois, et les passages longs peuvent entraîner des traits manquants, des caractères incorrects et des mises en page instables, indiquant un besoin de capacités de génération de texte plus fortes dans le modèle sous-jacent.