💻 computer science

UniGP: Taming Diffusion Transformer for Prior-Preserved Unified Generation and Perception

UniGP est un cadre unifié basé sur MMDiT qui apprend conjointement la génération d'images contrôlable et la prédiction dense grâce à une stratégie d'entraînement simple, capturant efficacement les distributions image-géométrie pour atteindre des performances comparables aux méthodes spécialisées tout en améliorant à la fois les capacités génératives et perceptuelles.

Auteurs originaux : Qin Guo, Hao Luo, Dongxu Yue, Weixuan Jin, Xiao Fu, Fan Wang, Dan Xu

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qin Guo, Hao Luo, Dongxu Yue, Weixuan Jin, Xiao Fu, Fan Wang, Dan Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste surdoué qui excelle dans deux métiers très différents : peindre de magnifiques tableaux à partir d'une description (Génération) et mesurer la forme et la distance exactes d'objets dans une photo (Perception).

D'ordinaire, si vous engagez un artiste pour peindre, il pourrait devenir médiocre en mesures. Si vous engagez un géomètre pour mesurer, il pourrait oublier comment peindre. La plupart des modèles d'IA actuels sont comme cela : ils sont soit d'excellents peintres, soit d'excellents géomètres, mais rarement les deux à la fois.

UNIGP est un nouveau cadre qui enseigne à un seul modèle d'IA à être un maître de ces deux disciplines simultanément, sans perdre son talent d'origine.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le dilemme des « deux têtes »

Le Peintre (Génération) : Ces modèles créent des images à partir de texte (ex : « Un château sur une île »). Ils sont créatifs mais ne comprennent souvent pas la forme 3D exacte du château.
Le Géomètre (Perception) : Ces modèles regardent une photo et vous indiquent la profondeur ou la planéité des choses. Ils sont précis, mais produisent souvent des images ennuyeuses et plates si vous essayez de les utiliser pour créer de l'art.
L'ancienne méthode : Les tentatives précédentes pour combiner les deux consistaient à essayer de forcer un peintre et un géomètre à partager un seul cerveau. Cela rendait soit le modèle trop lourd et lent, soit faisait oublier au peintre sa créativité.

2. La Solution : La « Branche Fantôme » (DUGP)

Les auteurs de UNIGP ont utilisé une astuce ingénieuse basée sur le Rasoir d'Occam (l'idée que la solution la plus simple est généralement la meilleure).

Le Cerveau Principal (Le Backbone) : Ils sont partis d'un puissant « Peintre » IA pré-entraîné (appelé MMDiT). Ce cerveau est déjà excellent pour comprendre comment créer des images.
La Branche Fantôme : Au lieu de construire un tout nouveau cerveau pour la tâche du « Géomètre », ils ont simplement copié la partie de gestion d'image du Peintre et lui ont donné un nouveau nom : DUGP.
Comment ça marche :
- Le Cerveau Principal continue de faire ce qu'il fait de mieux : créer l'image colorée et artistique. Il reste « gelé » (intouché) pour qu'il n'oublie pas ses compétences artistiques.
- La Branche Fantôme (DUGP) agit comme un assistant spécialisé. Elle regarde la même information mais se concentre uniquement sur les détails de la « forme » (Profondeur et Normales de Surface).
- La Magie : Les deux parties communiquent entre elles. Le Peintre dit à la Branche Fantôme : « Voici la scène », et la Branche Fantôme dit au Peintre : « Assure-toi que le mur du château est réellement en 3D et non plat ».

3. L'Entraînement : La stratégie de la « Salade Composée »

D'habitude, on entraîne un peintre avec des livres d'art et un géomètre avec des plans techniques. UNIGP mélange tout cela dans une seule grande salade.

La Stratégie : Le modèle reçoit un mélange aléatoire de données. Parfois, il reçoit une consigne textuelle pour peindre une image. Parfois, il reçoit une photo et doit deviner la profondeur.
L'Interrupteur : Le modèle possède un simple « interrupteur » (un poids de perte binaire).
- Si les données sont destinées à la peinture, l'interrupteur active la « Perte de Peinture » et désactive la « Perte de Mesure ».
- Si les données sont destinées à la mesure, l'interrupteur active la « Perte de Mesure » et désactive la « Perte de Peinture ».
Le Résultat : Le modèle apprend à être à la fois un peintre et un géomètre simultanément, sans s'embrouiller.

4. Les Superpouvoirs (Ce qu'il peut faire)

Parce que ce modèle comprend à la fois l'art et la géométrie du monde, il peut accomplir trois choses géniales en une seule étape :

Peindre avec des règles : Vous pouvez lui donner un croquis ou une carte de profondeur (un contour grossier des formes), et il peindra une image magnifique qui s'adapte parfaitement à ces formes.
Mesurer avec précision : Vous pouvez lui donner une photo, et il produira une carte de profondeur 3D et des angles de surface incroyablement détaillés, grâce aux connaissances « artistiques » qu'il a acquises.
Créer à partir de rien : Vous pouvez simplement lui donner une consigne textuelle (ex : « Une femme en costume »), et il générera l'image, la carte de profondeur et les angles de surface tous en même temps, parfaitement alignés.

5. Pourquoi c'est meilleur (L'effet de « Complémentarité »)

L'article a découvert une magnifique synergie entre les deux tâches :

L'Art aide les Mathématiques : Le côté « Peintre » aide le côté « Géomètre » à percevoir des détails infimes (comme la texture d'un mur de briques) qu'un géomètre standard aurait tendance à lisser.
Les Mathématiques aident l'Art : Le côté « Géomètre » force le « Peintre » à être structurellement correct. Le château ne ressemble pas seulement à un château ; il est un château avec des proportions 3D correctes.

Résumé

Voyez UNIGP comme un Couteau Suisse pour la vision de l'IA. Au lieu de transporter séparément un couteau, un tournevis et des ciseaux, vous avez un outil unique qui fait les trois parfaitement. Il y parvient en gardant le cerveau de l'« artiste » principal intact et protégé, tout en ajoutant une branche légère et assistante pour gérer la géométrie, le tout entraîné sur un régime mixte d'art et de science.

Le Compromis : L'article admet que cela rend le modèle légèrement plus grand et un peu plus lent à exécuter que l'artiste original, mais les auteurs soutiennent qu'obtenir un seul modèle capable de faire le travail de trois modèles spécialisés est un prix raisonnable à payer.

Résumé Technique : UNIGP – Dompter le Transformer de Diffusion pour une Génération et une Perception Unifiées à Priorités Préservées

Énoncé du Problème

Les avancées récentes des modèles de diffusion ont permis d'atteindre un succès remarquable tant dans la génération d'images contrôlable (par exemple, le Text-to-Image guidé par la profondeur ou les contours) que dans les tâches de prédiction dense (par exemple, l'estimation de la profondeur monoculaire et des normales de surface). Cependant, les approches existantes traitent généralement ces domaines comme étant distincts. Les méthodes de génération contrôlable (comme ControlNet) sont limitées aux tâches de génération et nécessitent souvent des jeux de données massifs pour un contrôle précis, tandis que les méthodes de prédiction dense (comme Marigold ou les modèles basés sur la régression) sont souvent affinées à partir de backbones génératifs, ce qui entraîne un « oubli catastrophique » des priors génératifs polyvalents du modèle.

Les tentatives d'unification actuelles (par exemple, JointNet, UniCon) ne parviennent souvent pas à exploiter pleinement la relation complémentaire entre génération et perception. Elles soit induisent un surcoût de calcul massif en dupliquant des backbones entiers, soit compromettent les capacités génératives en affinant directement le backbone pour la perception. Le défi central consiste à unifier ces tâches hétérogènes au sein d'un seul cadre capable de préserver les priors génératifs pré-entraînés tout en permettant une prédiction dense et une génération contrôlable précises, sans nécessiter d'architectures ou de pertes complexes et spécifiques aux tâches.

Méthodologie : Le Cadre UNIGP

Les auteurs proposent UNIGP, un cadre construit sur l'architecture Multi-Modal Diffusion Transformer (MMDiT). La méthode repose sur deux innovations principales : une branche architecturale désengagée et une stratégie d'entraînement unifiée.

1. Génération et Perception Unifiées Désengagées (DUGP)

Suivant le principe du rasoir d'Occam, UNIGP évite de dupliquer l'intégralité du backbone MMDiT. À la place, il introduit la branche DUGP, qui copie uniquement la branche d'image ( $\mathcal{F}_i$ ) du MMDiT pré-entraîné.

Architecture : La branche DUGP est initialisée en copiant les paramètres de la branche d'image. Elle est divisée en un Condition Patcher (correcteur de condition), des Stacked Control Layers (couches de contrôle empilées) et des Stacked Perception Layers (couches de perception empilées).
Préservation des Priors (Isolation du Gradient) : Un choix de conception critique est le contournement (« bypass ») de la connexion additive dans les couches de perception. Dans les couches de contrôle, la sortie de la branche DUGP est ajoutée à la sortie du backbone via une couche linéaire initialisée à zéro ( $\mathcal{L}_{zero}$ ), permettant à la condition de guider la génération. Cependant, dans les couches de perception, ce chemin additif est sectionné. Cela garantit que les gradients provenant de la perte de prédiction dense circulent exclusivement à travers la branche DUGP, empêant ainsi de modifier les poids pré-entraînés du backbone. Cela permet de mettre les priors génératifs en quarantaine tout en permettant à la branche DUGP d'apprendre la perception en tant que « lecteur » non invasif.
Gestion de Multi-Conditions : Pour les scénarios nécessitant plusieurs conditions, le condition patcher de DUGP est dupliqué pour chaque condition, les interactions étant gérées via une concaténation de séquences pour maintenir l'efficacité de l'inférence.

2. Jeu de Données Unifié et Stratégie d'Entraînement

Pour combler le fossé entre génération et perception, UNIGP emploie une stratégie d'entraînement unifiée sur un jeu de données hétérogène combinant des données de génération filtrées et des données de perception synthétiques.

Pondération Binaire de la Perte : Au lieu de mécanismes complexes d'équilibrage de perte, le modèle utilise un mécanisme de routage binaire simple. Pour chaque échantillon dans un lot mixte, les poids de perte ( $\lambda_g, \lambda_p$ ) sont fixés à 1 ou 0 selon la source des données. Si l'échantillon provient du jeu de données de génération, la perte de génération est active ; s'il provient du jeu de données de perception, la perte de perception est active.
Objectif : Le réseau apprend à prédire simultanément le champ de vitesse pour les latents RGB, de profondeur et de normales, optimisant à la fois la qualité générative et la précision géométrique au sein d'une seule passe directe (forward pass).

Contributions Clés

Cadre UNIGP : Un modèle de Diffusion Transformer unifié qui intègre la génération contrôlable et la prédiction dense. Il utilise une branche DUGP qui copie uniquement la branche d'image de MMDiT, respectant le rasoir d'Occam pour minimiser le surcoût de calcul tout en préservant les priors polyvalents du backbone.
Stratégie d'Entraînement Unifiée : Un nouvel apprentissage et une nouvelle approche de jeu de données qui apprennent conjointement des tâches hétérogènes en utilisant un schéma simple de pondération binaire de la perte, éliminant le besoin de conceptions architecturales spécifiques aux tâches ou d'équilibrages de perte complexes.
Synergie Démontrée : L'article fournit la preuve que l'entraînement conjoint produit des bénéfices complémentaires : les priors génératifs enrichissent les détails perceptuels (capturant les textures fines), tandis que l'apprentissage perceptuel impose un alignement spatial strict lors de la génération.

Résultats Expérimentaux

Des expériences approfondies démontrent que UNIGP surpasse les approches unifiées précédentes et rivalise avec les méthodes « expertes » spécialisées.

Génération Contrôlable : UNIGP surpasse les modèles à contrôle unique (ControlNet) et à multi-contrôle (UniControlNet) en termes de scores FID et CLIP sur diverses conditions (profondeur, normales, croquis, pose, Canny). Notamment, il atteint l'erreur quadratique moyenne (RMSE) la plus faible dans les tâches de profondeur-vers-image et de normale-vers-image, indiquant un alignement structurel supérieur.
Prédiction Dense : En estimation zero-shot de la profondeur et des normales de surface, UNIGP atteint des performances comparables aux modèles de régression de pointe (ex: DepthAnything V2, DSINE) malgré un entraînement sur beaucoup moins d'images (59K contre 62,6M pour DepthAnything). Il surpasse significativement les autres méthodes de perception générative (Marigold, GeoWizard) et les modèles unifiés (JointNet, UniCon).
Génération Conjointe : UNIGP permet la génération simultanée de cartes RGB, de profondeur et de normales de surface à partir de prompts textuels, surpassant les bases de référence comme LDM3D et JointNet tant en qualité d'image (FID) qu'en cohérence géométrique (métriques GD/GN).
Études d'Ablation :
- Synergie : Supprimer l'entraînement de la perception dégrade l'alignement structurel des images générées (RMSE plus élevé), tandis que supprimer l'entraînement de la génération produit des cartes de profondeur trop lissées manquant de détails fins.
- Choix de Conception : Remplacer DUGP par une duplication complète du backbone (style JointNet) ou un affinement complet (style Marigold) donne des performances nettement inférieures, confirmant que le flux de gradient désengagé est la clé du succès.
- Équilibre des Couches : Une allocation égale entre les couches de contrôle et de perception empilées (12:12) offre le meilleur équilibre entre le contrôle de la génération et la précision de la perception.

Signification et Revendications

L'article affirme que UNIGP réussit à jeter un pont entre les domaines séparés de la synthèse basée sur la diffusion et la prédiction de géométrie dense. Sa principale importance réside dans la démonstration que les priors génératifs et les contraintes perceptuelles ne sont pas mutuellement exclusifs mais se renforcent mutuellement.

Préservation des Priors : En isolant le flux de gradient, UNIGP conserve les capacités génératives de haute qualité du backbone MMDiT pré-entraîné, qui sont souvent perdues lors de l'affinement spécifique à la perception.
Efficacité : La méthode atteint des résultats de pointe avec une augmentation relativement faible de paramètres (de 2B à 3B) par rapport à la duplication de l'intégralité du backbone, ce qui en fait une solution unifiée efficace sur le plan computationnel.
Polyvalence : Le cadre prend en charge un large éventail de tâches au sein d'un seul modèle, incluant le text-to-image, l'estimation de profondeur/normale, et la génération avec n'importe quelle condition, offrant une alternative plus polyvalente au maintien de multiples modèles spécialisés.

Les auteurs reconnaissent que bien que UNIGP introduise un surcoût de calcul supplémentaire par rapport au modèle de base (augmentant le temps d'inférence d'environ 5s à 9,5s), ce compromis est justifié par la capacité de remplacer plusieurs architectures spécialisées par un seul modèle unifié hautement versatile.