🤖 machine learning

Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

Cet article propose un cadre de génération d'images contrôlable qui exploite des représentations issues de modèles auto-supervisés préentraînés pour conditionner les processus de diffusion, améliorant ainsi la qualité de la génération non conditionnelle tout en permettant un contrôle fluide et désintriqué des variations de sortie sans nécessiter d'ensembles de données annotés étendus.

Auteurs originaux : Nithesh Chandher Karthikeyan, Jonas Unger, Gabriel Eilertsen

Publié 2026-05-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nithesh Chandher Karthikeyan, Jonas Unger, Gabriel Eilertsen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un artiste magique capable de peindre n'importe quel tableau que vous souhaitez, mais que vous ne puissiez lui parler qu'en chuchotements vagues du type « rends-le joli » ou « rends-le effrayant ». C'est ainsi que fonctionnent généralement les générateurs d'images actuels par IA (appelés modèles de diffusion). Ils sont incroyables pour créer de beaux tableaux, mais si vous souhaitez modifier un seul tout petit détail — comme changer la couleur des cheveux d'une personne de brun à rouge sans altérer la forme de son visage ni l'arrière-plan — c'est souvent comme essayer de diriger un gigantesque navire avec un cure-dent. Vous pourriez obtenir la bonne couleur de cheveux, mais vous risquez aussi de modifier par inadvertance l'âge de la personne ou la météo dans l'image.

Ce papier présente une nouvelle façon de parler à cet artiste magique. Au lieu de se contenter d'utiliser des mots, les auteurs enseignent à l'artiste à « écouter » un langage secret de plans visuels.

La nouvelle approche : le système de plans

Les auteurs ont construit un système composé de deux parties principales, travaillant ensemble comme une équipe :

Le Traducteur (l'Encodeur) : Imaginez un traducteur surdoué qui a étudié des millions de photos. Ce traducteur ne parle ni anglais ni espagnol ; il parle « Plans Visuels ». Lorsque vous lui montrez une photo d'une église ou d'un visage, il convertit instantanément cette image en un code unique et compact (une liste de nombres) qui capture l'essence de l'image. Les auteurs ont utilisé un modèle pré-entraîné « auto-supervisé » (appelé DINO) pour ce faire. Il a appris à comprendre les images simplement en les regardant, sans avoir besoin que des humains les étiquettent.
Le Peintre (le Modèle de Diffusion) : C'est l'artiste. Au lieu de deviner ce qu'il doit peindre à partir d'une invite textuelle, cet artiste regarde le « Plan Visuel » fourni par le traducteur et peint l'image pour qu'elle corresponde à ce code.

Pourquoi est-ce mieux ?

Le papier affirme que cette méthode offre deux superpouvoirs principaux :

1. Des transitions plus fluides (l'effet de « fondu »)
Si vous souhaitez transformer une image d'une église en image d'un château, vous pouvez prendre le « plan » de l'église et le « plan » du château et les mélanger au milieu.

L'ancienne méthode : Avec les méthodes standard, les mélanger donne souvent un flou désordonné ou un saut brutal et choquant d'une image à l'autre.
La méthode de ce papier : Les auteurs ont découvert que mélanger ces plans crée un fondu progressif et fluide. L'image se transforme lentement d'une église en un château, les détails changeant naturellement étape par étape, plutôt que de sauter ou de buguer.

2. Le contrôle des détails (l'effet de « bouton »)
Les auteurs ont découvert que vous pouvez tourner des « boutons » spécifiques dans l'espace des plans pour modifier des caractéristiques précises.

Le bouton « Supervisé » : Si vous montrez au système de nombreuses photos de personnes aux cheveux blonds, il apprend le « plan cheveux blonds ». Vous pouvez ensuite prendre une photo d'une personne aux cheveux foncés, ajouter le « plan blond » à celle-ci, et l'IA changera ses cheveux en blond tout en gardant le reste identique.
Le bouton « Non supervisé » : Même sans que des humains ne disent à l'IA à quoi ressemble « des cheveux blonds », le système peut trouver des motifs par lui-même. En analysant les plans, il a trouvé des « boutons » qui contrôlent naturellement des éléments comme la taille du front, la longueur des cheveux ou la couleur de l'arrière-plan. C'est comme trouver un panneau de contrôle caché à l'intérieur du code de l'image qui vous permet de régler des attributs spécifiques.

Les résultats

Les auteurs ont testé cela sur des images d'églises et de visages (Celeb-A). Ils ont constaté que :

Les images restaient de haute qualité même lorsqu'ils effectuaient de grands changements.
Les changements étaient fluides (sans sauts choquants).
Les changements étaient désintriqués (changer les cheveux ne modifiait pas par inadvertance le genre ou l'arrière-plan).

En résumé

Considérez ce papier comme enseignant à un artiste IA une nouvelle langue. Au lieu de lui donner des instructions vagues, ils lui fournissent un plan visuel précis. Cela permet à l'artiste non seulement de peindre de meilleurs tableaux, mais aussi de vous laisser pousser doucement l'image dans des directions spécifiques — comme tourner un bouton pour changer la couleur des cheveux ou faire fondre progressivement un bâtiment dans un autre — sans briser le reste de l'image. C'est un pas vers une génération d'images par IA plus prévisible et contrôlable.

Résumé technique : Vers une génération d'images contrôlable grâce à des modèles de diffusion conditionnés par des représentations

Énoncé du problème
Bien que les modèles de diffusion aient révolutionné la synthèse et l'édition d'images de haute qualité, les contrôler pour produire des résultats spécifiques demeure un défi majeur. Contrairement aux réseaux antagonistes génératifs (GAN), qui offrent des espaces latents bien structurés et désenchevêtrés facilitant des modifications précises et à grain fin, les modèles de diffusion ne disposent pas d'un espace latent aussi efficace pour un contrôle direct. Les méthodes de conditionnement existantes, telles que les invites textuelles ou les cartes sémantiques, reposent souvent sur des jeux de données fortement annotés ou sur un ingénierie complexe des invites, ce qui peut limiter la précision et l'adaptabilité aux données non structurées. De plus, bien que des modèles de diffusion conditionnés par des représentations aient été explorés pour améliorer la qualité de la génération non conditionnée, leur potentiel pour fournir un espace latent contrôlable n'a pas été rigoureusement testé.

Méthodologie
Les auteurs proposent un Modèle de Diffusion Conditionné par des Représentations (RCDM) qui exploite un modèle auto-supervisé pré-entraîné pour guider le processus de génération. L'architecture se compose de deux composants principaux (illustrés dans la figure 1) :

Extraction de représentations : Un encodeur auto-supervisé pré-entraîné (spécifiquement DINO) mappe les images d'entrée vers une distribution de représentations de dimension inférieure.
Génération conditionnelle : Un U-Net de débruitage (basé sur le modèle de diffusion latent, LDM) est entraîné pour mapper une distribution de bruit vers une distribution d'images, conditionnée par les représentations extraites par l'encodeur.

Le pipeline d'entraînement comporte deux étapes : d'abord, mapper les images vers l'espace de représentation à l'aide de l'encodeur SSL ; ensuite, entraîner le modèle de diffusion à débruiter tout en étant conditionné par ces représentations. Les auteurs adaptent des méthodes issues de travaux antérieurs (utilisant MoCo v3 et MAGE) mais les appliquent dans le cadre du LDM conditionné par des représentations DINO. Des expériences ont été menées sur les jeux de données LSUN Churches et Celeb-A.

Contributions clés et expériences
L'article présente des expériences préliminaires pour valider l'efficacité de l'espace de représentation pour une génération contrôlable, en se concentrant sur trois propriétés clés :

Robustesse aux perturbations : Les auteurs ont testé la stabilité du modèle en perturbant les vecteurs de représentation avec du bruit gaussien ( $\hat{C} = C + \lambda\epsilon$ ). Les résultats indiquent que, tandis que l'inversion par diffusion subit une dégradation significative de la qualité à des niveaux de bruit élevés ( $\lambda > 0,4$ ), le RCDM maintient la qualité et la cohérence de l'image tout en modifiant le contenu.
Lissage de l'interpolation : Une interpolation linéaire entre deux vecteurs de représentation ( $\hat{C} = \alpha C_1 + (1-\alpha)C_2$ ) a été effectuée. Le RCDM a démontré des transitions sémantiquement plus fluides entre les images de référence par rapport à l'inversion par diffusion (qui devenait indistinguable au milieu) et à Stable Diffusion (qui présentait des transitions soudaines).
Découverte de directions sémantiques :
- Supervisée : En calculant la représentation moyenne d'attributs spécifiques (par exemple, les cheveux blonds dans Celeb-A) et en l'ajoutant à un vecteur de référence, le modèle a réussi à modifier des caractéristiques. Cependant, les auteurs ont noté que les corrélations au sein du jeu de données (par exemple, le fait d'être chauve corrélé au genre masculin) pouvaient influencer des changements d'attributs non intentionnels.
- Non supervisée : En utilisant l'analyse en composantes principales (ACP) sur l'espace de représentation, les auteurs ont identifié des directions correspondant à des variations sémantiques telles que la taille du front, la longueur des cheveux et la couleur de l'arrière-plan. Bien que ces directions n'aient pas atteint le même niveau de désenchevêtrement que les GAN, elles ont démontré la faisabilité d'une découverte de directions non supervisée.

Résultats et affirmations
L'article affirme que les modèles de diffusion conditionnés par des représentations présentent des propriétés prometteuses dans leur espace de conditionnement, spécifiquement la fluidité et un degré de désenchevêtrement. Les expériences suggèrent que l'utilisation de représentations issues d'un modèle auto-supervisé pré-entraîné améliore non seulement la qualité de la génération d'images non conditionnée, mais établit également un espace latent adapté à une génération contrôlée.

Importance
Les auteurs positionnent ce travail comme une exploration préliminaire d'une direction prometteuse pour la modélisation générative. Ils soutiennent que le conditionnement par des représentations offre une approche convaincante pour améliorer à la fois la qualité et la contrôlabilité des modèles de diffusion, sans dépendre lourdement des jeux de données annotés requis par le conditionnement basé sur le texte. L'article conclut que les travaux futurs pourraient se concentrer sur l'adaptation des représentations pour améliorer davantage le désenchevêtrement et sur l'application de ces résultats à l'édition d'images et à l'augmentation de données dans les modèles de diffusion non conditionnés.

La nouvelle approche : le système de plans

Pourquoi est-ce mieux ?

Les résultats

En résumé

Résumé technique : Vers une génération d'images contrôlable grâce à des modèles de diffusion conditionnés par des représentations

Articles similaires